第T6周：好莱坞明星识别

本文为365天深度学习训练营中的学习记录博客原作者K同学啊一、前期工作1.设置GPUfrom tensorflow import keras from tensorflow.keras import layers,models import os, PIL, pathlib import matplotlib.pyplot as plt import tensorflow as tf import numpy as np gpus tf.config.list_physical_devices(GPU) if gpus: gpu0 gpus[0] #如果有多个GPU仅使用第0个GPU tf.config.experimental.set_memory_growth(gpu0, True) #设置GPU显存用量按需使用 tf.config.set_visible_devices([gpu0],GPU) gpusCPU所以跳过这一步2.导入数据data_dir ./48-data/ data_dir pathlib.Path(data_dir)3.查看数据image_count len(list(data_dir.glob(*/*.jpg))) print(图片总数为,image_count) roses list(data_dir.glob(Jennifer Lawrence/*.jpg)) PIL.Image.open(str(roses[0]))二、数据预处理1.加载数据batch_size 32 img_height 224 img_width 224 关于image_dataset_from_directory()的详细介绍可以参考文章https://mtyjkh.blog.csdn.net/article/details/117018789 train_ds tf.keras.preprocessing.image_dataset_from_directory( data_dir, validation_split0.1, subsettraining, label_mode categorical, seed123, image_size(img_height, img_width), batch_sizebatch_size) 关于image_dataset_from_directory()的详细介绍可以参考文章https://mtyjkh.blog.csdn.net/article/details/117018789 val_ds tf.keras.preprocessing.image_dataset_from_directory( data_dir, validation_split0.1, subsetvalidation, label_mode categorical, seed123, image_size(img_height, img_width), batch_sizebatch_size)class_names train_ds.class_names print(class_names)2.可视化数据plt.figure(figsize(20, 10)) for images, labels in train_ds.take(1): for i in range(20): ax plt.subplot(5, 10, i 1) plt.imshow(images[i].numpy().astype(uint8)) plt.title(class_names[np.argmax(labels[i])]) plt.axis(off)3.再次检查数据for image_batch, labels_batch in train_ds: print(image_batch.shape) print(labels_batch.shape) break4.配置数据集AUTOTUNE tf.data.AUTOTUNE train_ds train_ds.cache().shuffle(1000).prefetch(buffer_sizeAUTOTUNE) val_ds val_ds.cache().prefetch(buffer_sizeAUTOTUNE)三、构建CNN网络 关于卷积核的计算不懂的可以参考文章https://blog.csdn.net/qq_38251616/article/details/114278995 layers.Dropout(0.4) 作用是防止过拟合提高模型的泛化能力。 关于Dropout层的更多介绍可以参考文章https://mtyjkh.blog.csdn.net/article/details/115826689 model models.Sequential([ layers.experimental.preprocessing.Rescaling(1./255, input_shape(img_height, img_width, 3)), layers.Conv2D(16, (3, 3), activationrelu, input_shape(img_height, img_width, 3)), # 卷积层1卷积核3*3 layers.AveragePooling2D((2, 2)), # 池化层12*2采样 layers.Conv2D(32, (3, 3), activationrelu), # 卷积层2卷积核3*3 layers.AveragePooling2D((2, 2)), # 池化层22*2采样 layers.Dropout(0.5), layers.Conv2D(64, (3, 3), activationrelu), # 卷积层3卷积核3*3 layers.AveragePooling2D((2, 2)), layers.Dropout(0.5), layers.Conv2D(128, (3, 3), activationrelu), # 卷积层3卷积核3*3 layers.Dropout(0.5), layers.Flatten(), # Flatten层连接卷积层与全连接层 layers.Dense(128, activationrelu), # 全连接层特征进一步提取 layers.Dense(len(class_names)) # 输出层输出预期结果 ]) model.summary() # 打印网络结构四、训练模型1.设置动态学习率# 设置初始学习率 initial_learning_rate 1e-4 lr_schedule tf.keras.optimizers.schedules.ExponentialDecay( initial_learning_rate, decay_steps60, # 敲黑板这里是指 steps不是指epochs decay_rate0.96, # lr经过一次衰减就会变成 decay_rate*lr staircaseTrue) # 将指数衰减学习率送入优化器 optimizer tf.keras.optimizers.Adam(learning_ratelr_schedule) model.compile(optimizeroptimizer, losstf.keras.losses.CategoricalCrossentropy(from_logitsTrue), metrics[accuracy])调用方法一model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy])调用方法二model.compile(optimizeradam, losstf.keras.losses.CategoricalCrossentropy(), metrics[accuracy])sparse_categorical_crossentropy稀疏性多分类的对数损失函数与softmax相对应的损失函数如果是整数编码则使用sparse_categorical_crossentropy调用方法一model.compile(optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy])调用方法二model.compile(optimizeradam, losstf.keras.losses.SparseCategoricalCrossentropy(), metrics[accuracy])函数原型tf.keras.losses.SparseCategoricalCrossentropy( from_logitsFalse, reductionlosses_utils.ReductionV2.AUTO, namesparse_categorical_crossentropy )2.早停与保存最佳模型参数from tensorflow.keras.callbacks import ModelCheckpoint, EarlyStopping epochs 100 # 保存最佳模型参数 checkpointer ModelCheckpoint(best_model.h5, monitorval_accuracy, verbose1, save_best_onlyTrue, save_weights_onlyTrue) # 设置早停 earlystopper EarlyStopping(monitorval_accuracy, min_delta0.001, patience20, verbose1)3.模型训练history model.fit(train_ds, validation_dataval_ds, epochsepochs, callbacks[checkpointer, earlystopper])五、模型评估1.Loss与Accuracy图from datetime import datetime current_time datetime.now() # 获取当前时间 acc history.history[accuracy] val_acc history.history[val_accuracy] loss history.history[loss] val_loss history.history[val_loss] epochs_range range(len(loss)) plt.figure(figsize(12, 4)) plt.subplot(1, 2, 1) plt.plot(epochs_range, acc, labelTraining Accuracy) plt.plot(epochs_range, val_acc, labelValidation Accuracy) plt.legend(loclower right) plt.title(Training and Validation Accuracy) plt.xlabel(current_time) # 打卡请带上时间戳否则代码截图无效 plt.subplot(1, 2, 2) plt.plot(epochs_range, loss, labelTraining Loss) plt.plot(epochs_range, val_loss, labelValidation Loss) plt.legend(locupper right) plt.title(Training and Validation Loss) plt.show()2.指定图片进行预测from PIL import Image import numpy as np img Image.open(./48-data/Jennifer Lawrence/003_963a3627.jpg) #这里选择你需要预测的图片 image tf.image.resize(img, [img_height, img_width]) img_array tf.expand_dims(image, 0) # 加载效果最好的模型权重 model.load_weights(best_model.h5) predictions model.predict(img_array) # 这里选用你已经训练好的模型 print(预测结果为,class_names[np.argmax(predictions)])六、个人总结1.每次必备代码import os import pathlib import PIL.Image import numpy as np import matplotlib.pyplot as plt TensorFlow 及 Keras 核心组件 import tensorflow as tf from tensorflow.keras import models, layers2.理论基础测试集 VS 验证集的本质区别验证集Validation Set不直接参与梯度下降和参数更新狭义上不参与训练但用于人工调参。通过观察模型在验证集上的表现来决定是否早停Early Stopping或调整超参数如学习率、Batch Size。它防止了模型对训练集的盲目过拟合。标签编码与加载模式 (label_mode)使用 image_dataset_from_directory 加载数据时标签按文件夹名称字母顺序自动生成。int 模式标签编码为整数如 0, 1, 2...。categorical 模式标签编码为 One-hot 分类向量如 [1,0,0], [0,1,0]...。数据集性能优化shuffle()打乱数据打破数据的顺序相关性提升模型泛化能力。prefetch()预取数据让 CPU 准备数据的过程和 GPU 训练模型的过程并行大幅加速运行。3.损失函数Loss Functions的对应关系选择合适的损失函数是深度学习的核心。分类问题中损失函数必须与标签的编码方式严格对应binary_crossentropy适用场景二分类问题标签编码格式0 或 1通常网络最后一层激活函数配合 Sigmoid 使用。sparse_categorical_crossentropy适用场景多分类问题标签编码格式整数如 1, 2, 3节省内存适合类别极多的情况。categorical_crossentropy适用场景多分类问题标签编码格式One-hot 向量如 [0,1,0]本次任务好莱坞明星识别的核心要求。核心参数 from_logits设为 True 时表示模型的输出没有经过 Softmax 处理输出的是原始得分 logits函数内部会自动将其转换为概率分布再计算 Loss。官方推荐使用 from_logitsTrue因为数值计算上更稳定。4.训练控制学习率与回调函数动态学习率 (ExponentialDecay)前期使用较大学习率加速收敛后期动态减小学习率帮助模型稳定在全局最优解。核心参数initial_learning_rate初始值、decay_steps衰减周期、decay_rate衰减比例、staircaseTrue 为阶梯式骤降False 为平滑连续衰减。早停机制 (EarlyStopping)防止模型过拟合的利器。核心参数monitor监控指标通常为 val_loss 或 val_accuracy、patience容忍多少个 Epoch 指标不改善才停止、restore_best_weights设为 True 可在停止时自动恢复到历史最佳权重而不是最后一步的“烂权重”。模型保存 (ModelCheckpoint)在训练过程中实时保存表现最好的模型参数.h5 文件。5.单张图片预测标准 Pipeline在模型训练完成后对外部单张图片进行预测必须经过与训练集完全相同的预处理加载并调整尺寸使用 PIL 和 tf.image.resize 将图片调整为模型要求的输入尺寸扩展维度模型输入要求带有 Batch 维度需使用 tf.expand_dims(image, 0) 将 (224, 224, 3) 转换为 (1, 224, 224, 3)加载最佳权重model.load_weights(best_model.h5)预测与解码调用 model.predict() 得到概率数组使用 np.argmax() 提取概率最大的索引最后映射回 class_names 得到最终标签。