TensorFlow学习笔记：猫狗识别

本文为365天深度学习训练营 中的学习记录博客 原作者K同学啊一、基础设置与导入数据importmatplotlib.pyplotaspltimportnumpyasnpimportosimportPILimporttensorflowastffromtensorflowimportkerasfromtensorflow.kerasimportlayers,modelsimportpathlibfromtqdmimporttqdm# 进度条神器# 设置 GPUgpustf.config.list_physical_devices(GPU)print(Found GPUs:,gpus)# 准备数据路径data_dirpathlib.Path(./T8_data)# 加载数据img_height224img_width224batch_size32# 训练集train_dstf.keras.utils.image_dataset_from_directory(data_dir,validation_split0.2,subsettraining,seed123,image_size(img_height,img_width),batch_sizebatch_size)# 验证集val_dstf.keras.utils.image_dataset_from_directory(data_dir,validation_split0.2,subsetvalidation,seed123,image_size(img_height,img_width),batch_sizebatch_size)class_namestrain_ds.class_namesprint(f识别目标:{class_names})# 4. 数据管道加速AUTOTUNEtf.data.AUTOTUNE train_dstrain_ds.cache().shuffle(1000).prefetch(buffer_sizeAUTOTUNE)val_dsval_ds.cache().prefetch(buffer_sizeAUTOTUNE)二、搭建 CNN 模型modelmodels.Sequential([# 预处理归一化layers.Rescaling(1./255,input_shape(img_height,img_width,3)),# 卷积池化层 1layers.Conv2D(16,3,paddingsame,activationrelu),layers.MaxPooling2D(),# 卷积池化层 2layers.Conv2D(32,3,paddingsame,activationrelu),layers.MaxPooling2D(),# 卷积池化层 3layers.Conv2D(64,3,paddingsame,activationrelu),layers.MaxPooling2D(),# 防过拟合 Dropout (20% 神经元随机断开)layers.Dropout(0.2),# 全连接层layers.Flatten(),layers.Dense(128,activationrelu),layers.Dense(len(class_names))# 输出两类 (cat, dog)])model.summary()三、 编译模型model.compile(optimizeradam,losstf.keras.losses.SparseCategoricalCrossentropy(from_logitsTrue),metrics[accuracy])四、手动挡训练循环epochs20history{accuracy:[],val_accuracy:[],loss:[],val_loss:[]}forepochinrange(epochs):print(f\nEpoch{epoch1}/{epochs})# 1.训练阶段train_loss,train_acc,train_steps0,0,0# tqdm 给循环加上进度条forimages,labelsintqdm(train_ds,descTraining):loss,accmodel.train_on_batch(images,labels)train_lossloss# 把每一小批的 loss 攒起来train_accacc# 把每一小批的 acc 攒起来train_steps1# 计算整个 Epoch 的平均成绩epoch_train_losstrain_loss/train_steps epoch_train_acctrain_acc/train_steps# 2.验证阶段val_loss,val_acc,val_steps0,0,0forimages,labelsintqdm(val_ds,descValidation):loss,accmodel.test_on_batch(images,labels)# 验证集用 test_on_batchval_lossloss val_accacc val_steps1epoch_val_lossval_loss/val_steps epoch_val_accval_acc/val_steps# 把平均成绩记录到 history 字典里准备画图history[loss].append(epoch_train_loss)history[accuracy].append(epoch_train_acc)history[val_loss].append(epoch_val_loss)history[val_accuracy].append(epoch_val_acc)print(floss:{epoch_train_loss:.4f}- acc:{epoch_train_acc:.4f}- val_loss:{epoch_val_loss:.4f}- val_acc:{epoch_val_acc:.4f})修复课程中的bug在本次实验中我们放弃了傻瓜式的 model.fit()改用 model.train_on_batch() 来手动控制训练过程。但在原始逻辑下绘制出的 Training 和 Validation Accuracy/Loss 曲线出现了极其剧烈的震荡就像心电图一样忽上忽下模型似乎完全没有稳定收敛。经过代码排查发现问题出在数据记录的逻辑上。在使用 for 循环遍历一整个 Epoch 的数据时每一次 train_on_batch 都会返回当前这一小批的 loss 和 accuracy。错误的做法原因直接将循环结束时最后一次的 acc 和 loss 添加到 history 列表中作为这一个 Epoch 的最终成绩。影响这相当于用最后一批数据的成绩代表了整个训练集的成绩。如果最后一批图片刚好都很简单准确率就会飙升到 100%如果刚好都很模糊、很难认准确率就会暴跌。如何解决为了真实反映模型在一个 Epoch 内的表现我们需要计算整个 Epoch 的平均成绩。在每个 Epoch 开始前初始化三个累加器train_loss 0, train_acc 0, step 0。在遍历每一个 Batch 时将当批的成绩累加起来train_loss loss并且步骤数加一step 1。当一整个 Epoch 结束遍历完所有 Batch后除以总步骤数求平均值epoch_loss train_loss / step。最后将这个平均值追加到 history 字典中。五、 画图评估以及预测acchistory[accuracy]val_acchistory[val_accuracy]losshistory[loss]val_losshistory[val_loss]epochs_rangerange(epochs)plt.figure(figsize(12,4))plt.subplot(1,2,1)plt.plot(epochs_range,acc,labelTraining Accuracy)plt.plot(epochs_range,val_acc,labelValidation Accuracy)plt.legend(loclower right)plt.title(Training and Validation Accuracy)plt.subplot(1,2,2)plt.plot(epochs_range,loss,labelTraining Loss)plt.plot(epochs_range,val_loss,labelValidation Loss)plt.legend(locupper right)plt.title(Training and Validation Loss)plt.show()# 预测一张图片plt.figure(figsize(18,5))plt.suptitle(Prediction Results)forimages,labelsinval_ds.take(1):foriinrange(8):axplt.subplot(1,8,i1)plt.imshow(images[i].numpy().astype(uint8))# 增加一个维度模型预测需要img_arraytf.expand_dims(images[i],0)# 让模型进行预测predictionsmodel.predict(img_array)predicted_classclass_names[np.argmax(predictions)]plt.title(predicted_class)plt.axis(off)plt.show()六、总结本次课程放弃了之前使用的“自动挡” model.fit() 训练方式全面转向“手动挡”的 train_on_batch()实现对模型训练过程的底层控制。自定义训练循环 (Custom Training Loop)使用 train_on_batch() 和 test_on_batch() 逐批次Batch地将数据喂给模型。优势打破了封装的黑盒能精确掌控每一个 Epoch 和 Batch 的前向传播与反向传播过程。可视化进度追踪 (tqdm)引入了 tqdm 库在命令行中实时渲染训练和验证的进度条。优势极大地提升了代码的可读性和交互体验模型训练状态一目了然。BUG 排查与修复问题原版代码逻辑中直接将每个 Epoch 最后一次 Batch 的准确率Accuracy和损失Loss作为整个 Epoch 的成绩训练曲线出现剧烈震荡。修复方案在代码逻辑中引入了累加器。将当前 Epoch 内每一个 Batch 的 Loss 和 Accuracy 进行累加并在 Epoch 结束时除以总步数Steps求得平均值。修复效果采用平均值记录后数据客观反映了模型的全局表现彻底消除了由个别极端 Batch 引起的曲线抖动。