第21周：RestNet-50算法实践
目录
前言
理论知识
1.CNN算法发展
2.-残差网络的由来
一、导入数据
二、数据处理
四、编译
五、模型评估
六、总结
前言
- 🍨 本文为🔗365天深度学习训练营中的学习记录博客
- 🍖 原作者：K同学啊
理论知识
1.CNN算法发展
该图列举出的是一些有里程碑意义的，经典卷积神经网络。评估一个网络性能，我们一般从识别精度和网络复杂度(计算量)两方面入手。从图中我们可以看出
- 2012年,AlexNet是在2012年ImageNet图像分类竞赛中提出一种经典的卷积神经网络。AlexNet是首个深层卷积神经网络，同时也引入了ReLU激活函数、局部归一化、数据增强和Dropout处理
- VGG-16和VGG-19,依靠多层卷积+池化层堆叠而成的一个网络，性能在当时不错，但是计算量太大，VGG-16的网络结构将深层网络结构分为多个组，每组堆叠不等的Conv-ReLU层，在每个组之间使用MaxPool缩减特征图尺寸.
- GoogleNet(Inception V1)提出了并联卷积结构,且在每个通路中使用大小不同的卷积核网络，随后衍生出V2,V3,V4等网络结构
- ResNet网络有V1、V2、NeXt等不同的版本，首次提出了残差概念,可以很方便的扩展为18~101层(ResNet-18,ResNet-34,ResNet-50,ResNet-101的数字表示网络层数)
- DenseNet是一种具有前级特征重用、层间直连、结构递归扩展等特点的卷积神经网络
2.-残差网络的由来
残差网络ResNet(Residual Network)在2015年由何恺明等提出，因为简单且使用，随后很多研究都建立在ResNet-50/ResNet-101基础上完成。ResNet主要解决**卷积神经网络在深度加深的时候的"退化"问题**。对于一般的网络而言，网络深度加大之后容易出现的问题就是**梯度消失、梯度爆炸**
-
梯度消失:反向传播过程中，随着网络层数的增加，前面几层的梯度值变得非常小，接近于0，这会使得权重更新变得非常缓慢，从而导致无法有效训练网络训练
-
梯度爆炸:反向传播过程中，随着网络层数的增加，梯度值变得非常大，导致网络权重更新幅度过大，进而导致模型无法收敛，甚至数值溢出.
2015年，Szegedy提出BN(BatchNormalization)层之后解决了该问题。BN层能对各层的输出做归一化，这样梯度在反向层层传递后仍能保持大小稳定，不会出现过小或过大的情况。 \
但是随之而来的是加了BN后加大深度也很难收敛，就引伸出了第二个问题———准确率下降问题：即当层级大到一定程度时准确率会饱和，然后迅速下降，这种下降不是由于梯度消失/过拟合，而是因为网络过于复杂\
作者证明了只要有合适的网络结构，更深的网络肯定会比浅的网络好，并假设了一种恒等映射，直到何恺明提出了残差结构实现该恒等映射，如下图
整个模块除了正常的卷积层输出外，还有一个分支把输入直接连到输出上，该分支输出和卷积的输出做算数相加得到最终的输出，公式表达结果为：
H(x)=F(x)+xH(x)=F(x)+x
其中x是输入，F(x)是卷积分支的输出，H(x)是整个结构的输出。可以证明如果F(x)分支中所有参数都是0，H(x)就是个恒等映射。残差结构人为制造了恒等映射，就能让整个结构朝着恒等映射的方向去收敛，确保最终的错误率不会因为深度的变大而越来越差。
/如果一个网络通过简单的手工设置参数值就能达到想要的结果，那这种结构就很容易通过训练来收敛到该结果/。这是一条设计复杂网络通用的规则。
图2左边的单元为 ResNet 两层的残差单元，两层的残差单元包含两个相同输出的通道数的卷积，只是用于较浅的 ResNet 网络，对较深的网络主要使用三层的残差单元。三层的残差单元又称为bottleneck 结构。\
先用一个*1*1卷积进行降维，然后3*3卷积，最后用1*1*升维恢复原有的维度。\
另外，如果有输入输出维度不同的情况，可以对输入做一个线性映射变换维度，再连接后面的层。三层的残差单元对于相同数量的层又减少了参数量，因此可以拓展更深的模型。通过残差单元的组合有经典的 ResNet-50，ResNet-101 等网络结构。
ResNet-50介绍
组成:Conv Block;Identity Block
一、导入数据
import tensorflow as tfgpus = tf.config.list_physical_devices("GPU")if gpus:tf.config.experimental.set_memory_growth(gpus[0],True)tf.config.set_visible_devices([gpus[0],"GPU"])
import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = Falseimport os,PIL,pathlib,random
import numpy as npfrom tensorflow import keras
from tensorflow.keras import layers,modelsimage_count = len(list(data_dir.glob('*/*')))
二、数据处理
batch_size = 8
img_height = 224
img_width = 224train_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split = 0.2,subset = "training",seed = 123,image_size = (img_height,img_width),batch_size = batch_size
)val_ds = tf.keras.preprocessing.image_dataset_from_directory(data_dir,validation_split = 0.2,subset = "validation",seed = 123,image_size = (img_height,img_width),batch_size = batch_size
)class_names = train_ds.class_namesclass_names['Bananaquit', 'Black Skimmer', 'Black Throated Bushtiti', 'Cockatoo']
plt.figure(figsize=(10,5))
plt.suptitle("训练集图片部分览")for img,labels in train_ds.take(1):for i in range(8):ax = plt.subplot(2,4,i+1)plt.imshow(img[i].numpy().astype("uint8"))plt.title(class_names[labels[i]])plt.axis('off')plt.show() 
plt.imshow(img[1].numpy().astype("uint8"))for image_batch,labels_batch in train_ds:print(image_batch.shape)print(labels_batch.shape)break(8, 224, 224, 3) (8,)
AUTOTUNE = tf.data.AUTOTUNEtrain_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)三、构建ResNet-50网络模型
# ResNet-50搭建
from keras import layersfrom keras.layers import Input,Activation,BatchNormalization,Flatten
from keras.layers import Dense,Conv2D,MaxPooling2D,ZeroPadding2D,AveragePooling2D
from keras.models import Modeldef identity_block(input_tensor,kernel_size,filters,stage,block):filters1,filters2,filters3 = filtersname_base = str(stage) + block + "_identity_block_"x = Conv2D(filters1,(1,1),name=name_base+'conv1')(input_tensor)x = BatchNormalization(name=name_base+'bn1')(x)x = Activation('relu',name=name_base+'relu1')(x)x = Conv2D(filters2,kernel_size,padding='same',name=name_base+'conv2')(x)x = BatchNormalization(name=name_base+'bn2')(x)x = Activation('relu',name=name_base+'relu2')(x)x = Conv2D(filters3,(1,1),name=name_base+'conv3')(x)x = BatchNormalization(name=name_base+'bn3')(x)x = layers.add([x,input_tensor],name=name_base+'add')x = Activation('relu',name=name_base+'relu4')(x)return xdef conv_block(input_tensor,kernel_size,filters,stage,block,strides=(2,2)):filters1,filters2,filters3 = filtersres_name_base = str(stage) + block + '_conv_block_res'name_base = str(stage) + block + '_conv_block'x = Conv2D(filters1,(1,1),strides=strides,name=name_base+'conv1')(input_tensor)x = BatchNormalization(name=name_base + 'bn1')(x)x = Activation('relu', name=name_base + 'relu1')(x)x = Conv2D(filters2,kernel_size,padding='same',name=name_base+'conv2')(x)x = BatchNormalization(name=name_base+'bn2')(x)x = Activation('relu', name=name_base+'relu2')(x)x = Conv2D(filters3,(1,1),name=name_base+'conv3')(x)x = BatchNormalization(name=name_base+'bn3')(x)shortcut = Conv2D(filters3,(1,1),strides=strides,name=res_name_base+'conv')(input_tensor)shortcut = BatchNormalization(name=res_name_base + 'bn3')(shortcut)x = layers.add([x,shortcut],name=name_base+'add')x = Activation('relu',name=name_base+'relu4')(x)return xdef ResNet50(input_shape=[224,224,3],classes=1000):img_input = Input(shape=input_shape)x = ZeroPadding2D((3,3))(img_input)x = Conv2D(64,(7,7),strides=(2,2),name='conv1')(x)x = BatchNormalization(name='bn_conv1')(x)x = Activation('relu')(x)x = MaxPooling2D((3,3),strides=(2,2))(x)x = conv_block(x,3,[64,64,256],stage=2,block='a',strides=(1,1))x = identity_block(x,3,[64,64,256],stage=2,block='b')x = identity_block(x,3,[64,64,256],stage=2,block='c')x = conv_block(x,3,[128,128,512],stage=3,block='a')x = identity_block(x,3,[128,128,512],stage=3,block='b')x = identity_block(x,3,[128,128,512],stage=3,block='c')x = identity_block(x,3,[128,128,512],stage=3,block='d')x = conv_block(x,3,[256,256,1024],stage=4,block='a')x = identity_block(x,3,[256,256,1024],stage=4,block='b')x = identity_block(x,3,[256,256,1024],stage=4,block='c')x = identity_block(x,3,[256,256,1024],stage=4,block='d')x = identity_block(x,3,[256,256,1024],stage=4,block='e')x = identity_block(x,3,[256,256,1024],stage=4,block='f')x = conv_block(x,3,[512,512,2048],stage=5,block='a')x = identity_block(x,3,[512,512,2048],stage=5,block='b')x = identity_block(x,3,[512,512,2048],stage=5,block='c')x = AveragePooling2D((7,7),name='avg_pool')(x)x = Flatten()(x)x = Dense(classes,activation='softmax',name='fc10000')(x)model = Model(img_input,x,name='resnet50')model.load_weights("/Users/haorunkun/Desktop/365天深度学习/resnet50_weights_tf_dim_ordering_tf_kernels.h5")return modelmodel = ResNet50()
model.summary()
┏━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓ ┃ Layer (type) ┃ Output Shape ┃ Param # ┃ Connected to ┃ ┡━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩ │ input_layer_1 (InputLayer) │ (None, 224, 224, 3) │ 0 │ - │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ zero_padding2d_1 │ (None, 230, 230, 3) │ 0 │ input_layer_1[0][0] │ │ (ZeroPadding2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ conv1 (Conv2D) │ (None, 112, 112, 64) │ 9,472 │ zero_padding2d_1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ bn_conv1 (BatchNormalization) │ (None, 112, 112, 64) │ 256 │ conv1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ activation_1 (Activation) │ (None, 112, 112, 64) │ 0 │ bn_conv1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ max_pooling2d_1 │ (None, 55, 55, 64) │ 0 │ activation_1[0][0] │ │ (MaxPooling2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockconv1 (Conv2D) │ (None, 55, 55, 64) │ 4,160 │ max_pooling2d_1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockbn1 │ (None, 55, 55, 64) │ 256 │ 2a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockrelu1 │ (None, 55, 55, 64) │ 0 │ 2a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockconv2 (Conv2D) │ (None, 55, 55, 64) │ 36,928 │ 2a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockbn2 │ (None, 55, 55, 64) │ 256 │ 2a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockrelu2 │ (None, 55, 55, 64) │ 0 │ 2a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockconv3 (Conv2D) │ (None, 55, 55, 256) │ 16,640 │ 2a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_block_resconv │ (None, 55, 55, 256) │ 16,640 │ max_pooling2d_1[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockbn3 │ (None, 55, 55, 256) │ 1,024 │ 2a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_block_resbn3 │ (None, 55, 55, 256) │ 1,024 │ 2a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockadd (Add) │ (None, 55, 55, 256) │ 0 │ 2a_conv_blockbn3[0][0], │ │ │ │ │ 2a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2a_conv_blockrelu4 │ (None, 55, 55, 256) │ 0 │ 2a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_conv1 │ (None, 55, 55, 64) │ 16,448 │ 2a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_bn1 │ (None, 55, 55, 64) │ 256 │ 2b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_relu1 │ (None, 55, 55, 64) │ 0 │ 2b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_conv2 │ (None, 55, 55, 64) │ 36,928 │ 2b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_bn2 │ (None, 55, 55, 64) │ 256 │ 2b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_relu2 │ (None, 55, 55, 64) │ 0 │ 2b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_conv3 │ (None, 55, 55, 256) │ 16,640 │ 2b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_bn3 │ (None, 55, 55, 256) │ 1,024 │ 2b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_add (Add) │ (None, 55, 55, 256) │ 0 │ 2b_identity_block_bn3[0][… │ │ │ │ │ 2a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2b_identity_block_relu4 │ (None, 55, 55, 256) │ 0 │ 2b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_conv1 │ (None, 55, 55, 64) │ 16,448 │ 2b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_bn1 │ (None, 55, 55, 64) │ 256 │ 2c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_relu1 │ (None, 55, 55, 64) │ 0 │ 2c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_conv2 │ (None, 55, 55, 64) │ 36,928 │ 2c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_bn2 │ (None, 55, 55, 64) │ 256 │ 2c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_relu2 │ (None, 55, 55, 64) │ 0 │ 2c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_conv3 │ (None, 55, 55, 256) │ 16,640 │ 2c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_bn3 │ (None, 55, 55, 256) │ 1,024 │ 2c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_add (Add) │ (None, 55, 55, 256) │ 0 │ 2c_identity_block_bn3[0][… │ │ │ │ │ 2b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 2c_identity_block_relu4 │ (None, 55, 55, 256) │ 0 │ 2c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockconv1 (Conv2D) │ (None, 28, 28, 128) │ 32,896 │ 2c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockbn1 │ (None, 28, 28, 128) │ 512 │ 3a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockrelu1 │ (None, 28, 28, 128) │ 0 │ 3a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockconv2 (Conv2D) │ (None, 28, 28, 128) │ 147,584 │ 3a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockbn2 │ (None, 28, 28, 128) │ 512 │ 3a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockrelu2 │ (None, 28, 28, 128) │ 0 │ 3a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockconv3 (Conv2D) │ (None, 28, 28, 512) │ 66,048 │ 3a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_block_resconv │ (None, 28, 28, 512) │ 131,584 │ 2c_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockbn3 │ (None, 28, 28, 512) │ 2,048 │ 3a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_block_resbn3 │ (None, 28, 28, 512) │ 2,048 │ 3a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockadd (Add) │ (None, 28, 28, 512) │ 0 │ 3a_conv_blockbn3[0][0], │ │ │ │ │ 3a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3a_conv_blockrelu4 │ (None, 28, 28, 512) │ 0 │ 3a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_conv1 │ (None, 28, 28, 128) │ 65,664 │ 3a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_bn1 │ (None, 28, 28, 128) │ 512 │ 3b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_relu1 │ (None, 28, 28, 128) │ 0 │ 3b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_conv2 │ (None, 28, 28, 128) │ 147,584 │ 3b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_bn2 │ (None, 28, 28, 128) │ 512 │ 3b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_relu2 │ (None, 28, 28, 128) │ 0 │ 3b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_conv3 │ (None, 28, 28, 512) │ 66,048 │ 3b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_bn3 │ (None, 28, 28, 512) │ 2,048 │ 3b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_add (Add) │ (None, 28, 28, 512) │ 0 │ 3b_identity_block_bn3[0][… │ │ │ │ │ 3a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3b_identity_block_relu4 │ (None, 28, 28, 512) │ 0 │ 3b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_conv1 │ (None, 28, 28, 128) │ 65,664 │ 3b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_bn1 │ (None, 28, 28, 128) │ 512 │ 3c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_relu1 │ (None, 28, 28, 128) │ 0 │ 3c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_conv2 │ (None, 28, 28, 128) │ 147,584 │ 3c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_bn2 │ (None, 28, 28, 128) │ 512 │ 3c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_relu2 │ (None, 28, 28, 128) │ 0 │ 3c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_conv3 │ (None, 28, 28, 512) │ 66,048 │ 3c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_bn3 │ (None, 28, 28, 512) │ 2,048 │ 3c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_add (Add) │ (None, 28, 28, 512) │ 0 │ 3c_identity_block_bn3[0][… │ │ │ │ │ 3b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3c_identity_block_relu4 │ (None, 28, 28, 512) │ 0 │ 3c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_conv1 │ (None, 28, 28, 128) │ 65,664 │ 3c_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_bn1 │ (None, 28, 28, 128) │ 512 │ 3d_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_relu1 │ (None, 28, 28, 128) │ 0 │ 3d_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_conv2 │ (None, 28, 28, 128) │ 147,584 │ 3d_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_bn2 │ (None, 28, 28, 128) │ 512 │ 3d_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_relu2 │ (None, 28, 28, 128) │ 0 │ 3d_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_conv3 │ (None, 28, 28, 512) │ 66,048 │ 3d_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_bn3 │ (None, 28, 28, 512) │ 2,048 │ 3d_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_add (Add) │ (None, 28, 28, 512) │ 0 │ 3d_identity_block_bn3[0][… │ │ │ │ │ 3c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 3d_identity_block_relu4 │ (None, 28, 28, 512) │ 0 │ 3d_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockconv1 (Conv2D) │ (None, 14, 14, 256) │ 131,328 │ 3d_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockbn1 │ (None, 14, 14, 256) │ 1,024 │ 4a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockrelu1 │ (None, 14, 14, 256) │ 0 │ 4a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockconv2 (Conv2D) │ (None, 14, 14, 256) │ 590,080 │ 4a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockbn2 │ (None, 14, 14, 256) │ 1,024 │ 4a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockrelu2 │ (None, 14, 14, 256) │ 0 │ 4a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockconv3 (Conv2D) │ (None, 14, 14, 1024) │ 263,168 │ 4a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_block_resconv │ (None, 14, 14, 1024) │ 525,312 │ 3d_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockbn3 │ (None, 14, 14, 1024) │ 4,096 │ 4a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_block_resbn3 │ (None, 14, 14, 1024) │ 4,096 │ 4a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockadd (Add) │ (None, 14, 14, 1024) │ 0 │ 4a_conv_blockbn3[0][0], │ │ │ │ │ 4a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4a_conv_blockrelu4 │ (None, 14, 14, 1024) │ 0 │ 4a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4b_identity_block_bn3[0][… │ │ │ │ │ 4a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4b_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4c_identity_block_bn3[0][… │ │ │ │ │ 4b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4c_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4c_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4d_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4d_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4d_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4d_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4d_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4d_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4d_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4d_identity_block_bn3[0][… │ │ │ │ │ 4c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4d_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4d_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4d_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4e_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4e_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4e_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4e_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4e_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4e_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4e_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4e_identity_block_bn3[0][… │ │ │ │ │ 4d_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4e_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4e_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_conv1 │ (None, 14, 14, 256) │ 262,400 │ 4e_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_bn1 │ (None, 14, 14, 256) │ 1,024 │ 4f_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_relu1 │ (None, 14, 14, 256) │ 0 │ 4f_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_conv2 │ (None, 14, 14, 256) │ 590,080 │ 4f_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_bn2 │ (None, 14, 14, 256) │ 1,024 │ 4f_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_relu2 │ (None, 14, 14, 256) │ 0 │ 4f_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_conv3 │ (None, 14, 14, 1024) │ 263,168 │ 4f_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_bn3 │ (None, 14, 14, 1024) │ 4,096 │ 4f_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_add (Add) │ (None, 14, 14, 1024) │ 0 │ 4f_identity_block_bn3[0][… │ │ │ │ │ 4e_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 4f_identity_block_relu4 │ (None, 14, 14, 1024) │ 0 │ 4f_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockconv1 (Conv2D) │ (None, 7, 7, 512) │ 524,800 │ 4f_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockbn1 │ (None, 7, 7, 512) │ 2,048 │ 5a_conv_blockconv1[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockrelu1 │ (None, 7, 7, 512) │ 0 │ 5a_conv_blockbn1[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockconv2 (Conv2D) │ (None, 7, 7, 512) │ 2,359,808 │ 5a_conv_blockrelu1[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockbn2 │ (None, 7, 7, 512) │ 2,048 │ 5a_conv_blockconv2[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockrelu2 │ (None, 7, 7, 512) │ 0 │ 5a_conv_blockbn2[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockconv3 (Conv2D) │ (None, 7, 7, 2048) │ 1,050,624 │ 5a_conv_blockrelu2[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_block_resconv │ (None, 7, 7, 2048) │ 2,099,200 │ 4f_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockbn3 │ (None, 7, 7, 2048) │ 8,192 │ 5a_conv_blockconv3[0][0] │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_block_resbn3 │ (None, 7, 7, 2048) │ 8,192 │ 5a_conv_block_resconv[0][… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockadd (Add) │ (None, 7, 7, 2048) │ 0 │ 5a_conv_blockbn3[0][0], │ │ │ │ │ 5a_conv_block_resbn3[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5a_conv_blockrelu4 │ (None, 7, 7, 2048) │ 0 │ 5a_conv_blockadd[0][0] │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_conv1 │ (None, 7, 7, 512) │ 1,049,088 │ 5a_conv_blockrelu4[0][0] │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_bn1 │ (None, 7, 7, 512) │ 2,048 │ 5b_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_relu1 │ (None, 7, 7, 512) │ 0 │ 5b_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_conv2 │ (None, 7, 7, 512) │ 2,359,808 │ 5b_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_bn2 │ (None, 7, 7, 512) │ 2,048 │ 5b_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_relu2 │ (None, 7, 7, 512) │ 0 │ 5b_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_conv3 │ (None, 7, 7, 2048) │ 1,050,624 │ 5b_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_bn3 │ (None, 7, 7, 2048) │ 8,192 │ 5b_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_add (Add) │ (None, 7, 7, 2048) │ 0 │ 5b_identity_block_bn3[0][… │ │ │ │ │ 5a_conv_blockrelu4[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5b_identity_block_relu4 │ (None, 7, 7, 2048) │ 0 │ 5b_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_conv1 │ (None, 7, 7, 512) │ 1,049,088 │ 5b_identity_block_relu4[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_bn1 │ (None, 7, 7, 512) │ 2,048 │ 5c_identity_block_conv1[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_relu1 │ (None, 7, 7, 512) │ 0 │ 5c_identity_block_bn1[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_conv2 │ (None, 7, 7, 512) │ 2,359,808 │ 5c_identity_block_relu1[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_bn2 │ (None, 7, 7, 512) │ 2,048 │ 5c_identity_block_conv2[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_relu2 │ (None, 7, 7, 512) │ 0 │ 5c_identity_block_bn2[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_conv3 │ (None, 7, 7, 2048) │ 1,050,624 │ 5c_identity_block_relu2[0… │ │ (Conv2D) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_bn3 │ (None, 7, 7, 2048) │ 8,192 │ 5c_identity_block_conv3[0… │ │ (BatchNormalization) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_add (Add) │ (None, 7, 7, 2048) │ 0 │ 5c_identity_block_bn3[0][… │ │ │ │ │ 5b_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ 5c_identity_block_relu4 │ (None, 7, 7, 2048) │ 0 │ 5c_identity_block_add[0][… │ │ (Activation) │ │ │ │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ avg_pool (AveragePooling2D) │ (None, 1, 1, 2048) │ 0 │ 5c_identity_block_relu4[0… │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ flatten_1 (Flatten) │ (None, 2048) │ 0 │ avg_pool[0][0] │ ├───────────────────────────────┼───────────────────────────┼─────────────────┼────────────────────────────┤ │ fc10000 (Dense) │ (None, 1000) │ 2,049,000 │ flatten_1[0][0] │ └───────────────────────────────┴───────────────────────────┴─────────────────┴────────────────────────────┘
Total params: 25,636,712 (97.80 MB)
Trainable params: 25,583,592 (97.59 MB)
Non-trainable params: 53,120 (207.50 KB)
四、编译
model.compile(optimizer= 'adam',loss = 'sparse_categorical_crossentropy',metrics = ['accuracy']
)epochs = 10history = model.fit(train_ds,validation_data = val_ds,epochs = epochs
)Epoch 1/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 52s 758ms/step - accuracy: 0.6244 - loss: 2.4667 - val_accuracy: 0.2655 - val_loss: 194.2997 Epoch 2/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 756ms/step - accuracy: 0.7661 - loss: 0.7086 - val_accuracy: 0.3186 - val_loss: 260.6581 Epoch 3/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 44s 765ms/step - accuracy: 0.8727 - loss: 0.3057 - val_accuracy: 0.8142 - val_loss: 0.5678 Epoch 4/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 758ms/step - accuracy: 0.9518 - loss: 0.1473 - val_accuracy: 0.6903 - val_loss: 1.6736 Epoch 5/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 763ms/step - accuracy: 0.9726 - loss: 0.0908 - val_accuracy: 0.7876 - val_loss: 0.8246 Epoch 6/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 757ms/step - accuracy: 0.9822 - loss: 0.0567 - val_accuracy: 0.8407 - val_loss: 0.8213 Epoch 7/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 756ms/step - accuracy: 0.9995 - loss: 0.0153 - val_accuracy: 0.9292 - val_loss: 0.2252 Epoch 8/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 759ms/step - accuracy: 1.0000 - loss: 0.0048 - val_accuracy: 0.9469 - val_loss: 0.2579 Epoch 9/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 756ms/step - accuracy: 1.0000 - loss: 0.0011 - val_accuracy: 0.9469 - val_loss: 0.2006 Epoch 10/10 57/57 ━━━━━━━━━━━━━━━━━━━━ 43s 763ms/step - accuracy: 1.0000 - loss: 6.9633e-04 - val_accuracy: 0.9469 - val_loss: 0.1847
五、模型评估
from datetime import datetimecurrent_time = datetime.now() # 获取当前时间acc = history.history['accuracy']
val_acc = history.history['val_accuracy']loss = history.history['loss']
val_loss = history.history['val_loss']epochs_range = range(epochs)plt.figure(figsize=(12,4))
plt.subplot(1,2,1)
plt.suptitle('准确率和损失一览')plt.plot(epochs_range,acc,label='Training Accuracy')
plt.plot(epochs_range,val_acc,label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title(current_time) # 打卡请带上时间戳，否则代码截图无效plt.subplot(1,2,2)
plt.plot(epochs_range,loss,label='Training Loss')
plt.plot(epochs_range,val_loss,label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')plt.show() 
六、总结
在编写代码时遇到“name 'torch' is not defined”错误，意识到未安装PyTorch。此次经历提醒我，在开始项目前务必检查所需库是否已安装。同时，熟悉环境配置和错误排查方法至关重要，以避免此类基础问题影响项目进度。
相关文章：
第21周：RestNet-50算法实践
目录 前言 理论知识 1.CNN算法发展 2.-残差网络的由来 一、导入数据 二、数据处理 四、编译 五、模型评估 六、总结 前言 🍨 本文为🔗365天深度学习训练营中的学习记录博客🍖 原作者：K同学啊 理论知识 1.CNN算法发展 该图列举出…...
构建大语言模型应用：数据准备（第二部分）
本专栏通过检索增强生成（RAG）应用的视角来学习大语言模型（LLM）。 本系列文章 简介数据准备（本文）句子转换器向量数据库搜索与检索大语言模型开源检索增强生成评估大语言模型服务高级检索增强生成 RAG 如上…...
AI-Sphere-Butler之Ubuntu服务器如何部署Nginx代理，并将HTTP升级成HTTPS，用于移动设备访问
环境： AI-Sphere-Butler WSL2 Ubuntu22.04 Nginx 问题描述： AI-Sphere-Butler之Ubuntu服务器如何部署Nginx代理，并将HTTP升级成HTTPS，用于移动设备访问 解决方案： 一、生成加密证书 1.配置OpenSSL生成本地不加…...
飞致云荣获“Alibaba Cloud Linux最佳AI镜像服务商”称号
2025年3月24日，阿里云云市场联合龙蜥社区发布“2024年度Alibaba Cloud Linux最佳AI镜像服务商”评选结果。 经过主办方的严格考量，飞致云（即杭州飞致云信息科技有限公司）凭借旗下MaxKB开源知识库问答系统、1Panel开源面板、Halo开…...
Django项目之订单管理part6（message组件和组合搜索组件）
一.前言 我们前面讲的差不多了，接着上节课讲，今天要来做一个撤单要求，我们可以用ajax请求，但是我这里介绍最后一个知识点，message组件，但是我会把两种方式都讲出来的，讲完这个就开始讲我们最重…...
Taro创建微信小程序项目 第一步搭建项目
1.node: 2.第一步： 安装taro npm install -g tarojs/cli 3.创建文件夹wxxcx, 创建demos的文件夹的项目（demos项目名称） taro init demos 出现以下信息：可以根据自己的需求选择 出现安装项目依赖失败不要紧 4.进入demos文件夹…...
S32K144外设实验（六）：FTM输出单路PWM
文章目录 1. 概述1.1 时钟系统1.2 实验目的2. 代码的配置2.1 时钟配置2.2 FTM模块配置2.3 输出引脚配置2.4 API函数调用1. 概述 1.1 时钟系统 FTM的CPU接口时钟为SYS_CLK，在RUN模式下最高80MHz。模块的时钟结构如下图所示。 从上图中可以看出，FTM模块的功能时钟为SYS_CLK，…...
前端工程化开篇
前端发展史梳理： 最早的html，css，js是前端三剑客，足以实现所有的前端开发任务，但是呢，一个简单的前端交互效果可能就需要一大堆的代码去实现。 后来呢，有了前端库jQuery，他可以使前…...
地下管线三维建模软件工具MagicPipe3D V3.6.1
经纬管网建模系统MagicPipe3D，基于二维矢量管线管点数据本地离线参数化构建地下管网三维模型（包括管道、接头、附属设施等），输出标准3DTiles、Obj模型等格式，支持Cesium、Unreal、Unity、Osg等引擎加载进行三维可视化、…...
iOS自定义collection view的page size(width/height)分页效果
前言 想必大家工作中或多或少会遇到下图样式的UI需求吧 像这种cell长度不固定，并且还能实现的分页效果UI还是很常见的 实现 我们这里实现主要采用collection view，实现的方式是自定义一个UICollectionViewFlowLayout的子类，在这个类里对…...
以科技赋能，炫我云渲染受邀参加中关村文化科技融合影视精品创作研讨会！
在文化与科技深度融合的时代浪潮下，影视创作行业经历着前所未有的变革。影视创作行业发展态势迅猛， 同时也面临着诸多挑战。为促进影视创作行业的创新发展，加强业内交流与合作， 3月25日下午，海淀区文化创意产业协会举办…...
华为、浪潮、华三链路聚合概述
1、华为 链路聚合可以提高链路带宽和链路冗余性。有三种类型，分别是手工链路聚合，静态lacp链路聚合，动态lacp链路聚合。 手工链路模式：也称负载分担模式，需手动指定链路，各链路之间平均分担流量。静态LAC…...
Android 蓝牙/Wi-Fi通信协议之：经典蓝牙（BT 2.1/3.0+）介绍
在 Android 开发中，经典蓝牙（BT 2.1/3.0）支持多种协议，其中 RFCOMM/SPP（串口通信）、A2DP（音频流传输）和 HFP（免提通话）是最常用的。以下是它们在 Android 中的…...
【go微服务】Golang微服务之基--rpc的实现原理以及应用实战
✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，…...
Redis的List类型
Redis的List类型 一.List类型简单介绍 二.List的常用命令1.LPUSH2.LRANGE3.LPUSHX4.RPUSH5.RPUSHX6.LPOP7.RPOP8.LINDEX9.LINSERT10.LLEN11.LREM12.LTRIM13.LSET 三.阻塞命令1.BRPOP（i）针对不是空的列表进行操作：（ii）针…...
【C语言】分支与循环（下）
前言：小飞在（上）篇总结了分支结构的内容，本文接上，总结循环结构的知识。 看完觉得有帮助的话记得点赞收藏加关注哦~ 目录 一、while循环 二、for循环 三、do-while循环 四、循环中的break和continue 五、循环结构…...
Android 中两个 APK 之间切换的几中方法
在 Android 中，两个 APK（应用程序）之间的切换通常是通过 Intent 来实现的。以下是一些常见的方法和注意事项，帮助你实现两个 APK 之间的切换。 一、启动目标 APK 的主 Activity 1、setPackage 方法 使用 Intent 的 setPackage …...
SpringBoot集成腾讯云OCR实现身份证识别
OCR身份证识别 官网地址：https://cloud.tencent.com/document/product/866/33524 身份信息认证（二要素核验） 官网地址：https://cloud.tencent.com/document/product/1007/33188 代码实现 引入依赖 <dependency><…...
留记录excel 模板导入
Data EqualsAndHashCode public class FillData {ExcelProperty(value "姓名", index 0)private String name;ExcelProperty(value "数值", index 1)private double number;ExcelProperty(value "日期", index 2)private Date date; }pack…...
【C++数据库】SQLite3数据库连接与操作
注意：本文代码均为C++20标准下实现 一、SQLite3库安装 1.1 安装库文件 【工具】跨平台C++包管理利器vcpkg完全指南 vcpkg install sqlite3# 集成至系统目录，之前执行过此命令的无需再次执行 vcpkg integrate install1.2 验证代码 在VS2022中新建控制台项目，测试代码如下…...
【机器学习基础 4】 Pandas库
一、Pandas库简介 Pandas 是一个开源的 Python 数据分析库，主要用于数据清洗、处理、探索与分析。其核心数据结构是 Series（一维数据）和 DataFrame（二维表格数据），可以让我们高效地操作结构化数据。Pandas …...
如何在根据名称或id找到json里的节点以及对应的所有的父节点？
函数如下： 数据如下： [{ "name": "数据看板", "id": "data", "pageName": "tableeauData", "list": [] }, { "name": "审计模块", "id": &quo…...
JS—异步编程：3分钟掌握异步编程
个人博客：haichenyi.com。感谢关注 一. 目录 一–目录二–引言三–JavaScript 事件循环机制四–定时器的秘密：setTimeout 和 setInterval五–异步编程模型对比 二. 引言 在现代Web开发中，异步编程是提升性能的关键技术。无论是脚本加载&am…...
mxgraph编辑器的使用
前端JS如何使用mxgraph编辑器 说明：此项目是JS项目，目前还不支持TS 引入资源 可以直接从官网上拿下来，或者从其他地方获取 官网编辑器 如果只是展示图形的话只引入 mxClient.js就可以了 一个免费在线编辑器 自己用它做了一个在线编辑器&#…...
electron打包vue2项目流程
1，安装一个node vue2 的项目 2，安装electron： npm install electron -g//如果安装还是 特比慢 或 不想安装cnpn 淘宝镜像查看是否安装成功：electron -v 3，进入到项目目录：cd electron-demo 进入项目目录…...
STM32F103_LL库+寄存器学习笔记11 - 串口收发的中断优先级梳理
导言 推荐的STM32 USARTDMA 中断优先级设置（完整方案）： 以你的STM32F103 USART1 DMA实例为例： 推荐中断优先级设置中断优先级USART1空闲中断（接收相关）优先级0DMA1通道5接收中断（半满/满传输…...
Postman 如何发送 Post 请求上传文件？ 全面指南
写一个后端接口，肯定离不开后续的调试，所以我使用了 Postman 来进行上传图片接口的调试，调试步骤也很简单： 第一步：填写请求 URL第二步：选择请求类型第三步：选择发送文件第四步：点击…...
Mathtype无法插入到Word中
在word工具栏上有没有出现Mtahtype，会出现以下两种情况： 1. 没有出现Mtahtype 2. 出现Mtahtype，但是点击会出现弹窗 “ Couldnt find the MathPage.wll ” 解决方案 首先查看word版本是32位还是64位，这个位数是office安装位数…...
快速了解ES6Module模块化
ES6 Module 模块，是能够单独命名并独立完成一定功能程序语句的集合 定义听上去高大上，其实在日常项目中几乎每个文件都会用到，甚至很不起眼， react组件的引用： // router.js import { createHashRouter } from react…...
Spring Boot 三层架构【清晰易懂】
Spring Boot 的三层架构是一种常见的软件设计模式，它将应用程序分为三个主要部分：控制器层（Controller）、服务层（Service） 和 数据访问层（Repository）。这种分层架构有助于代码的模块…...