深度学习中的epoch, batch 和 iteration

名词	定义
epoch	使用训练集的全部数据进行一次完整的训练，称为“一代训练”
batch	使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这样的一部分样本称为：“一批数据”
iteration	使用一个batch的数据对模型进行一次参数更新的过程，称为“一次训练”

epoch：所有的训练样本都在神经网络中进行了一次正向传播和一次反向传播。然而，当一个epoch的样本数量可能过于庞大，就需要把它分成多个小块，也就是分成多个batch来进行训练。

batch(批，一批样本)：将训练样本分成若干个batch

batch_size(批大小):每批样本的大小
iteration（一次迭代）：训练一个Batch就是一次Iteration

换算关系：
$$NumberofBatches=\frac{TrainingSetSize}{BatchSize}$$

实际上，梯度下降的几种方式的根本区别就在于上面公式中的Bathch_Size 不同，

梯度下降方式	训练集大小	batch_size	number of batchs
BGD(批量梯度下降)	N	N	1
SGD(随机梯度下降)	N	1	N
MBGD(小批量梯度下降)	N	B	N/B+1

举个例子：

mnist 数据集有60000张图片作为训练数据，10000张图片作为测试数据。假设现在选择 ==Batch_Size =100 ==对模型进行训练。迭代30000次。

• 每个 Epoch 要训练的图片数量：60000(训练集上的所有图像)
• 训练集具有的 Batch 个数：600=60000/100
• 每个 Epoch 需要完成的 Batch 个数：600
• 每个 Epoch 具有的 Iteration 个数：600（完成一个- Batch训练，相当于参数迭代一次）
• 每个 Epoch 中发生模型权重更新的次数：600
• 训练 10 个Epoch后，模型权重更新的次数：6000=600*10
• 不同Epoch的训练，其实用的是同一个训练集的数据。第1个Epoch和第10个Epoch虽然用的都是训练集的图片，但是对模型的- 权重更新值却是完全不同的。因为不同Epoch的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
• 总共完成30000次迭代，相当于完成了30000/600=50 个 Epoch