全连接神经网络 , 详解 .

用矩阵形式理解全连接网络偏置矩阵:训练完成后每个神经元的偏置项b会学习到一个具体的数值。这个数值的作用是控制神经元激活的“阈值”或者说为模型的输出提供一个“基准线”。在线性变换z Wx b中偏置b实现了对决策边界的平移translation。这意味着即使输入x为零或很小神经元也可能因为一个正的偏置值而被激活例如在ReLU函数中输出正值反之亦然。这使得模型的决策边界不必强制通过坐标原点极大地增强了模型的表达能力激活函数:本质上确实是一个非线性映射函数但正是这个“简单的映射”赋予了神经网络强大的能力。如果没有激活函数无论神经网络有多少层它都只能表示线性变换(用矩阵理解)其表达能力将退化为一个简单的线性回归模型。[它是神经网络从线性模型跃升为通用函数逼近器的关键]输出:在图像分类任务中对于一个需要识别0-9数字的神经网络其输出确实是十个数值这十个数值通常被解释为输入图片分别属于这十个类别的概率具体来说神经网络的输出层会设计为具有十个神经元每个神经元对应一个数字类别0, 1, 2, ..., 9。然而这些神经元直接输出的原始值通常称为“logits”或“得分”并不能直接作为概率因为它们可能为任意实数且总和不一定为1。为了将其转化为符合概率公理每个值≥0且总和为1的预测概率分布需要经过一个称为Softmax的激活函数处理。Softmax函数的工作原理是对每个原始输出值进行指数运算确保其变为正数然后除以所有指数值的总和从而实现归一化。例如假设网络最后一层线性运算后的输出向量为[2.0, 1.0, 0.1, ...]经过Softmax处理后可能变为[0.659, 0.288, 0.053, ...]。这表示模型预测该图片是数字“0”的概率为65.9%是数字“1”的概率为28.8%是数字“2”的概率为5.3%以此类推。