nn.Linear(d, num_units, bias=True)设置bias和不设置bias有什么区别？

nn.Linear(d, num_units, bias=True)是PyTorch中定义的一个全连接线性层。其中，d是输入特征的数量，num_units是输出特征的数量，而bias参数决定是否在这个线性变换中添加一个偏置项。

设置bias=True与bias=False的区别如下：

1. 数学表示:

   • 有偏置: $y=Wx+b$
   • 无偏置: $y=Wx$

   其中，$W$是权重矩阵，$x$是输入，$b$是偏置项，$y$是输出。

2. 参数数量:

   • 有偏置: 层中的参数总数为 d * num_units + num_units。
   • 无偏置: 层中的参数总数为 d * num_units。

3. 模型表达能力:

   • 有偏置: 偏置允许层对不经过原点的数据进行建模。这意味着模型可以更容易地适应数据，特别是当数据的均值不为零时。
   • 无偏置: 没有偏置，模型可能会难以拟合某些数据分布，特别是当数据的均值偏离原点时。

4. 初始化:

   • 有偏置: 除了权重的初始化之外，偏置也需要初始化。通常，偏置会被初始化为零，但也有其他方法。
   • 无偏置: 只需初始化权重。

5. 训练时间与复杂性:

   • 有偏置: 由于有更多的参数，训练时间可能会略微增加。
   • 无偏置: 参数少一些，可能稍微减少计算复杂性。

通常，在大多数场景中，默认启用偏置是有利的，因为它增加了模型的表达能力，而额外的计算成本相对较小。但在某些特定的架构或应用中，可能会选择禁用偏置。