理解深度学习pytorch框架中的线性层

在神经网络或机器学习的线性层（Linear Layer / Fully Connected Layer）中，经常会见到两种形式的公式：

• 数学文献或传统线性代数写法：$y=Wx+b$
• 一些深度学习代码中写法：$y=x{W}^T+b$

初次接触时，很多人会觉得两者“方向”不太一样，不知该如何对照理解；再加上矩阵维度 $(\text{in\_features},\text{out\_features})$ 和 $(\text{out\_features},\text{in\_features})$ 的各种写法常常让人疑惑不已。本文将从数学角度和编程实现角度剖析它们的关系，并结合实际示例指出一些常见的坑与需要特别留意的下标对应问题。

1. 数学角度：$y=Wx+b$

在线性代数中，如果我们假设输入 $x$ 是一个列向量，通常会写作 $x\in {\mathbb{R}}^{(\text{in\_features})}$（或者在更严格的矩阵形状记法下写作 $(\text{in\_features},1)$）。那么一个最常见的全连接层可以表示为：

$$y=Wx+b,$$

其中：

• $W$ 是一个大小为 $(\text{out\_features},\text{in\_features})$ 的矩阵；
• $b$ 是一个 $\text{out\_features}$-维的偏置向量（形状 $(\text{out\_features},1)$）；
• $y$ 则是输出向量，大小为 $\text{out\_features}$。

示例

假设 $\text{in\_features}=3$，$\text{out\_features}=2$。那么：
$$W\in {\mathbb{R}}^{2\times 3},x\in {\mathbb{R}}^{3\times 1},b\in {\mathbb{R}}^{2\times 1}.$$

矩阵写开来就是：

$$W=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\end{array}\right],x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right],b=\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right].$$

那么线性变换结果 $Wx+b$ 可以展开为：

$$\begin{array}{rl}Wx+b& =\left[\begin{array}{c}{w}_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3\\ w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3\end{array}\right]+\left[\begin{array}{c}{b}_1\\ b_2\end{array}\right]\\ & =\left[\begin{array}{c}{w}_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3+b_1\\ w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3+b_2\end{array}\right].\end{array}$$

这就是最传统、在数学文献或线性代数课程中最常见的表示方法。

---

2. 编程实现角度：$y=x{W}^T+b$

在实际的深度学习代码（例如 PyTorch、TensorFlow）中，经常看到的却是下面这种写法：

y = x @ W.T + b

注意这里 W.shape 通常被定义为 $(\text{out\_features},\text{in\_features})$，而 x.shape 在批量处理时则是 $(\text{batch\_size},\text{in\_features})$。于是 (x @ W.T) 的结果是 $(\text{batch\_size},\text{out\_features})$。

为什么会出现转置？
因为在数学里我们通常把 $x$ 当作“列向量”放在右边，于是公式变成 $y=Wx+b$。
但在编程里，尤其是处理批量输入时，x 常写成“行向量”的形式 $(\text{batch\_size},\text{in\_features})$，这就造成了在进行矩阵乘法时，需要将 W（大小 $(\text{out\_features},\text{in\_features})$）转置成 $(\text{in\_features},\text{out\_features})$，才能满足「行×列」的匹配关系。

从结果上来看，

$$(\text{batch\_size},\text{in\_features})\times (\text{in\_features},\text{out\_features})=(\text{batch\_size},\text{out\_features}).$$

所以，在代码里就写成 x @ W.T，再加上偏置 b（通常会广播到 $\text{batch\_size}$ 那个维度）。

本质上这和数学公式里 $y=Wx+b$ 并无冲突，只是一个“列向量”和“行向量”的转置关系。只要搞清楚最终你想让输出 $y$ 的 shape 是多少，就能明白在代码里为什么要写 .T。

---

3. 常见错误与易混点解析

有些教程或文档，会不小心写成：“如果我们有一个形状为 $(\text{in\_features},\text{out\_features})$ 的权重矩阵 $W$……”——然后又要做 $Wx$，想得到一个 $\text{out\_features}$-维的结果。但按照线性代数的常规写法，行数必须和输出维度匹配、列数必须和输入维度匹配。所以 正确 的说法应该是

$$W\in {\mathbb{R}}^{(\text{out\_features})\times (\text{in\_features})}.$$

否则从矩阵乘法次序来看就对不上。
但这又可能让人迷惑：为什么深度学习框架 torch.nn.Linear(in_features, out_features) 却给出 weight.shape == (out_features, in_features)？ 其实正是同一个道理，它和上面“数学文献里”用到的 $W$ 形状完全一致。

---

4. 小结

1. 从数学角度：
   最传统的记号是
   $$y=Wx+b,W\in {\mathbb{R}}^{(\text{out\_features})\times (\text{in\_features})},x\in {\mathbb{R}}^{(\text{in\_features})},y\in {\mathbb{R}}^{(\text{out\_features})}.$$

2. 从深度学习代码角度：

   • 由于批量数据常被视为行向量，每一行代表一个样本特征，因此形状通常是 $(\text{batch\_size},\text{in\_features})$。
   • 对应的权重 W 定义为 $(\text{out\_features},\text{in\_features})$。为了完成行乘以列的矩阵运算，需要对 W 做转置：

     y = x @ W.T + b
     

   • 得到的 y.shape 即 $(\text{batch\_size},\text{out\_features})$。

3. 避免踩坑：

   • 写公式时，仔细确认 $\text{in\_features}$、$\text{out\_features}$ 的位置以及矩阵行列顺序。
   • 编程实践中理解“为什么要 .T”非常重要：那只是为了匹配「行×列」的矩阵乘法规则，本质上还是和 $y=Wx+b$ 相同。

通过理解并区分“列向量”与“行向量”的不同惯例，避免因为矩阵维度或转置不当而导致莫名其妙的错误或 bug。

---

参考链接

• PyTorch 文档：torch.nn.Linear
• 深度学习中的矩阵运算初步 —— batch_size 与矩阵乘法
• 常见线性代数符号：行向量与列向量

---