在未归一化的线性回归模型中，特征的尺度差异可能导致模型对特征重要性的误判

通过数学公式来更清晰地说明归一化对模型的影响，以及它如何改变特征的重要性评估。

---

1. 未归一化的情况

假设我们有一个线性回归模型：
$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+ϵ$
其中：

• $x_1$ 和 ($x_2$) 是两个特征（如面积和卧室数量），
• (${\beta }_1$) 和 (${\beta }_2$) 是对应的系数，
• ($y$) 是目标变量（如房价），
• ($ϵ$) 是误差项。

特征范围的影响

• 假设 ($x_1$) 的范围是 $([a_1,b_1]$，$x_2$ 的范围是 $([a_2,b_2])$。
• 特征的范围差异会影响模型的优化过程。例如：
  • 如果 $x_1$ 的范围较大（如面积：50~200），而 $x_2$ 的范围较小（如卧室数量：1~5），那么在最小化损失函数时，模型可能会赋予 $x_1$ 较小的系数 ${\beta }_1$，而赋予 $x_2$ 较大的系数 ${\beta }_2$，以平衡两者对预测值的影响。

总影响的计算

• 特征的总影响可以表示为：
  $$\text{总影响}(x_1)=(b_1-a_1)\cdot {\beta }_1$$
  $$\text{总影响}(x_2)=(b_2-a_2)\cdot {\beta }_2$$
• 如果 $b_1-a_1\gg b_2-a_2$（即 $x_1$ 的范围远大于 $x_2$），即使 ${\beta }_1\ll {\beta }_2$，$x_1$ 的总影响可能仍然占据主导地位。

---

2. 归一化后的公式

归一化将特征缩放到相同的范围（如 [0, 1]）。归一化的公式为：
$$x_i^{\prime }=\frac{x_i-a_i}{b_i-a_i}$$
其中：

• (x’_i) 是归一化后的特征值，
• (a_i) 和 (b_i) 分别是原始特征的最小值和最大值。

归一化后，特征的范围变为 [0, 1]，因此：
$$x_1^{\prime }\in [0,1],x_2^{\prime }\in [0,1]$$

归一化后的模型

归一化后的线性回归模型变为：
$$y={\beta }_0+{\beta }_1^{\prime }{x}_1^{\prime }+{\beta }_2^{\prime }{x}_2^{\prime }+ϵ$$
其中：
${\beta }_1^{\prime }$ 和 ${\beta }_2^{\prime }$ 是归一化后特征的系数。

总影响的变化

• 归一化后，特征的总影响可以直接通过系数比较：
  $$\text{总影响}(x_1^{\prime })={\beta }_1^{\prime }$$
  $$\text{总影响}(x_2^{\prime })={\beta }_2^{\prime }$$
• 因为所有特征的范围相同（[0, 1]），所以系数的绝对值可以直接反映特征的重要性。

---

3. 数学推导：归一化对系数的影响

假设未归一化时的模型为：
$$y={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+ϵ$$

归一化后，特征 (x_1) 和 (x_2) 被替换为 (x’_1) 和 (x’_2)，即：
$$x_1^{\prime }=\frac{x_1-a_1}{b_1-a_1},x_2^{\prime }=\frac{x_2-a_2}{b_2-a_2}$$

代入模型：
$$y={\beta }_0+{\beta }_1\left((b_1-a_1)x_1^{\prime }+a_1\right)+{\beta }_2\left((b_2-a_2)x_2^{\prime }+a_2\right)+ϵ$$

整理后：
$$y={\beta }_0+{\beta }_1{a}_1+{\beta }_2{a}_2+{\beta }_1(b_1-a_1)x_1^{\prime }+{\beta }_2(b_2-a_2)x_2^{\prime }+ϵ$$

令：
$${\beta }_1^{\prime }={\beta }_1(b_1-a_1),{\beta }_2^{\prime }={\beta }_2(b_2-a_2)$$

则归一化后的模型为：
$$y=({\beta }_0+{\beta }_1{a}_1+{\beta }_2{a}_2)+{\beta }_1^{\prime }{x}_1^{\prime }+{\beta }_2^{\prime }{x}_2^{\prime }+ϵ$$

关键结论

• 归一化后的系数${\beta }_1^{\prime }$ 和 ${\beta }_2^{\prime }$ 是未归一化系数 ${\beta }_1$ 和 ${\beta }_2$ 乘以各自的范围$(b_1-a_1$ 和 $b_2-a_2$。
• 这意味着，归一化消除了特征范围对系数的影响，使得模型可以直接比较 ${\beta }_1^{\prime }$和${\beta }_2^{\prime }$来评估特征的重要性。

---

4. 示例

假设未归一化时：

• 面积 $x_1$ 的范围是 [50, 200]，系数 ${\beta }_1=1$；
• 卧室数量 $x_2$ 的范围是 [1, 5]，系数 ${\beta }_2=100$。

未归一化时的总影响

$$\text{总影响}(x_1)=(200-50)\cdot 1=150$$
$$\text{总影响}(x_2)=(5-1)\cdot 100=400$$
卧室数量的总影响更大。

归一化后的系数

归一化后：
${\beta }_1^{\prime }={\beta }_1\cdot (b_1-a_1)=1\cdot (200-50)=150$
${\beta }_2^{\prime }={\beta }_2\cdot (b_2-a_2)=100\cdot (5-1)=400$

此时，归一化后的系数 ${\beta }_1^{\prime }=150$和 ${\beta }_2^{\prime }=400$ 直接反映了两者的总影响。

---

5. 总结

通过归一化，我们将特征的范围标准化为 [0, 1]，并重新调整了系数，使得模型能够公平地评估特征的重要性。具体来说：

• 未归一化时，特征的总影响由范围和系数共同决定；
• 归一化后，特征的总影响仅由系数决定，从而避免了因范围差异导致的偏差。

希望这个数学推导能帮助你更好地理解归一化的作用！