推导Bias² + Variance + σ²_ε

问题的背景

我们有一个真实函数 $f(x)$ 和基于训练数据 $D$ 训练得到的模型 $\hat{f}(x;D)$。对于任意输入 $x$：

• $y$ 是真实的观测值，定义为 $y=f(x)+ϵ$，其中 $ϵ$ 是随机噪声，满足 $E[ϵ]=0$ 且 $\text{Var}(ϵ)={\sigma }_{ϵ}^2$；

• $\hat{f}(x;D)$ 是模型的预测值，依赖于训练数据 $D$；

• 期望平方误差 $E[(y-\hat{f}(x;D){)}^2]$ 是衡量模型预测误差的指标，期望 $E[\cdot ]$ 同时针对训练数据 $D$ 和噪声 $ϵ$ 取值。

目标是证明：

$E[(y-\hat{f}(x;D){)}^2]={\text{Bias}}^2+\text{Variance}+{\sigma }_{ϵ}^2$

其中：

• Bias（偏差）：$\text{Bias}=E[\hat{f}(x;D)]-f(x)$；

• Variance（方差）：$\text{Variance}=E[(\hat{f}(x;D)-E[\hat{f}(x;D)]{)}^2]$；

• ${\sigma }_{ϵ}^2$：不可约误差，即噪声的方差。

---

推导步骤

步骤 1：定义期望平方误差

我们从期望平方误差开始：

$E[(y-\hat{f}(x;D){)}^2]$

由于 $y=f(x)+ϵ$，代入后得到：

$y-\hat{f}(x;D)=f(x)+ϵ-\hat{f}(x;D)$

因此，期望平方误差为：

$E[(y-\hat{f}(x;D){)}^2]=E[(f(x)+ϵ-\hat{f}(x;D){)}^2]$

这里的期望 $E[\cdot ]$ 是对训练数据 $D$ 和噪声 $ϵ$ 的联合期望，即 $E_{D,ϵ}[\cdot ]$。

步骤 2：展开平方项

将表达式展开：

$(f(x)+ϵ-\hat{f}(x;D){)}^2=[f(x)-\hat{f}(x;D){]}^2+2[f(x)-\hat{f}(x;D)]ϵ+{ϵ}^2$

对整个表达式取期望：

$E[(f(x)+ϵ-\hat{f}(x;D){)}^2]=E[[f(x)-\hat{f}(x;D){]}^2]+2E[[f(x)-\hat{f}(x;D)]ϵ]+E[{ϵ}^2]$

步骤 3：分别计算每一项的期望

由于期望是对 $D$ 和 $ϵ$ 取值，我们需要利用 $ϵ$ 和 $\hat{f}(x;D)$ 的独立性（$ϵ$ 是数据固有的噪声，不依赖于训练数据 $D$）以及 $ϵ$ 的性质（$E[ϵ]=0$）。

1. 第一项：$E[[f(x)-\hat{f}(x;D){]}^2]$

   • $f(x)$ 是固定的真实值，不依赖于 $D$ 或 $ϵ$；

   • $\hat{f}(x;D)$ 依赖于 $D$，但不依赖于 $ϵ$；

   • 因此，$E_{D,ϵ}[[f(x)-\hat{f}(x;D){]}^2]=E_D[[f(x)-\hat{f}(x;D){]}^2]$（因为对 $ϵ$ 取期望不影响这一项）。

2. 第二项：$2E[[f(x)-\hat{f}(x;D)]ϵ]$

   • 由于 $ϵ$ 与 $D$（从而与 $\hat{f}(x;D)$）独立，且 $E[ϵ]=0$：

     $E_{D,ϵ}[[f(x)-\hat{f}(x;D)]ϵ]=E_D[f(x)-\hat{f}(x;D)]\cdot E[ϵ]=E_D[f(x)-\hat{f}(x;D)]\cdot 0=0$

   • 所以这一项为零。

3. 第三项：$E[{ϵ}^2]$

   • $ϵ$ 的方差定义为 $\text{Var}(ϵ)=E[{ϵ}^2]-(E[ϵ]{)}^2$；

   • 已知 $E[ϵ]=0$，所以：

     $E[{ϵ}^2]=\text{Var}(ϵ)={\sigma }_{ϵ}^2$

   • 由于 $ϵ$ 不依赖于 $D$，这一项直接为 ${\sigma }_{ϵ}^2$。

因此，期望平方误差简化为：

$E[(y-\hat{f}(x;D){)}^2]=E_D[[f(x)-\hat{f}(x;D){]}^2]+{\sigma }_{ϵ}^2$

步骤 4：分解 $E_D[[f(x)-\hat{f}(x;D){]}^2]$

现在需要将 $E_D[[f(x)-\hat{f}(x;D){]}^2]$ 分解为偏差和方差两部分。定义 $\bar{f}(x)=E_D[\hat{f}(x;D)]$ 为模型预测的期望值（对所有可能的训练集 $D$ 取平均）。

在表达式中加入和减去 $\bar{f}(x)$：

$f(x)-\hat{f}(x;D)=[f(x)-\bar{f}(x)]+[\bar{f}(x)-\hat{f}(x;D)]$

平方后：

$[f(x)-\hat{f}(x;D){]}^2=[f(x)-\bar{f}(x){]}^2+2[f(x)-\bar{f}(x)][\bar{f}(x)-\hat{f}(x;D)]+[\bar{f}(x)-\hat{f}(x;D){]}^2$

对 $D$ 取期望：

$E_D[[f(x)-\hat{f}(x;D){]}^2]=E_D[[f(x)-\bar{f}(x){]}^2]+2E_D[[f(x)-\bar{f}(x)][\bar{f}(x)-\hat{f}(x;D)]]+E_D[[\bar{f}(x)-\hat{f}(x;D){]}^2]$

逐项计算：

1. 第一项：$E_D[[f(x)-\bar{f}(x){]}^2]$

   • $f(x)$ 和 $\bar{f}(x)=E_D[\hat{f}(x;D)]$ 都是固定的（不随具体的 $D$ 变化），所以：

     $E_D[[f(x)-\bar{f}(x){]}^2]=[f(x)-\bar{f}(x){]}^2$

   • 根据定义，$\text{Bias}=E_D[\hat{f}(x;D)]-f(x)=\bar{f}(x)-f(x)$，所以：

     $[f(x)-\bar{f}(x){]}^2=[\bar{f}(x)-f(x){]}^2=(\text{Bias}{)}^2$

2. 第二项：$2E_D[[f(x)-\bar{f}(x)][\bar{f}(x)-\hat{f}(x;D)]]$

   • $f(x)-\bar{f}(x)$ 是固定的，可提出期望：

     $E_D[[f(x)-\bar{f}(x)][\bar{f}(x)-\hat{f}(x;D)]]=[f(x)-\bar{f}(x)]E_D[\bar{f}(x)-\hat{f}(x;D)]$

   • 因为 $\bar{f}(x)=E_D[\hat{f}(x;D)]$，所以：

     $E_D[\bar{f}(x)-\hat{f}(x;D)]=\bar{f}(x)-E_D[\hat{f}(x;D)]=\bar{f}(x)-\bar{f}(x)=0$

   • 因此这一项为零。

3. 第三项：$E_D[[\bar{f}(x)-\hat{f}(x;D){]}^2]$

   • 这一项正是模型预测的方差：

     $E_D[[\bar{f}(x)-\hat{f}(x;D){]}^2]=E_D[(\hat{f}(x;D)-E_D[\hat{f}(x;D)]{)}^2]=\text{Variance}$

于是：

$E_D[[f(x)-\hat{f}(x;D){]}^2]=(\text{Bias}{)}^2+\text{Variance}$

步骤 5：合并结果

将分解结果代回：

$E[(y-\hat{f}(x;D){)}^2]=E_D[[f(x)-\hat{f}(x;D){]}^2]+{\sigma }_{ϵ}^2=(\text{Bias}{)}^2+\text{Variance}+{\sigma }_{ϵ}^2$

推导完成。

---

直观解释

• Bias²（偏差平方）：衡量模型平均预测 $\bar{f}(x)$ 与真实值 $f(x)$ 的差距，反映模型的系统性误差（例如模型是否过于简单）。

• Variance（方差）：衡量模型预测 $\hat{f}(x;D)$ 在不同训练集 $D$ 上的波动性，反映模型对训练数据的敏感度（例如模型是否过于复杂）。

• ${\sigma }_{ϵ}^2$（不可约误差）：数据中固有的噪声，无法通过任何模型消除。

---

总结

通过将 $y-\hat{f}(x;D)$ 展开为真实值、模型预测和噪声的组合，展开平方项并取期望，利用 $ϵ$ 的独立性和零均值性质，最后分解模型误差项，我们证明了：

$E[(y-\hat{f}(x;D){)}^2]={\text{Bias}}^2+\text{Variance}+{\sigma }_{ϵ}^2$