Fisher信息矩阵与Hessian矩阵：区别与联系全解析

Fisher信息矩阵与Hessian矩阵：区别与联系全解析

在统计学和机器学习中，Fisher信息矩阵（FIM）和Hessian矩阵是两个经常出现的概念，它们都与“二阶信息”有关，常用来描述函数的曲率或参数的敏感性。你可能听说过，Fisher信息矩阵可以定义为对数似然函数二阶导数的负期望值，看起来很像Hessian矩阵的某种形式。那么，这两者到底有什么区别，又有哪些联系呢？今天我们就来一探究竟。

---

Fisher信息矩阵是什么？

Fisher信息矩阵是统计学中的一个核心工具，用来衡量概率分布 ( $p(x|\theta )$ ) 中包含的参数 ( $\theta$ ) 的信息量。它有两种等价定义：

1. 基于得分函数（Score Function）：
   $$I(\theta {)}_{ij}=E\left[\frac{\partial \log p(x|\theta )}{\partial {\theta }_i}\frac{\partial \log p(x|\theta )}{\partial {\theta }_j}|\theta \right]$$
   这是得分函数的协方差，反映了参数变化引起的似然波动。

2. 基于二阶导数：
   $$I(\theta {)}_{ij}=-E\left[\frac{{\partial }^2\log p(x|\theta )}{\partial {\theta }_i\partial {\theta }_j}|\theta \right]$$
   这是对数似然函数二阶偏导数的负期望值。

这两种定义在正则条件下（比如可微性和积分交换性）是等价的，我们稍后会证明。

通俗理解

Fisher信息矩阵像一个“信息探测器”，告诉你通过数据能了解多少关于 ( $\theta$ ) 的知识。它是期望值，代表分布的平均特性。

---

Hessian矩阵是什么？

Hessian矩阵则是一个更广义的概念，出现在数学和优化领域。对于任意函数 ( $f(\theta )$ )，Hessian矩阵 ( $H(\theta )$ ) 定义为：

$$H(\theta {)}_{ij}=\frac{{\partial }^{2}f(\theta )}{\partial {\theta }_i\partial {\theta }_j}$$

在统计学或机器学习中，如果 ( $f(\theta )=-\log p(x|\theta )$ )（负对数似然，作为损失函数），Hessian就是：

$$H(\theta {)}_{ij}=-\frac{{\partial }^2\log p(x|\theta )}{\partial {\theta }_i\partial {\theta }_j}$$

注意，这里的Hessian是一个具体的数据函数，依赖于观测值 ( $x$ )。

通俗理解

Hessian矩阵像一张“曲率地图”，告诉你函数在某一点的凹凸性或变化速度。在优化中（如牛顿法），它直接用来调整步长。

---

Fisher信息矩阵与Hessian的联系

从定义上看，Fisher信息矩阵和Hessian矩阵似乎很像，尤其是Fisher的二阶导数定义：

$$I(\theta {)}_{ij}=-E\left[\frac{{\partial }^2\log p(x|\theta )}{\partial {\theta }_i\partial {\theta }_j}|\theta \right]$$

而Hessian是：

$$H(\theta {)}_{ij}=-\frac{{\partial }^2\log p(x|\theta )}{\partial {\theta }_i\partial {\theta }_j}$$

它们的联系显而易见：Fisher信息矩阵是Hessian矩阵在真实参数 ( $\theta$ ) 下的期望值。换句话说，Fisher取了Hessian的平均，抹去了单个数据的随机性，反映了分布的整体特性。

证明两种定义的等价性

为什么 ( $I(\theta {)}_{ij}=E\left[s_i{s}_j\right]=-E\left[\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}\right]$ )？我们来推导一下：

得分函数 ( $s_i=\frac{\partial \log p}{\partial {\theta }_i}$ )，其二阶导数为：

$$\frac{\partial s_i}{\partial {\theta }_j}=\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}$$

计算得分函数的协方差：

$$I(\theta {)}_{ij}=E[s_i{s}_j]$$

考虑 ( $E[s_i]=0$ )（得分函数期望为零，请参考笔者的另一篇博客：统计学中的得分函数（Score Function）是什么？它和Fisher信息矩阵有什么关系？），我们对 ( $s_i$ ) 求偏导的期望：

$$E\left[\frac{\partial s_i}{\partial {\theta }_j}\right]=E\left[\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}\right]$$

另一方面：

$$\frac{\partial s_i}{\partial {\theta }_j}=\frac{\partial }{\partial {\theta }_j}\left(\frac{1}{p}\frac{\partial p}{\partial {\theta }_i}\right)=-\frac{1}{p^2}\frac{\partial p}{\partial {\theta }_j}\frac{\partial p}{\partial {\theta }_i}+\frac{1}{p}\frac{{\partial }^{2}p}{\partial {\theta }_i\partial {\theta }_j}$$

$$=-s_i{s}_j+\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}$$

取期望：

$$E\left[\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}\right]=E[s_i{s}_j]+E\left[\frac{\partial s_i}{\partial {\theta }_j}\right]$$

由于 ( $E[s_i]=0$ )，且在正则条件下可以交换积分和导数：

$$E\left[\frac{\partial s_i}{\partial {\theta }_j}\right]=\frac{\partial }{\partial {\theta }_j}E[s_i]=0$$

所以：

$$E\left[\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}\right]=E[s_i{s}_j]$$

取负号：

$$I(\theta {)}_{ij}=E[s_i{s}_j]=-E\left[\frac{{\partial }^2\log p}{\partial {\theta }_i\partial {\theta }_j}\right]$$

这证明了两种定义的等价性。

---

Fisher信息矩阵与Hessian的区别

尽管有联系，两者在使用和性质上有显著差别：

1. 定义基础

• Fisher信息矩阵：基于概率分布 ( $p(x|\theta )$ )，是期望值，反映分布的统计特性。
• Hessian矩阵：基于具体函数（比如 ( $-\log p(x|\theta )$ )），依赖特定数据 ( $x$ )，是瞬时值。

2. 随机性

• Fisher：取了期望，消除了数据的随机波动，是理论上的平均曲率。
• Hessian：直接计算某次观测的二阶导数，受数据噪声影响，可能不稳定。

3. 应用场景

• Fisher：用于统计推断，比如Cramér-Rao下界，衡量参数估计的理论精度。
• Hessian：用于优化算法（如牛顿法），直接处理损失函数的局部曲率。

4. 计算复杂度

• Fisher：需要知道分布并计算期望，理论上精确但实践中常需近似（如K-FAC）。
• Hessian：只需对具体数据求二阶导数，但在大规模模型中计算和存储成本高。

举例：正态分布

对于 ( $x\sim N(\mu ,{\sigma }^2)$ )：

• Fisher：
  $$I_{\mu \mu }=-E\left[-\frac{1}{{\sigma }^2}\right]=\frac{1}{{\sigma }^2}$$
  （二阶导数为常数，期望不变）

• Hessian：
  $$H_{\mu \mu }=-\frac{{\partial }^2\log p}{\partial {\mu }^2}=\frac{1}{{\sigma }^2}$$
  （对于单次观测，值固定）

这里两者相等，但如果数据有噪声或分布复杂，Hessian会波动，而Fisher保持稳定。

---

实际中的联系与应用

1. 大样本近似

在最大似然估计（MLE）中，当样本量很大时，Hessian矩阵的平均值趋近于Fisher信息矩阵：

$$\frac{1}{n}\sum _{i=1}^{n}H(\theta ;x_i)\approx I(\theta )$$

这为参数估计的协方差提供了近似：( $\text{Cov}(\hat{\theta })\approx I(\theta {)}^{-1}$ )。

2. 优化中的融合

• 牛顿法：直接用Hessian调整步长，但计算昂贵。
• 自然梯度下降：用Fisher信息代替Hessian，结合统计特性，效率更高。
• 折中方案：如K-FAC，用Fisher的近似加速Hessian类优化。

3. 参数正交性

Fisher的非对角元素 ( $I_{ij}=0$ ) 表示参数正交，而Hessian的非对角元素反映具体数据的参数耦合。Fisher提供理论指导，Hessian提供实践反馈。

---

总结

Fisher信息矩阵和Hessian矩阵是一对“亲戚”：Fisher是Hessian的期望版本，前者关注分布的统计信息，后者关注具体数据的曲率。它们在统计推断和优化中各有侧重，但在理论和实践中常常相辅相成。理解它们的区别与联系，能帮助我们在模型设计和训练中更灵活地选择工具——是追求理论精度，还是优化实际收敛？答案就在这两者之中。

后记

2025年2月24日23点00分于上海，在Grok3大模型辅助下完成。