联合熵和条件熵

本专栏包含信息论与编码的核心知识，按知识点组织，可作为教学或学习的参考。markdown版本已归档至【Github仓库：information-theory】，需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

联合熵

联合集 XY 上, 对联合自信息 $I(xy)$ 的平均值称为联合熵:

$$\begin{array}{l}H(XY)=\underset{p(xy)}{E}[I(x\rightleftharpoons y)]\\ =-{\sum }_x{\sum }_{y}p(xy)\log p(xy)\end{array}$$
当有n个随机变量 $X=\left(X_1,X_2,\dots ,X_n\right)$ , 有

$$H(\mathbf{X})=-\sum _{X_1,X_2,\dots ,X_n}p\left(x_1,x_2,\dots ,x_n\right)\log p\left(x_1,x_2,\dots ,x_n\right)$$
信息熵与热熵的关系

信息熵的概念是借助于热熵的概念而产生的。

1. 信息熵与热熵含义相似

2. 信息熵与热熵的区别:

   • 信息熵的不增原理
   • 热熵不减原理

3. 热熵的减少等于信息熵的增加。

条件熵

联合集 $\mathbf{XY}$ 上, 条件自信息$I(y/x)$的平均值定义为条件熵：

$$\begin{array}{l}H(Y/X)=\underset{p(xy)}{E}[I(y/x)]=-{\sum }_x{\sum }_{y}p(xy)\log p(y/x)\\ ={\sum }_{x}p(x)\left[-{\sum }_{y}p(y/x)\log p(y/x)\right]={\sum }_{x}p(x)H(Y/x)\end{array}$$
推广：

$$\begin{array}{l}H\left(X_n\mid X_1,\dots ,X_{n-1}\right)=-{\sum }_{X_1,X_2,\dots ,X_n}p\left(x_1,x_2,\dots ,x_n\right)\log p\left(x_n\mid x_1,\dots ,x_{n-1}\right)\end{array}$$
注意：当有n个随机变量 $X=\left(X_1,X_2,\dots ,X_n\right)$ 。

$$\begin{array}{l}H(X,Y)=H(Y)+H(X\mid Y)=H(X)+H(Y\mid X)\\ H(\mathbf{X})=H\left(X_1\right)+H\left(X_2\mid X_1\right)+\dots +H\left(X_n\mid X_1,X_2,\dots ,X_{n-1}\right)\end{array}$$
注意： $\mathbf{H}(\mathbf{X}\mid \mathbf{Y})$ 表示已知变量 $\mathbf{Y}$ 后, 对变量 $\mathbf{X}$ 尚存在的平均不确定性（存在疑义）。

已知信源 $X=\left[\begin{array}{ccc}A& B& C\\ 1/3& 1/3& 1/3\end{array}\right]$ 和 $Y=\left[\begin{array}{ccc}D& E& F\\ 1/10& 3/5& 3/10\end{array}\right]$ ,请快速两个信源的信息熵的关系。

答：H(X) > H(Y)。其实不用计算，由上面可知一个简单的结论，等概率时信息熵最大。

参考文献：

1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
3. 周炯槃. 通信原理（第3版）[M]. 北京：北京邮电大学出版社, 2008.
4. 樊昌信, 曹丽娜. 通信原理（第7版） [M]. 北京：国防工业出版社, 2012.