什么是信息熵

信息熵

公式

• 一个离散随机变量$X$的可能取值为$X=x_1,x_2,...,x_n$，而对应的概率为$p_i=p(X=x_i)$,如下

  $x_1$	$x_2$	$x_3$	$x_4$	…	$x_n$
  p($x_1$)	p($x_2$)	p($x_3$)	p($x_4$)	…	p($x_n$)

  在信息论中，某个信息 $x_i$ 出现的不确定性的大小定义为 $x_i$ 所携带的信息量，用 $I(x_i)$ 表示。$I(x_i)$ 与信息 $x_i$ 出现的概率 $p(x_i)$ 之间的关系为
  $$\begin{array}{rl}I(x_i)& =\log \frac{1}{p(x_i)}\\ & =-\log p(X_i)\end{array}$$
  以上是求单一信息的信息量；求全部信息的平均信息量，即

  1. 离散型随机变量的信息熵定义为：

  $$\begin{array}{rl}H(x)& =-\sum _{i=1}^{n}p(x_i)\log p(x_i)\\ & =H(P)\end{array}$$

  2. 连续型随机变量的信息熵定义为：

  $$H(x)=-\int f(x)\log (f(x))dx$$

  规定当 $p(x_i)=0$ 时，$p(x_i)\log p(x_i)=0$。

• 信息熵是一个平均信息量，可以解释为：用基于P的编码去编码来自P的样本，其最优编码平均所需要的比特个数。

例子

• 以《数学之美》中一个小例子来理解上述的公式，世界杯有32支球队，赛后我问一个知道比赛的观众“哪支球队是冠军”？他不愿告诉我，让我猜，并且没猜一次，他需要收一块钱(一块钱能买1G流量,上网查它不香吗？)才肯告诉我是否才对，我可以吧球队编号从1到32，然后提问“冠军是在1-16号球队中吗？”假如他告诉我猜错了，那么肯定就在17-32号球队中，这样只需要提问5次($2^5=32$)，就能知道哪只球队是冠军。所以谁是世界杯冠军这条消息只值5元(${\log }_2^{32}=5$)。

  香农用“比特”(Bit)来度量信息量，一个比特是一位二进制数，在计算机中，一个字节是8比特。则在上面的例子中，这条信息量是5比特，信息量的比特数和所有可能情况的对数函数有关。即信息量
  $$\begin{array}{rl}I(x_i)& ={\log }_2\frac{1}{p(x_i)}\\ & =-{\log }_{2}p(X_i)\\ & ={\log }_2\frac{1}{\frac{1}{32}}\\ & =-{\log }_2\frac{1}{32}\\ & =5(bit)\end{array}$$
  当然我们发现实际上可能并不需要5次才能猜中，因为巴西，德国，意大利这样的球队会比其他球队更有可能夺冠，所以第一次猜测时不需要等分，而可以将少数热门球队分为一份，其他的另分为一份，重复这个过程，有可能3次或者4次就能猜出结果。所以，当没只球队夺冠的可能性(概率)不等时(使用$p_1,p_2,\dots ,p_{32}分别表示这32只球队夺冠的概率$)，“谁是世界杯冠军”的信息量比5比特少。香农指出，它准确的信息量是
  $$\begin{array}{rl}H(x)& =-\sum _{i=1}^{n}p(x_i)\log p(x_i)\\ & =H(P)\\ & =-(p_1\cdot \log p_1+p_2\cdot \log p_2+\cdots +p_{32}\cdot \log p_{32})\end{array}$$
  香农称之为信息熵，一般用H表示，单位是比特。当这32支球队夺冠概率相同时，对应的信息熵等于5比特。

• 汉字编码

  有一本50万字的书，假设每个字出现的概率相同，那么每个字携带的信息量是
  $${\log }_2^{500000}\approx 18.93bit$$
  即加入每个字等概率，大约需要19比特（19位二进制数）表示一个汉字

  这本书总携带的信息量为
  $$\begin{array}{rl}500000\ast {\log }_2^{500000}& \approx 500000\ast 18.93\text{Bit}\\ & =9465000\text{Bit}\\ & =(9465000/8)\text{Byte}\\ & =1183125\text{Byte}\\ & =(1183125/1024/1024)\text{G}\\ & \approx 1.13\text{G}\end{array}$$
  即在假设每个字出现的概率相同的情况下，50万字的书携带的信息量为9465000比特；

  但是汉子使用频率不均等，10%的汉字占常用文本的95%以上。且在考虑上下文的情况下，每个汉字的信息熵只有5bit左右，即50万字携带250万比特的信息，采用较好的算法压缩，整本书可以存成一个320k的文件，若直接用两字节的国标编码存储这本书，大约需要1MB大小，是压缩文件的3倍，这两个数据量的差异在信息论中叫冗余度，且250万比特在这只是一个平均数，同样两本50万字的书，所含的信息量可以相差很多。如果一本书重复的内容很多，它的信息量就小，冗余度就大。且不同语言的冗余度差别也很大，一本很厚的英文书翻译成中译本一般会薄很多。

伯努利分布的熵

• 伯努利分布(两点分布、0-1分布)

  x	1	0
  概率	p	1-p

  $$\begin{array}{rl}H(x)& =-\sum _{x}p(x)\log p(x)\\ & =-p\log p-(1-p)\log (1-p)\end{array}$$

---

熵的性质

• 对于离散型随机变量，当其服从均匀分布时，熵有极大值；
• 对与离散型随机变量，取某一个值的概率为1，其他所有值的概率为0时，熵有极小值。