熵、交叉熵、KL散度

熵

熵，是一个物理上的概念，表示一个系统的不确定性程度，或者表示一个系统的混乱程序。
下边是信息熵的演示：
信息熵的公式如下：
$H(x)=-{\sum }_{i=1)}^{n}p(x_i)logp(x_i)$
其中$P(x)表示随机变量x的概率函数$看数值可知道班花A的头脑更加混乱，那么多个帅哥，不知选择哪一个，不像班花B只需要选择第一个大帅哥即可。

KL散度

KL散度就是相对熵，相对熵就是KL散度
KL散度 = 相对熵，相对熵 = KL散度。
KL 散度：是两个概率分布间差异的非对称性度量。
怎么理解这句话呢？
KL散度其实是用来衡量同一个随机变量的两个不同分布之间的距离。
KL散度的公式如下：
$D_{KL}(p||q)={\sum }_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x_i)})$
在这补充一下 条件概率：
条件概率公式如下：
$P(B|A)=\frac{P(AB)}{P(A)}$
理解：就是说，在A发生的条件下呢，AB也同时 发生。
上述公式也可写成：
$P(B|A)=\frac{P(A,B)}{P(A)}$

KL散度的特性：
特点1：非对称性。
即D_KL(p||q) 不等于D_KL(q||p)
只有当p 和q的概率分布完全一样时才会相等。
特点2：非负性。
DKL的值永远大于0
只有当p 和q的概率分布完全一样时才会等于0.
看看b站老表老师的例子，笑着理解。哈哈哈

KL散度公式的变形：

引入交叉熵。

交叉熵公式如下：
$H(P,Q)=-{\sum }_{i=1}^{n}p(x_i)logq(x_i)$ 经过简单变形：
=> $H(P,Q)={\sum }_{i=1}^{n}p(x_i)log(\frac{1}{q(x_i)})$
其中$p(x_i)是真实分布的概率，q(x_i)是预测的概率$
同样看下b站老师的例子，笑着理解吧！

观测交叉熵的数值可知：
1、预测越准确，交叉熵越小。
2、交叉熵只跟真是标签的预测概率值有关。
所以你就能推断出交叉熵的最简公式：
$Cros{s}_{E}ntropy(p,q)=-logq(c_i)$

交叉熵的二分类公式：

$H(P,Q)=-{\sum }_{i=1}^{n}p(x_i)log(q(x_i))$
$=-p(x_1)logq(x_1)+p(x_2)logq(x_2)$
$=-plogq+(1-p)log(1-q)$
$=-(plogq-(1-p)log(1-q))$
怎么推到第四步的呢？
$p(x_1)+p(x_2)=1，我们假设$$p(x_1)=p，那么p(x_2)=1-p$
同理：
$q(x_1)+q(x_2)=1，我们假设$$q(x_1)=q，那么q(x_2)=1-q$
继续看b站老师的例子，帮助理解。

继续观摩老师的PPT：

再次理解SoftMax函数

按照老师的话来说：
softMax就是将数字转换成概率的大杀器，进行数据归一化的大杀器。

结束

对于该为b站老师的视频，我感觉讲的非常好哇，很适合小白入门，可惜后续没再更新，不知在哪还能找到勒