熵，PSI，IV在机器学习中的应用

1.熵的概念：熵，是一个热力学的概念。但在历史的发展中，造就了它非常丰富的内涵，进入了很多学科的视野。1.混乱的熵 很多科普文章中，熵是用来度量混乱的。熵越小，这个时候越有秩序；而被打乱的时候，熵开始增大，直到最后一片混乱。2.可能的熵 所谓的整洁，指的是合适的物品放在了合适的位置。比如将下图定义为“整洁”，也就是说图中大概有20件可以移动的物品，都放在了合适的位置： 而实际上，图中至少有100个可以放置物品的位置。其总的放置方法为非常巨大的数字：如果“整洁”被定义为上图中的放置方法，其余都统统称为“混乱”。那么“整洁”在所有放置方法中的占比，即“整洁”出现的概率是非常小的，几乎为不可能事件；而“混乱”几乎为必然事件，所以“整洁”很容易变为“混乱”："整洁的概率"熵越大，意味着发生的可能性越大。而整个宇宙，自发地朝着可能性更大的方向，也就是熵更大的方向在发展，这就是熵增原理 的更准确的描述（要强调下，如果有人去收拾房间，那就不叫作“自发”）。以上参考：https://www.zhihu.com/question/24053383/answer/8495004362.机器学习-各种熵的概念：2.1 信息熵：信息量的期望（加权平均） 信息熵特点：（以概率和为1为前提哈）a) 不同类别的概率分布越均匀，信息熵越大；b) 类别个数越多，信息熵越大；c) 信息熵越大，越不容易被预测；（变化个数多，变化之间区分小，则越不容易被预测）（对于确定性问题，信息熵为0）2.2 相对熵（KL散度）相对熵又叫KL散度：对于同一个随机变量X有两个单独的概率分布P(x)和Q(x)，则使用KL散度来衡量这两个概率分布之间的差异。K-L散度可以理解为分布P(x)和Q(x)之间的对数差值的期望。KL散度越小，表示P(x)与Q(x)的分布更加接近。2.3 交叉熵交叉熵可以由KL散度推导出来：KL散度 = - 信息熵+交叉熵由于信息熵是关于分布P(x)的，而分布P(x)是已知的，是一个常量，那么最小化KL散度，就相当于最小化交叉熵，所以机器学习中经常使用交叉熵损失函数。3. 从KL散度到PSI上次我们讲到IV和PSI的公式可以用一个通用表达式表示：并且用熵的概念简要的说明了为什么对