【机器学习前置知识】狄利克雷分布

在阅读本文前，建议先食用以下几篇文章以能更好地理解狄利克雷分布：

二项分布

Beta分布

多项分布

共轭分布

狄利克雷分布

狄利克雷分布(Dirichlet distribution)是Beta分布的扩展，把Beta分布从二元扩展到多元形式就是狄利克雷分布，Beta分布是狄利克雷分布的二元特例。

在共轭方面，可以类比Beta分布与二项分布的关系，狄利克雷分布是多项分布的共轭分布，因此狄利克雷分布常作为多项分布的先验分布使用，它是多项分布似然的共轭先验。

狄利克雷分布本质上是多元连续型随机变量的概率密度分布，假设多元随机变量 $\theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$ 服从参数 $\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_k)$ 的狄利克雷分布，记作 $\theta \backsim Dir(\alpha )$ ，则概率密度函数可表示为：

$p(\theta |\alpha )=\frac{\Gamma ({\sum }_{i=1}^k{\alpha }_i)}{{\prod }_{i_{=}1}^k\Gamma ({\alpha }_i)}{\prod }_{i=1}^k{\theta }_i^{{\alpha }_{i-1}}=\frac{1}{B(\alpha )}{\prod }_{i=1}^k{\theta }_i^{{\alpha }_{i-1}}(1)$

其中，${\sum }_{i=1}^k{\theta }_i=1$ ，${\theta }_i\ge 0$ ，${\alpha }_i>0$

初识者对式 $(1)$ 可能不明就里，我们来对它做个通俗的解释。

在二项分布和Beta分布中我们曾以抛硬币举例，因为他们只涉及到二元变量，硬币的正反面就可以表示。

在多项分布里面用的是骰子举例，狄利克雷分布也同样可以效仿之。

假设有个生产骰子的工厂，这个工厂技术精湛且先进，不仅能造出一般的质地均匀的六面骰子，甚至可以造出任意质地任意多个面的骰子，这里质地均匀指的是骰子掷出每个面的概率相同，任意质地指掷出每个面的概率不同(但和为1)。在此背景下，狄利克雷分布中的 $k$ 元随机变量 $\theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$ 可以看作掷一枚这个工厂生产的具有 $k$ 个面的骰子时， 每个面出现的概率；参数 $\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_k)$ 可以看作掷 $n$ 次骰子中，$k$ 个面中每个面出现的次数，并且满足 ${\sum }_{i=1}^k{\theta }_i=1$ ，${\sum }_{i=1}^k{\alpha }_i=n$ 。

因为 $\theta$ 满足 ${\sum }_{i=1}^k{\theta }_i=1$ ，${\theta }_i\ge 0$ ，可以说狄利克雷分布的 $k$ 元随机变量 $\theta =({\theta }_1,{\theta }_2,...,{\theta }_k)$ 是定义在 $k-1$ 维概率单纯形（K-dimentional probability simplex）上的 。$k$ 维单纯形就是具有 $k+1$ 个顶点的凸多面体，比如二维单纯形是个三角形、有三个顶点；三维单纯形是四面体、有四个顶点。$k$ 表示类别的数量，概率单纯形上的一个点可以用 $k$ 个和为1的非负数表示。比如当 $k=3$ 时， ${\theta }_1、{\theta }_2、{\theta }_3$ 分布在三维空间 $z=1-x-y$ 的平面三角形上，是个二维单纯形。