Beta分布Dirichlet分布

Beta分布

Beta分布是定义在区间$[0,1]$上的连续概率分布，通常用于模拟概率或比例的随机变量。Beta分布的概率密度函数（PDF）如下：

$$f(x;\alpha ,\beta )=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}$$其中：

• $x$是随机变量，取值范围在 $[0,1]$ 之间。
• $\alpha$和 $\beta$是形状参数，它们都是正实数$(\alpha >0,\beta >0）$。
• $\Gamma$是伽马函数，它是阶乘函数在实数与复数域上的扩展。

Beta分布的概率密度函数可以进一步简化为：

$$f(x;\alpha ,\beta )=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{B(\alpha ,\beta )}$$

其中 ( B(\alpha, \beta) ) 是Beta函数，定义为：

$$B(\alpha ,\beta )=\frac{\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}$$

Beta函数是两个伽马函数的比值，它确保了概率密度函数的积分总和为1。

Dirichlet分布

Dirichlet分布是定义在K维实数向量上的多项分布的共轭先验，通常用于模拟多类别分布。Dirichlet分布的概率密度函数（PDF）如下：

$$f(\mathbf{x};\mathbf{\alpha })=\frac{\Gamma \left({\sum }_{i=1}^K{\alpha }_i\right)}{{\prod }_{i=1}^K\Gamma ({\alpha }_i)}\prod _{i=1}^K{x}_i^{{\alpha }_i-1}$$

其中：

• $\mathbf{x}=(x_1,x_2,\dots ,x_K)$是随机变量，每个 $x_i$取值范围在 $[0,1]$ 之间，并且 ${\sum }_{i=1}^K{x}_i=1$。
• $\mathbf{\alpha }=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_K)$是形状参数，每个 ${\alpha }_i$都是正实数$({\alpha }_i>0)$。
• $\Gamma$是伽马函数。

Dirichlet分布的概率密度函数可以进一步简化为：

$$f(\mathbf{x};\mathbf{\alpha })=\frac{{\prod }_{i=1}^K{x}_i^{{\alpha }_i-1}}{\text{Dir}(\mathbf{\alpha })}$$

其中 ( \text{Dir}(\boldsymbol{\alpha}) ) 是Dirichlet函数，定义为：

$$\text{Dir}(\mathbf{\alpha })=\frac{\Gamma \left({\sum }_{i=1}^K{\alpha }_i\right)}{{\prod }_{i=1}^K\Gamma ({\alpha }_i)}$$

Dirichlet函数确保了概率密度函数的积分总和为1。

Beta分布&Dirichlet分布

• Beta分布和Dirichlet分布的概率密度函数都涉及到了伽马函数$(\Gamma )$。这种函数在数学中非常重要，特别是在处理与概率和统计相关的问题时。

• 两者的概率密度函数都具有幂函数的形式，其中Beta分布是一维的，而Dirichlet分布是多维的。Dirichlet分布可以看作是Beta分布的多维推广。
  
  
  

从Dirichlet分布生成Beta样本

• Dirichlet分布的一个有趣性质是，它可以用于生成Beta分布的样本。具体来说，如果我们从Dirichlet分布$\text{Dir}(\mathbf{\alpha })$ 中生成一个样本 $\mathbf{x}=(x_1,x_2,\dots ,x_K)$，那么对于任意$i$ 和$j$$(i\ne j)$，比值$\frac{x_i}{x_i+x_j}$服从参数为${\alpha }_i$和${\alpha }_j$的Beta分布。

Beta分布&Dirichlet分布应用

• Beta分布：常用于贝叶斯统计中，作为二项分布的共轭先验。它也可以用于建模概率或比例，例如在信用评分、市场研究等领域。
• Dirichlet分布：常用于贝叶斯统计中，作为多项分布的共轭先验。它也可以用于建模多类别分布，例如在主题模型、聚类分析等领域。

这些分布的概率密度函数在贝叶斯统计和机器学习中非常重要，因为它们提供了一种自然的方式来表示和处理概率分布。