【机器学习-基础知识】统计和贝叶斯推断

1. 概率论基本概念回顾

1. 概率分布

定义： 概率分布（Probability Distribution）指的是随机变量所有可能取值及其对应概率的集合。它描述了一个随机变量可能取的所有值以及每个值被取到的概率。

• 对于离散型随机变量，使用概率质量函数来描述。
• 对于连续型随机变量，使用概率密度函数来描述。

举例说明： 投掷一颗六面骰子，每个面上的数字（1到6）都有相同的概率（1/6）出现，这就是一个简单的概率分布例子。

2. 概率函数

定义： 概率函数（Probability Function）是指在离散型随机变量的情况下，给定一个随机变量的值时，计算该值发生的概率的函数。

公式： 对于离散型随机变量 $X$，其概率函数通常表示为 $P(X=x)$，即随机变量 $X$ 取某个特定值 $x$ 的概率。

举例说明： 抛一枚公平的硬币，令 $X$ 表示出现正面的情况，则 $P(X=\text{正面})=0.5$。

3. 概率分布函数（累积分布函数）

定义： 概率分布函数（Cumulative Distribution Function, CDF），也称作累积分布函数，是一个函数，它给出随机变量小于或等于某个值的概率。

公式： 对于任意实数 $a$，CDF $F(a)=P(X\le a)$。

举例说明： 若 $X$ 为一个均匀分布在 $[0,1]$ 区间上的随机变量，则 $F(x)$ 对于 $0\le x\le 1$ 为 $x$，即 $F(x)=x$。

4. 概率密度函数

定义： 概率密度函数（Probability Density Function, PDF）适用于连续型随机变量，用来描述连续型随机变量落在某个确定值附近的概率密度大小。

公式： 对于连续型随机变量 $X$，其PDF记为 $f(x)$，满足条件：
$${\int }_{-\infty }^{\infty }f(x)dx=1$$
并且对于任意两个实数 $a$ 和 $b$ ($a<b$)，随机变量 $X$ 落在区间 $[a,b]$ 内的概率由下面积分给出：
$$P(a<X\le b)={\int }_a^{b}f(x)dx$$

2. 统计和贝叶斯

贝叶斯公式

定义： 贝叶斯公式（Bayes’ Theorem）是一种计算条件概率的方法，它允许我们通过已知的某些条件下的事件发生的概率来更新对另一些条件下该事件发生概率的估计。

公式：
$$P(A|B)=\frac{P(B|A)\cdot P(A)}{P(B)}$$
其中，

• $P(A|B)$ 是在事件 B 发生的情况下事件 A 发生的概率，称为后验概率。
• $P(B|A)$ 是在事件 A 发生的情况下事件 B 发生的概率，称为后验概率。
• $P(A)$ 和 $P(B)$ 分别是事件 A 和事件 B 的边际概率（无条件概率），$P(A)$ 也被称为先验概率。

全概率公式

定义： 全概率公式（Law of Total Probability）提供了一种方法，用于计算一个复杂事件的概率，特别是当这个事件可以被分解为几个互斥但又完全覆盖样本空间的子事件时。

公式：
如果 $B_1,B_2,...,B_n$ 是一组互斥且穷尽的事件（即它们之间没有交集，但并集覆盖了整个样本空间），则对于任意事件 A，有
$$P(A)=\sum _{i=1}^{n}P(A|B_i)\cdot P(B_i$$