机器学习 - 需要了解的条件概率、高斯分布、似然函数

似然函数是连接数据与参数的桥梁，通过“数据反推参数”的逆向思维，成为统计推断的核心工具。理解它的关键在于区分“参数固定时数据的概率”与“数据固定时参数的合理性”，这种视角转换是掌握现代统计学和机器学习的基础。

一、在学习似然函数之前，我们需要弄懂什么是条件概率

概率是指在事件 B 已经发生的前提下，事件 A 发生的概率，记作 P(A|B)，读作“在 B 发生的条件下 A 发生的概率”。其定义为：

其中，P(A ∩ B)表示事件 A 和事件 B 同时发生的概率，P(B) 表示事件 B 发生的概率。需要注意的是，P(B)必须大于零，否则条件概率无法定义。

示例：

一个标准的52张扑克牌堆，问从中随机抽取一张牌，这张牌是红心的概率是多少？这是一个无条件概率问题，答案(红心) = 13/52 = 1/4。

现在，假设已知抽到的牌是一张（或方片），在此条件下，这张牌是红心的条件概率是多少？这是一个条件概率问题。

设事件 A 为“抽到红心”，事件 B 为“抽到红色牌”，则：

• P(A ∩ B) = P(红心) = 13/52
• P(B) = P(红心或方片) = 26/52 = 1/2

因此，条件概率 P(A|B) 为：

需要注意的是，条件概率 P(A|B) 与 P(B|A) 一般不相等。例如，在上述例子中，P(红心|红色牌) = 1/2，而 P(红色牌|红心) = 1，因为在抽到红心的情况下，必然是一张红色牌。

条件概率在统计学、概率论以及机器学习等领域有广泛的应用，特别是在贝叶斯定理中，条件概率是核心概念之一。

二、还需要弄懂什么是高斯分布？

（一）高斯分布

高斯分布（也称为正态分布）是统计学中最常见的连续概率分布之一。其概率密度函数呈对称的钟形曲线，描述了数据在均值附近的集中程度。高斯分然科学和社会科学中广泛应用，常用于表示未知的随机变量。

概率密度函数：

对于均值为 μ、标准差为 σ 的高斯分布，其概率密度函数为：

其中，μ 决定了分布的位置，σ 决定了分布的幅度。

标准正态分布： μ = 0、σ = 1 时，标准正态分布，其概率密度函数为：

性质：

• **对称性：*斯分布关于均值 μ 对称。

•  68-95-99.7 规则： 在高斯分布中，约68%的数据位于均值±1σ范围内，约95%位于均值±2σ范围内，约99.7%位于均值±3σ范围内。

在三维视图中，二维高斯分布的概率密度函数图像类似于一个倒置的碗，中心最高，向四周逐渐降低。其数学表达式为：：

应用：

高斯分布在统计学中具有重要地位，常用于描述自然和社会科学中的随机变量。例如，在测量误差分析中，假设误差服从高斯分布可以简化分析过程。

此外，根据中心极限定理，当对大量独立同分布的随机变量求和时，其和的分布趋近于高斯分布，这使得高斯分布在统计推断中尤为重要。

需要注意的是，虽然高斯分布在理论和应用中广泛存在，但并非所有数据都服从高斯分布。在进行数据分析时，应首先检验数据的分布特性，以选择适当的统计模型。

为了直观理解，我们来看一下高斯分布对应的图像：

高斯分布（也称为正态分布）的图像呈现为对称的钟形曲线，其形状由均值（μ）和标准差（σ）决定。均值 μ 确定曲线的中心位置，标准差 σ 控制曲线的宽度和高度。标准差越小，曲线越陡峭；标准差越大，曲线越平坦。

（二）形象理解高斯分布

1. 直观比喻

想象你在测量一群人的身高：

• 高斯分布：大部分人的身高集中在某个平均值附近（如170cm），极端高或矮的人较少。

• 观测数据 y：每次测量的身高值（如169cm、171cm、168cm等）。

• 假设 y 服从高斯分布：意味着这些测量值围绕某个“中心值”波动，且波动规律符合高斯分布的形状（钟形曲线）。

2. 具体场景

以线性回归为例：

三、然后来掌握什么是似然函数

1.认识连乘运算符“∏”的用法：

2.了解独立同分布的意义：

在概率论与统计学中，独立同分布（Independent and Identically Distributed，简称 i.i.d.）指一组随机变量彼此独立，且服从相同的概率分布。这意味着每个随机变量的取值不会影响其他变量的取值，并且它们具有相同的分布特性。

独立：随机变量之间互不影响，即一个变量的取值不依赖于其他变量的取值。

同分布：所有随机变量遵循相同的概率分布，具有相同的分布函数、期望值和方差等统计特性。

示例：

• 抛硬币实验：假设我们进行多次抛硬币实验，每次记录硬币正面朝上的结果。每次抛掷都是独立的（一次抛掷的结果不影响另一次），且每次抛掷的结果服从相同的分布（正面和反面的概率相同）。因此，这些抛掷结果构成一组独立同分布的随机变量。

• 掷骰子实验：假设我们多次掷骰子，每次记录掷出的点数。每次掷骰子都是独立的，且每次的结果服从相同的分布（每个点数出现的概率相同）。因此，这些掷骰子的结果也是独立同分布的随机变量。

独立同分布是许多统计推断和机器学习方法的基础假设。例如，在训练机器学习模型时，通常假设训练数据是从同一分布中独立采样的，以确保模型对新数据的有效性。

需要注意的是，独立同分布并不意味着每个事件发生的概率都相同，而是指随机变量之间相互独立，并且遵循相同的概率分布。

3.认识似然函数

（1）似然函数的概念

给定一组独立同分布的数据样本 x1,x2,...,xn，假设它们服从高斯分布，则似然函数表示在给定参数（μ, σ²）下，观测到这组数据的概率。

由于对数函数是单调递增的，通常对似然函数取对数，得到对数似然函数：

通过最大化对数似然函数，可以估计参数μ和σ²的值。

因此，似然函数和高斯分布的关系在于，假设数据服从高斯分布时，似然函数基于高斯分布的概率密度函数构建，用于估计分布的参数。

定义：

似然函数是统计学中用来 “衡量模型参数在已知数据下的合理性” 的工具。简单来说，它通过观测到的数据，告诉我们 “不同参数值对产生这些数据的可能性有多大”。

核心思想：逆向思维

• 概率：已知参数 → 预测数据可能性
  （例：已知硬币是公平的（参数θ=0.5），抛10次出现6次正面的概率是多少？）

• 似然：已知数据 → 推测参数可能性
  （例：抛10次硬币观察到6次正面，此时参数θ=0.5的“似然值”有多大？θ=0.6呢？）

类比：

• 概率：天气预报说“明天下雨的概率70%” → 预测未来。

• 似然：今天下雨了 → 推测“气象台模型参数设置是否合理”。

数学形式

（2）如何理解“似然”

（3）最大似然估计（MLE）

（4）关键区别：似然 vs 概率

（5）常见误区和实际应用场景：

• 误区1：认为“似然值高”等于“参数正确”。
  → 实际只能说明“参数对当前数据更合理”。

• 误区2：混淆似然函数与后验概率。
  → 后验概率 = 似然 × 先验概率（需贝叶斯框架）。

• 误区3：忽略数据的独立性假设。
  → 若数据不独立，联合似然的乘积形式不成立。

1. 参数估计：如线性回归、逻辑回归中的MLE。

2. 模型选择：通过比较不同模型的似然值（如AIC准则）。

3. 假设检验：构建似然比检验（Likelihood Ratio Test）。

这篇文章，我整理了学习最大似然估计之前的基础知识，在掌握了这些知识之后，我们下一步进行学习线性回归中，求最优参数的最大似然估计的方法。