ML 系列：第 39 节 - 估计方法：最大似然估计 (MLE)

目录

一、说明

二、什么是最大似然估计 (MLE)？

2.1 理解公式

2.2 MLE 的定义

2.3 我们何时使用 MLE？

三、结论

---

一、说明

        在统计学领域，我们经常需要根据观察到的数据估计统计模型的参数。为此目的广泛使用的两种关键方法是最大似然估计 ( MLE ) 和最大后验估计 ( MAP )。虽然 MLE 仅关注给定参数的观察数据的可能性，但 MAP 将先验知识纳入估计过程。在这篇博文中，我们将深入探讨 MLE 的概念，并承诺在以下部分中探索 MAP。

二、什么是最大似然估计 (MLE)？

        在之前的讨论中，我们假设概率模型的所有参数 θ 都是已知的。在这里，我们探索如何从数据中学习这些参数。从数据 (D) 估计 θ 的过程称为模型拟合或训练，这是机器学习的基础。虽然有很多方法可以产生这样的估计，但大多数都可以构建为以下形式的优化问题：

2.1 理解公式

1. 参数θ：

• θ 表示我们试图估计的统计模型的参数。例如，在线性回归模型中，θ 可能包括斜率和截距。

2. 似然函数L(θ):

• L(θ) 是似然函数，用于测量对于不同的 θ 值，观察到给定数据的可能性有多大。然而，在argmin ⁡ 的上下文中，L(θ) 更可能是指损失函数或负对数似然，用于测量具有参数 θ 的模型与观察到的数据的拟合程度。L(θ) 值越低，拟合度越高。

3. arg⁡min⁡_θ：

• arg⁡min⁡ 运算符用于找到最小化函数 L(θ) 的 θ 值。换句话说，它确定导致损失函数最小可能值的参数值。

4. θ^（西塔帽）：

• θ^ 表示最小化损失函数的估计参数。这是基于观测数据对参数的最佳估计。

2.2 MLE 的定义

        最大似然估计 (MLE) 是一种用于估计统计模型参数的方法。其核心思想是找到最大化观测数据似然性的参数值。MLE 的正式定义为：

在这里：

我们通常假设训练示例是从同一分布中独立采样的，因此（条件）似然变为：

        当我们假设训练样本服从独立同分布（iid）时，（条件）似然可以表示为各个概率的乘积。这一假设简化了似然函数的计算。

        注意：在实践中，我们经常使用对数似然而不是似然本身来简化计算。乘积的对数变成总和，使其更容易用数学方法处理。然而，最大化原则保持不变。其由以下公式给出：

        这分解为项的和，每个示例一个。因此，MLE 由以下公式给出：

        由于大多数优化算法都是为了最小化成本函数而设计的，并且最小化负对数似然（NLL）在数学上等同于最大化似然，因此我们可以将目标函数重新定义为（条件）负对数似然或NLL：

最小化该值将得到 MLE。如果模型是无条件的（无监督的），则 MLE 变为

        因为我们有输出 yn 但没有输入 xn 。

2.3 我们何时使用 MLE？

MLE 用于需要参数估计的各种情况。它在以下情况下特别有用：

- 数据可用：我们有一组观察到的数据点，我们相信这些数据点遵循特定的统计模型。
- 模型假设：统计模型及其似然函数定义明确。
- 参数估计：我们需要以使观察到的数据最可能的方式估计模型的参数。

三、结论

        最大似然估计 (MLE) 是一种基于观测数据估计统计模型参数的有效方法。通过最大化似然函数，MLE 提供最能解释观测数据的参数估计值。在下一节中，我们将深入研究最大后验 (MAP) 估计，它通过将先验知识纳入估计过程来扩展 MLE。