机器学习笔记 - 线性判别分析(LDA)的原理和应用

一、LDA简述

        线性判别分析（LDA）是监督机器学习中用于解决多类分类问题的一种方法。LDA通过数据降维来分离具有多个特征的多个类。这项技术在数据科学中很重要，因为它有助于优化机器学习模型。

        线性判别分析，也称为正态判别分析 (NDA) 或判别函数分析 (DFA)，遵循生成模型框架。LDA 算法对每个类别的数据分布进行建模，并使用贝叶斯定理对新数据点进行分类。LDA 算法通过使用贝叶斯计算输入数据集是否属于特定输出的概率来进行预测。

        LDA 的工作原理是识别特征的线性组合，这些特征可区分或表征两类或更多类对象或事件。LDA 通过将二维或更多维度的数据投影到一维来实现这一点，以便更容易对其进行分类。因此，该技术也被称为降维。这种多功能性确保 LDA 可以用于多类数据分类问题， 这与仅限于二元分类的逻辑回归不同。因此，LDA 通常用于增强其他学习分类算法的操作，例如决策树、 随机森林或支持向量机 (SVM)。

        线性判别分析 (LDA) 基于 Fisher 线性判别法，这是 Ronald Fisher 爵士在 20 世纪 30 年代开发的一种统计方法，后来由 CR Rao 简化为多类版本。Fisher 的方法旨在识别特征的线性组合，以区分两类或更多类标记的对象或事件。 

        Fisher 的方法通过分离投影数据的类别来减少维度。分离意味着最