MATLAB算法实战应用案例精讲-【数模应用】线性判别分析（附MATLAB、python和R语言代码实现）

目录

前言

算法原理

什么是判别分析

线性判别分析(LDA)

数学模型

二分类

多分类LDA

​编辑 

算法思想：

 费歇（FISHER）判别思想

贝叶斯（BAYES）判别思想

LDA算法流程

LDA与PCA对比

SPSSPRO

1、作用

2、输入输出描述

3、案例示例

4、案例数据

5、案例操作

6、输出结果分析

7、注意事项

8、模型理论

SPSS

判别分析：定义范围 

判别分析：选择个案 

 判别分析：统计

 判别分析：步进法

 判别分析：分类

 判别分析：保存

优缺点 

代码实现

R语言

MATLAB

python 

基于LDA 手写数字的分类

---

前言

线性判别分析是一种很重要的分类算法，同时也是一种降维方法（这个我还没想懂）。和 PCA 一样，LDA 也是通过投影的方式达到去除数据之间冗余的一种算法。

如下图所示的 2 类数据，为了正确的分类，我们希望这 2 类数据投影之后，同类的数据尽可能的集中（距离近，有重叠），不同类的数据尽可能的分开（距离远，无重叠），左图的投影不好，因为 2 类数据投影后有重叠，而右图投影之后可以很好地进行分类，因为投影之后的 2 类数据之间几乎没有重叠，只是类内重叠得很厉害，而这正是我们想要的结果。

算法原理

什么是判别分析

判别分析有两种主要形式:线性判别分析（LDA）和二次判别分析（QDA）。LDA假设每个类别的协方差矩阵相同，并寻找最优的判别方向来最大化类别之间的距离。QDA假设每个类别的协方差矩阵都不同，并寻找最优的判别方向来最大化类别之间的距离，同时也考虑了每个类别的协方差矩阵。