一文读懂主成分分析法（PCA）

主成分分析法（PCA）

主成分分析的基本思想

• PCA是1901 年Pearson在研究回归分析时附带提出的，其数学基础是在1933 年由Hotelling奠定。
• 由于各种量测到数据通常是以矩阵的形式记录、表达和存储的，实际中的很多数据信息往往是重叠与冗余的。从线性代数的观点来看，就是这些数据矩阵中存在相关的行或列。因此需要对其进行处理和提炼，抽取出有意义、独立的变量。
• 主成分分析(Principal Component Analysis, 简称PCA)是一种常用的基于变量协方差矩阵对信息进行处理、压缩和抽提的有效方法。它把原有的多个指标转化成少数几个代表性较好的综合指标，这少数几个指标能够反映原来指标大部分的信息（85%以上），并且各个指标之间保持独立，避免出现重叠信息。主成分分析主要起着降维和简化数据结构的作用。

为什么要进行主成分分析
压缩变量个数，用较少的变量去解释原始数据中的大部分变量，剔除冗余信息。即将许多相关性很高的变量转化成个数较少、能解释大部分原始数据方差且彼此互相独立的几个新变量，也就是所谓的主成分。
消除原始变量间存在的共线性，克服由此造成的运算不稳定、矩阵病态等问题。

主成分分析试图在力保数据信息丢失最少的原则下，对这种多变量的截面数据表进行最佳综合简化，也就是说，对高维变量空间进行降维处理
很显然，系统在一个低维空间要比在一个高维空间容易得多。

维数对分类的影响

在实际应用中，当特征个数增加到某一个临界点后，继续增加反而会导致分类器的性能变差。

数据降维

主成分的计算

考虑这样一个问题，有n个d维的样本 $x_1,x_2,x_3,\dots ,x_n$,如何能够用仅仅一个d维的向量$x_0$来最好代表这n个样本，或者更确切的说，我们希望这个代表向量$x_0$与各个样本$x_k（k=1,2\dots ..,n）$的距离的平方和越小越好。



只要把向量$x_k$向通过样本均值的直线w作垂直投影就能得到最小平方误差的结果。

• 协方差矩阵能处理多维问题；
• 协方差矩阵是一个对称矩阵，而且对角线是各个维度上的方差。
• 协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。
• 样本矩阵中若每行是一个样本，则每列为一个维度，所以计算协方差时要按列计算均值。

结论：为了最大化$w^{T}Sw$，我们选取协方差矩阵S最大特征值对应的那个特征向量最为投影直线w的方向。

主成分求解步骤：

主成分分析的原理

• 根据方差（特征值）最大化原理，用一组新的、线性无关且相互正交的向量来表征原来数据矩阵的行（或列）。这组新向量（主成分）是原始数据向量的线性组合。
• 通过对原始数据的平移、尺度伸缩(减均值除方差)和坐标旋转(特征分解)，得到新的坐标系(特征向量)后，用原始数据在新坐标系下的投影(点积)来替代原始变量。

主成分分析的特点

• 主成分是原变量的线性组合；
• 各个主成分之间互不相关；
• 不同的主成分轴之间相互正交。
• 主成分按照方差从大到小依次排列，第一主成分对应最大的方差（特征值）；
• 每个主成分方差为协方差阵对应的特征值；

主成分分析的应用

人脸图像降维