sklearn主成分分析PCA

基本原理

PCA，即主成分分析(Principal components analysis)，顾名思义就是把矩阵分解成简单的组分进行研究，而拆解矩阵的主要工具是线性变换，具体形式则是奇异值分解。

设有$m$个$n$维样本$X=(x_1,x_2,\cdots ,x_m)$，但这$n$个维度彼此并不完全独立，所以想试试有没有办法将其降低到$k$维，则PCA的主要流程为

1. 先将原始数据按列组成$n$行$m$列矩阵$X$，然后对每一行数据进行中心化$x_{ij}=x_{ij}-\frac{1}{m}{\sum }_{j=1}^m{x}_j$，记中心化之后的矩阵为$x^{\prime }$
2. 计算样本协方差矩阵，由于已经中心化，故可表示为$C=\frac{1}{m}{X}^{\prime }{X}^{\prime T}$
3. 计算协方差矩阵的特征值和特征向量，一般需要用到奇异值分解
4. 对特征向量按照特征值大小进行排序，取前$k$组特征向量组成矩阵$P$，则$PX$就是$k$维的主成分

由于矩阵乘法的几何意义是坐标系的旋转、平移以及缩放，所以从几何角度理解PCA，就是将坐标系旋转到尽量与更多样本平行，从而达到简化坐标轴的作用。就好比一条空间中的直线，需要用三个维度来表示，但这条直线是一维的，只需旋转、移动坐标轴，使得这条直线与$x$轴重合，就能只用一个坐标来表示这条直线。

PCA类

【PCA】类是sklearn.decomposition中用以实现主成分分析的类，其构造函数为

PCA(n_components=None, *, copy=True, whiten=False, svd_solver='auto', tol=0.0, iterated_power='auto', n_oversamples=10, power_iteration_normalizer='auto', random_state=None)

各参数含义如下

• n_components 组分个数，默认为样本数和特征数中较小的那个；如果输入为小数，则表示百分之几
• copy 为False时，将覆盖原始数据。
• whitenbool 为True时, 对组分矢量进行如下操作：先乘以样本的方根，然后除以奇异值
• svd_solver 奇异值求解器，可选'auto', 'full', 'arpack', 'randomized'
• tol 容忍度
• random_state 用于设置随机数种子
• power_iteration_normalizer 设置SVD分解方案，可选"LU", "QR", "auto", "none四种。当svd_solver设为arpack时不可用。

奇异值求解器共有4个选择， 其中full将调用scipy.linalg.svd，计算稠密矩阵比较快；arpack将调用scipy.sparse.linalg.svds，更擅长计算稀疏矩阵。二者的具体区别可见scipy奇异值分解💎稀疏矩阵SVD

图像降维与恢复

下面用scipy中经典的楼梯图像来测试一下主成分分析。

import numpy as np
import matplotlib.pyplot as plt
from sklearn import decompositionfrom scipy.misc import ascent
img = ascent()sh = img.shape
ns = [256, 128, 64, 32, 16, 5]imgs = [img]
for i in ns[1:]:pca = decomposition.PCA(i)# 彩色图像需要先转化为矩阵再进行PCAimNew = pca.fit_transform(img.reshape(sh[0], -1))im = pca.inverse_transform(imNew)imgs.append(im.reshape(sh))fig = plt.figure()
for i, im in enumerate(imgs):ax = fig.add_subplot(231+i)ax.imshow(im)plt.title(str(ns[i]))plt.axis('off')plt.show()

【fit_transform】对图像进行降维，保留相应组分并输出
【inverse_transofrm】对图像进行恢复，最终得到的效果如下，随着组分的逐渐降低，图像也越来越模糊。