机器学习课程复习——奇异值分解

1. 三种奇异值分解

奇异值分解（Singular Value Decomposition, SVD）包含了：

• 完全奇异值分解（Complete Singular Value Decomposition, CSVD）
• 紧奇异值分解（Tight Singular Value Decomposition, TSVD）
• 截断奇异值分解（Truncated Singular Value Decomposition, TSVD）

note：这三种奇异值分解的区别主要在上，分别为包含所有奇异值；包含非0奇异值；包含最大的个奇异值。 

1.1. 完全奇异值分解

1.1.1. 定义

• 矩阵的奇异值分解一定存在，但不唯一
• A不一定是方阵

1.1.2. 示例

1.2. 紧奇异值分解

1.2.1. 定义

note：即的大小由矩阵的秩决定。

1.2.2. 示例 

1.3. 截断奇异值分解

1.3.1. 定义

1.3.2. 示例 

2. 几何解释

3. 性质

4. 奇异值分解的计算

4.1. 首先求的特征值和特征向量

4.2. 求阶正交矩阵

note：将和按顺序合并。

4.3. 求对角矩阵

note：将和按顺序合并。 

4.4. 求阶正交矩阵

4.5. 得到奇异值分解