矩阵分析-浅要理解（深度学习方向）

1. 梯度分析与最优化
   在深度学习的任务中，我们所期望的是训练一个神经网络，使得预测结果与真实标签之间的误差最小化，这可以近似看作是一个提供梯度下降等优化找到全局最优解的凸优化问题。
   

2. 奇异值分解
   在信息工程领域，对数据处理的时候想要考虑：实际的观测数据存在某种程度的不确定性或误差。因此我们需要一种算法能够函数逼近且在数值上是稳定的。
   对于线性代数而言，当Ax=b时，若系数矩阵A非奇异，由于独立的方程个数和未知参数的个数相等时，方程存在唯一解。而研究解向量x随系数矩阵A和系数向量b微小扰动，则将得到描述矩阵A的重要数值，称为条件数。
   k(A)=||A|| ||A-1||,
   其中||A||是矩阵A的某种范数，||A-1||是A的逆矩阵A-1的范数，条件数的大小反映了矩阵 𝐴 对输入误差的放大效应。具体来说，条件数大意味着矩阵在计算中可能放大误差意味着矩阵的列（或行）之间几乎是线性相关的，而条件数小则说明该矩阵对误差不敏感。
   奇异值分解可以用来解决矩阵条件数的问题。具体来说，奇异值分解通过将矩阵分解成其特征的奇异值和特征向量，从而提供了一种直接且有效的方式来理解和处理矩阵的稳定性和敏感性问题。
   A=UΣ(V)T
   其中U是一个mm的正交矩阵，Σ是一个mn的对角矩阵，V是n*n的正交矩阵。
   对于一个矩阵A，其条件数可以通过最大奇异值除以最小奇异值表达。若矩阵的奇异值接近零或有很大的差距，意味着矩阵的条件数很大，可能会导致数值不稳定。相反，如果奇异值差距不大（最大奇异值和最小奇异值接近），则矩阵的条件数较小，计算较为稳定。
   一、 如果矩阵的条件数很大，可能需要采取一些数值稳定性较高的方法（如正则化、使用稳定的求解算法）
   二、如果矩阵的奇异值中某些接近零，则可以采取“奇异值截断”的方法，去掉小的奇异值，从而减少条件数，提高计算稳定性。
   三、在某些情况下，矩阵的条件数很大时，我们可以通过降秩近似（低秩近似）来减少计算的误差。例如，可以通过选择前几个最大的奇异值和对应的奇异向量来近似原矩阵，这样不仅能降低条件数，还能减少数值计算中的误差。这个过程通常被称为“矩阵的奇异值截断”或“低秩近似”。 针对，总体最小二乘、数据压缩、图像增强、动态系统实现理论以及线性方程求解等都需要低秩近似，这样做可以捕捉信号中最关键的特征以及减少噪声的影响。
   四、在奇异值分析的应用中，需要低秩的矩阵逼近一个含噪声或扰动的矩阵
   一般求解矩阵的奇异值问题常用算法包括（1）QR分解（2）jacobi旋转
   QR分解用于处理大规模矩阵的奇异值分解，尤其是在需要处理稀疏矩阵时，通过迭代逐渐逼近解，能够在数值精度要求高的应用中提供稳定的结果
   Jacobi 旋转应用于对称矩阵的特征值问题，因此它在处理物理问题（如热传导、力学系统分析等）中的某些特定情境时效果较好

3. 特征分析
   对于一个已知的量确定描述其特征的坐标系，称为特征分析。在矩阵代数中，特征分析与谱分析联系：一个线性算子的谱定义为该算子矩阵特征值的集合。在工程中谱分析与傅里叶分析结合。在图像处理领域，图像可以看作是一个二维矩阵，通过矩阵分析谱分析、特征值分解，对矩阵进行剖析以得出有利的判别。
   （1）主成分分析（PCA）：PCA通过计算图像数据或特征（本质是矩阵）的协方差矩阵，然后对该矩阵镜像特征值分解。最大特征值对应的特征向量代表数据中方差最大的反向，能在排除外部噪声情况下，捕捉图像中最主要的变化信息。
   （2）谱聚类：通过构建图拉普拉斯矩阵等对图像建模，通过对构建的这些矩阵进行特征值分解，利用特征结构进行图像分割或聚类。通过计算图的拉普拉斯矩阵的特征值和特征向量，将数据映射到低维空间，在这个空间中不同类别的数据更易于分离。在这些方法中关注的可能是最小或次小的特征值，但在某些变体中，最大特征值也提供了有关数据全局结构的重要信息。

4. 子空间分析与跟踪
   子空间分析可以用于复杂函数的多项式逼近，求微分方程的逼近解以及设计更好的信号处理器。
   一、子空间的基：在工程问题中，可以通过选择合适的基将数据投影至一个低维子空间。子空间的基就像是坐标系中的“轴”，它们能够帮助我们减少计算量，同时保留问题的核心信息。常见的基包括多项式基函数、傅里叶基、正交基等，通过构建基函数的方式近拟一个信号或者函数。
   二、基的正交性：为了计算的简洁性，如果基向量正交，你们相互之间没有干扰具有简化投影的意义。正交基可以进一步规范化成正交规范基（即每个基向量的长度为1）。这样，基向量之间的内积为零，而它们自身的内积为1。对于正交规范基，计算变得更加简洁，任何向量在这个基下的坐标可以通过简单的内积计算得到。正交基确保了基向量的线性独立性，意味着这些向量不会重复或冗余，对于数值计算来说，这可以避免数值不稳定或退化的情况，确保算法的可靠性。
   三、特征子空间追踪：用于跟踪和估计动态系统中不断变化的特征子空间方法。处理时变数据、信号或系统。一般来说，特征子空间追踪试图从一组不断变化的数据中提取出主成分或关键特征，以便在后续的计算中使用。随着时间推移，不仅数据本身发生变化，数据的主要特征（例如主成分或特征值）也会随之变化。通过特征子空间追踪算法，可以跟踪这些变化并及时调整相关的子空间表示。常见场景：实时信号处理、自适应滤波器、目标跟踪与识别、系统识别与建模、主成分分析、动态系统分析与信息源定位。

5. 投影分析
   矩阵分析的投影分析涉及将一个向量或者矩阵投影到某个子空间，在多维空间中投影过程类似将一个点或向量映射到某个特定的方向。
   在通信、时序分析和信号处理领域，最优解可以归为提取某个希望的信号并抑制其他干扰、杂波或者噪声。投影分为正交投影和斜投影两类。当两个子空间正交，基于正交投影在子空间的分量可抽取。斜投影是当两个子空间不正交，抽取数据在一个子空间的分量的同时抑制在另一个子空间分量。
   从信号处理的角度看投影矩阵：从信号处理角度分析，投影可以看作是滤波器。