数据特征降维 | 局部线性嵌入（LLE）

局部线性嵌入（Locally Linear Embedding，LLE）是一种非线性降维和数据嵌入技术，用于将高维数据映射到低维空间中，以便更好地展示数据的结构和关系。

LLE的基本思想是假设数据样本在局部区域内可以近似由其相邻样本的线性组合表示。通过保持这种局部线性关系，LLE能够在低维空间中重构数据，并提供数据的低维表示。

以下是LLE的基本步骤：

构建邻域关系：对于每个样本，选择其k个最近邻作为其邻居，并构建邻域关系图。
重建权重计算：对于每个样本，计算其邻居与其之间的线性权重，使得邻居样本可以线性重建该样本。这可以通过最小化重建误差来实现。
低维表示计算：通过求解一个线性方程组，将高维空间中的样本映射到低维空间中。这个线性方程组的解表示低维空间中样本的坐标。
可视化和解释：将低维表示进行可视化，以展示数据的结构和关系。在低维空间中，样本之间的距离反映了它们在高维空间中的局部线性关系。
LLE的优点在于能够保持数据的局部结构，对非线性数据具有较好的降维效果。它能够发现数据中的流形结构，适用于展示数据中复杂的非线性关系。

然而，LLE也有一些注意事项。例如，选择邻居数量k的值对结果具有影响，且对噪声敏感。在处理大规模数据时，计算和存储邻居关系可能变得困难。

LLE被广泛应用于图像处理、模式识别、生物信息学等领域，特别适用于非线性数据的降维和可视化。它提供了一种探索数据结构和关系的工具，有助于理解数据的本质和特征。

原理：LLE是一种非线性降维方法，它通过保持局部样本间的线性关系来寻求数据在低维空间中的最佳嵌入。

应用：适用于数据的非线性结构探索和可视化。

from skl