当前位置：首页 > news >正文

核方法（kernel Method）

news 2025/7/6 7:08:59

核方法

核方法定义

一种能够将在原始数据空间中的非线性数据映射到高维线性可分的方法。

核方法的用处

1、低维数据非线性，当其映射到高维空间（feature space）时，可以用线性方法对数据进行处理。
2、线性学习器相对于非线性学习器有更好的过拟合控制从而可以更好地保证泛化性能，同时，利用核函数将非线性映射隐含在线性学习器中进行同步计算，使得计算复杂度与高维特征空间的维数无关。

在这里插入图片描述
如上，是将二维空间的非线性数据通过 $ϕ\phi$ ，把数据映射到了三维空间中。
并且我们发现，在高维空间中两个数据的内积，是原空间中对应数据的函数
（如上的 $<ϕ(x1,x2)>,<ϕ(x1′,x2′)>=(<x,x′>)2<\phi(x_1,x_2)>,<\phi(x_1',x_2')>=(<x,x'>)^{2}$ ）,该函数被定义为 $K (x, x^{'})$ ,称为核函数（将原始空间中的向量作为输入向量，并返回特征空间（转换后的数据空间,可能是高维）中向量的点积的函数称为核函数）。
注意：将数据映射到不同的高维空间，其对应的核函数不同。

核函数作用

1、通过 $K (x, x^{'})$ 我们可以直接计算出在feature space（高维空间）中点的两点间的距离平方和两个向量间的角度。
在这里插入图片描述
2、由于可以通过1中的方法计算出高维空间的距离和角度，我们完全可以不去计算出 $ϕ\phi$ （一般 $ϕ\phi$ 难计算），可由 $K (x, x^{'})$ 直接处理高维空间的数据。
3、避免在高维空间运作，选择一个特征空间，其中点积可以使用输入空间中的非线性函数直接求值，降低了计算的复杂度（在高维空间中考虑的维数过多，计算也相当复杂）。