每天五分钟机器学习：核函数

本文重点

在学习支持向量机算法之前，我们要继续学习一些数学基础，本文我们将学习核函数的概念。当数据线性不可分的时候，此时就需要核函数出场了，它可以将低维不可分的数据映射到高维可分数据，此时就可以完成数据分类了。

核函数的定义

核函数K(x, y)定义为两个数据点x和y在某个高维空间中的相似性度量。具体地，如果有一个非线性映射函数φ(x)，将输入空间的数据点x映射到高维特征空间F中，即φ(x)∈F，那么核函数K(x, y)就等于这两个映射后的数据点在高维特征空间中的内积，即K(x, y) = φ(x) · φ(y)。

在支持向量机（SVM）中，如果求解过程只用到内积运算，而在低维输入空间中存在一个函数K(x, x')，它恰好等于在高维空间中这个内积，即K(x, x') = φ(x) · φ(x')，那么就可以避免计算复杂的非线性变换φ(x)，而直接通过函数K(x, x')得到非线性变换的内积，从而大大简化了计算。这样的函数K(x, x')就称为核函数。

核函数的分类

核函数有多种类型，常见的有以下几种：