支持向量机（SVM）

一. 什么是SVM

1. 简介

SVM，曾经是一个特别火爆的概念。它的中文名：支持向量机（Support Vector Machine, 简称SVM）。因为它红极一时，所以关于它的资料特别多，而且杂乱。虽然如此，只要把握住SVM的一些特点，至少可以做到思路清晰。

（1）首先，SVM是按照监督类学习方式进行运作的。即：数据当中含有目标值。

（2）SVM采用监督学习方式，对数据进行二分类（这点跟逻辑回归一样）。但是，SVM和逻辑回归(LR)有有很多不同点。我们先看看相同点：

• 二者都是线性分类器
• 二者都是监督学习算法
• 都属于判别模型（KNN, SVM, LR都属于判别模型），所谓判别模型就是指：通过决策函数，判别各个样本之间的差别来进行分类。

不同点就很多了，现在先列举一些，LR之前已经介绍过，关于SVM的具体理论先放到后面

• 二者的损失函数和目标函数不一样。

• 二者对数据和参数的敏感度不同。SVM由于采用了类似于“过度边界”的方式，泛化能力更好

SVM可以作线性分类器，但是在引入核函数（Kernel Method）之后，也可以进行非线性分类 

2.SVM分类

SVM大体上可分为：

• 线性可分SVM：大体就是指一条线，把样本分成两份这种，我们会先从这个入手，这个相关理论懂了，后面的就会很简单
• 线性SVM
• 非线性SVM（需要核函数的支持）

二. 详细介绍

1. 线性可分SVM

1.1 支撑点，支撑向量

这个将作为重点来理解，这个相关理论知道了，那么，剩下的就很好理解，首先，我们先看一张图，然后我们根据这张图引出两个概念：支撑点，支撑向量。

 图一

我们看看图上面的三条线，首先，这是个二维平面，因此分割线可以表示成线性函数的形式：

关于w，它其实是一个权值向量，它可以表示成如下的形式，至于说为什么能够这么表示，我们一会儿再说。

在上图中，两个虚线之间，我们可以当做一个“过度区域”，在虚线上面，有一个蓝色的点，和两个红色的点正好位于虚线上面。对于这3个样本，我们标号1，2，3。我们大可以让alpha1，alpha2, alpha3不为0，其他的点alpha都是0。为什么可以这么做呢？因为边界的划定，也就是虚线，只受这三个边界点的影响（即：影响w向量）我们在现实中直接调整这三个边界点的alpha值，就可以确定界限。那么这三个点，我们就可以称他们为：**支撑点 **
如果你确定了一个起始点，那么起始点到各个点之间可以组成向量，这个起始点到支撑点之间就可以组成一个个：支撑向量

1.2 分割超平面与间隔最大化

首先，我们得知道什么是超平面？一般来说，二维就可以组成一个平面，那么如果是多维的呢？一般把超过二维的，就叫做超平面。由于超平面本身超出了一般人的认知，所以我们在理解分割超平面的时候，还是以最简单的二维平面入手，然后进行扩展。

在了解了什么是超平面之后，我们看这样一个图：

在这幅图中，我们看到了如此多的分割线，这些分割线都成功的把黑点和白点给区分开了。即：都把类别给分对了。那么，哪条线才是最优的呢？（如何分割超平面，就是解决这个问题）

我们就直接在二维空间一个基本问题入手：点到直线的距离入手。

我们假设有这么一条线：

再给定一个点（x0, y0）那么这个点到直线的距离就是： 

然后我们在此基础上直接把分子的绝对值给去掉，去掉之后，运算结果就会有正负之分了，通过正负，可以判断这个点在这条直线的哪一侧。然后各个项给拆开如下：

我们令各项系数分别记为：A’, B’ C’。然后整个公式就可以写成向量相乘的形式：

我们直接把（A’,B’)记为wi向量，将后面的(x0,y0)记为x向量 C’可以记为b，于是就得到了上述式子。

在这个例子当中，只是给了一个二维平面，实际情况下，有可能是多维的。此时w向量也是多维的，可以记为w = (w1,w2,w3……wn)，其中这里的w1, w2对应的就是上面式子当中的A, B。我们再回过头看点到直线距离公式，看看那个分母。大致就可以猜出来一件事情：在多维空间中一个点到一个线的距离是：

此时，我们再看看图一。注意，图一两条虚线线等号后面分别是+1，-1，为啥是这个呢？

假设我划分了一个线，那么显然，每一个点到这个线都会有一个距离，按照上面这个式子，求出来的距离是带有符号的，这个时候就体现出这个1，-1的价值。这个1，-1，也是y(i)值。如果，求出的是正的，那么乘以1，就是距离本身，如果d为负值，那么乘以-1，又转回正的，还是距离。这就是为什么真正的距离会写成

那么，我所有点，都跟这个直线求一个距离，最后取一个最小值。

我跟所有的直线，都做上面这个操作，就会得到若干个这样的最小值，然后我取最小值最大的那个直线，就是最优解。即：

对于这个方式，有一个很直观的名字：间隔最大化。

以上就是对分割超平面的一种直观的解释的一个解释。如果扩展到多维，即：超平面，很多时候，我们就不能用单纯一个x向量来解释了。其实，二维当中y与x是线性关系，也是一种映射关系。在多维平面当中，这种映射往往比较复杂，因此，扩展之后，我们会把间隔最大化的线写成如下形式：

其中，φ(x)是某个确定的特征空间转换函数,它的作用是将x映射到(更高的)维度。而在最简单的二维平面中φ(x)=x

由于在线性可分SVM是用来做分类问题，最基本的就是用来做二分类问题，所以，还要把上面这个式子映射到一个只有两个取值的函数当中，这就是线性可分SVM的决策函数：

1.3 线性可分SVM的目标函数以及相关算法

我们在图一当中，知道，虚线部分的y值取1，或者-1。但实际上，支撑点可不一定满足这个条件，类似的例子，可以举出无数个。因此，对于目标函数的构建，我们首先就要考虑一个问题：缩放。

根据题设，我们有一个间隔最大化的函数：

我们要让y(x)满足这个条件：

 

我们对w和b进行等比缩放，就得到了（回过头看看公式（一））： 

于是，把这个与公式二结合起来看，我们就得到了目标函数：

缩放的理论知道了，我们下一步，就是想，怎么能让那个y值是1。对于分类来说，就是让各个类别的点，尽量远离过渡区域，也就是说，这些点离分割线的距离要大于或者等于1，这样才达到分类目的，如下图所示：那个margin大于1，分类才越准确。

用符号表示就是：

通过等比例缩放w的方法,使得两类点的函数值都满足| y |≥1

然后，我们把间隔函数代入：

 

（公式三）

那么，我们就可继续用拉格朗日乘数法进行求解，然后，就求出了alpha*

1.4 线性可分SVM的简单举例

2.线性SVM

2.1 为什么需要线性SVM

在实际运用当中，首先，即使数据是线性可分的。通过线性可分SVM得到的分离超平面也不一定就是最适合的。比如说下面这个图：

如果按照分割超平面理论，实线应该属于最优的。但是，虚线部分，过渡带比较宽，所以他的泛化能力更好，可以更大可能的避免过拟合。

其次，如果数据根本就不是线性可分（即：线性不可分）的呢？你根本无法通过一条线或面就分的很明白呢？这就是为什么，我们要考虑：线性支持SVM

所谓线性不可分，就是指：一个数据集不可以通过一个线性分类器（直线、平面）来实现分类。这样子的数据集在实际应用中是很常见的，例如：人脸图像、文本文档等。