SVM 监督学习

一、分类问题

利用一条直线分类存在很多问题

二、SVM 支持向量机

其核心思想是通过在特征空间中找到一个最优的超平面来进行分类，并且间隔最大。分类面尽可能远离样本点，宽度越大越好。

适用于中小型复杂数据集的分类。

三、硬间隔和软间隔

硬：严格地让所有实例都不在最大间隔之间，并且位于正确的一边。

软：在保持最大间隔宽阔和限制间隔违例（即位于最大间隔之上，甚至在错误的一边的实例）之间找到良好的平衡。

四、使用SVM作为模型时，通常采用如下流程：

1）对样本数据进行归一化

2）应用核函数对样本进行映射（最常采用和核函数是RBF和Linear，在样本线性可分时，Linear效果要比RBF好)

3）用cross-validation和grid-search对超参数进行优选

4）用最优参数调练得到模型

5）测试

五、原理

SVM通过优化一个凸二次规划问题来求解最佳的超平面。可以理解为是用一个平面

对于非线性可分的情况，SVM可以通过核函数（Kernel Function）将输入特征映射到高维空间，使得原本线性不可分的数据在高维空间中变得线性可分。常用的核函数包括线性核、多项式核、高斯核等。

六、SVM的核函数

核函数：是将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。核函数并不是SVM特有的，核函数可以和其他算法也进行结合，只是核函数与SVM结合的优势非常大。

 一个很好的理解空间映射和超平面的例子。

常见核函数：

线性核和多项式核：

1）这两种核的作用也是首先在属性空间中找到一些点，把这些点当做base，核函数的作用就是找与该点距离和角度满足某种关系的样本点。

2）样本点与该点的夹角近乎垂直时，两个样本的欧式长度必须非常长才能保证满足线性核函数大于0；而当样本点与base点的方向相同时，长度就不必很长；而当方向相反时，核函数值就是负的，被判为反类。即，它在空间上划分出一个梭形，按照梭形来进行正反类划分。

RBF核：

1）高斯核函数就是在属性空间中找到一些点，这些点可以是也可以不是样本点，把这些点当做base，以这些base为圆心向外扩展，扩展半径即为带宽，即可划分数据。

2）换句话说，在属性空间中找到一些超圆，用这些超圆来判定正反类。

Sigmoid核：

1）同样地是定义一些base，

2）核函数就是将线性核函数经过一个tanh函数进行处理，把值域限制在了-1到1上。

总之，都是在定义距离，大于该距离，判为正，小于该距离，判为负。至于选择哪一种核函数，要根据具体的样本分布情况来确定，以下是使用的指导规则：

1）如果Feature的数量很大，甚至和样本数量差不多时，往往线性可分，这时选用LR或者线性核Linear。

2）如果Feature的数量很小，样本数量正常，不算多也不算少，这时选用RBF核。

3）如果Feature的数量很小，而样本的数量很大，这时手动添加一些Feature，使得线性可分，然后选用LR或者线性核Linear。

4）多项式核一般很少使用，效率不高，结果也不优于RBF。

5）Linear核参数少，速度快；RBF核参数多，分类结果非常依赖于参数，需要交叉验证或网格搜索最佳参数，比较耗时。

6）应用最广的应该就是RBF核，无论是小样本还是大样本，高维还是低维等情况，RBF核函数均适用。

七、SVM损失函数

支持向量机（SVM）在分类问题中使用的损失函数是"hinge loss"（铰链损失），它通常被用于最大间隔分类，即寻找能够最大化分类间隔的超平面。而在SVM中，我们主要讨论三种损失函数：