机器学习与模型识别1：SVM（支持向量机）

一、简介

SVM是一种二类分类模型，在特征空间中寻找间隔最大的分离超平面，使得数据得到高效的二分类。

 二、SVM损失函数

SVM 的三种损失函数衡量模型的性能。

  1. 0-1 损失：
        当正例样本落在 y=0 下方则损失为 0，否则损失为 1.
        当负例样本落在 y=0 上方则损失为0，否则损失为 1.
   2.  Hinge （合页）损失：
        当正例落在 y >= 1 一侧则损失为0，否则距离越远则损失越大.
        当负例落在 y <= -1 一侧则损失为0，否则距离越远则损失越大.
   3. Logistic 损失：
        当正例落在 y > 0 一侧，并且距离 y=0 越远则损失越小.
        当负例落在 y < 0 一侧，并且距离 y=0 越远则损失越小.

 

当存在线性不可分的场景时，我们需要使用核函数来提高训练样本的维度、或者将训练样本投向高维，SVM 默认使用 RBF 核函数，将低维空间样本投射到高维空间，再寻找分割超平面。

• SVM的优点：

  • 在高维空间中非常高效；
  • 即使在数据维度比样本数量大的情况下仍然有效；

• SVM的缺点：

  • 如果特征数量比样本数量大得多，在选择核函数时要避免过拟合；

  • 对缺失数据敏感;

  • 对于核函数的高维映射解释力不强