机器学习进阶（13）：支持向量机SVM

第十三篇支持向量机 SVM——它找的不是一条线而是一条最有把握的分界线不同机器学习算法看问题的方式其实很不一样。KNN 的想法是看你像谁。决策树的想法是一步步问条件。随机森林是让很多棵树投票。GBDT 是一棵棵树去修正前面的错误。那 SVM 呢SVM 的思路很有自己的味道。它不太关心“多数人怎么投票”也不太喜欢“树状分支”。它更在意的是如果我要把两类样本分开那我不只是想随便找一条线而是想找一条最稳、最有把握的分界线。这就是支持向量机英文叫Support Vector Machine简称SVM。这个名字第一次看挺唬人但它背后的直觉其实没有那么绕。1. 先别急着想公式先想一个“画线分人”的问题假设你现在有一批二维数据点每个点代表一个学生。横轴是每天学习时长纵轴是作业完成率。其中一部分学生最后通过了考试另一部分没通过。如果你把这些点画在平面上可能会看到一种情况通过的学生大多集中在右上角没通过的学生大多集中在左下角这时候你很自然会想到一件事能不能画一条线把这两类点分开当然可以。如果数据比较规整往往能画出很多条都能把两类点分开的线。问题来了既然能分开的线不止一条那到底该选哪一条这就是 SVM 真正关心的问题。它的答案不是“随便挑一条”而是选那条离两边样本都尽可能远的线。也就是说它想找的是“间隔最大”的那条分界线。2. 为什么 SVM 不满足于“能分开就行”这个点特别重要。如果你只是随便找一条能把两类样本分开的线看起来好像任务已经完成了。但这种线可能非常贴近某一边的样本稍微来一个新点模型就容易判断错。SVM 不想要这种“勉强分开”的线。它更想要一种更稳的分法。你可以把它理解成如果一条线离两边样本都很近那它虽然分开了但心里没底如果一条线在两边之间留出了更大的空隙那它会更有安全感这个“空隙”就叫做间隔marginSVM 的核心目标就是找到那个让间隔最大的分界面。所以很多时候SVM 不是在找“某条分类线”而是在找最优间隔超平面。别被“超平面”这个词吓到。二维里它就是一条线三维里它是一个面更高维里只是推广一下名字而已。3. 什么叫“支持向量”SVM 这个名字里最让人困惑的往往就是“支持向量”这四个字。其实这个名字对应的是一件很直观的事。前面说了SVM 想找一条间隔最大的分界线。那这条线的间隔最终是由谁决定的不是由所有样本一起决定的。真正起关键作用的往往是离分界线最近的那些点。这些点就像是把这条分界线“顶住”了一样。因为如果没有它们线还可以继续往一边挪间隔还可以更大。这些最靠近边界、真正决定边界位置的点就叫支持向量support vectors所以你可以先这么理解支持向量就是那些最关键、最贴边、真正决定分类边界的位置的样本。这也是为什么 SVM 的名字不是“所有向量机”而是“支持向量机”。因为真正重要的不是所有点而是那些贴着边界的关键点。4. 用一句更直白的话说SVM 到底在干嘛如果不用术语SVM 这件事其实可以压缩成一句话在能分开两类样本的前提下尽量把分界线放在一个更安全、更稳的位置。这个“更安全”就是离两边都尽量远。这个“更稳”就是尽量不被轻微扰动影响。所以你以后看到 SVM不要先想着它有多数学。先记住它的性格它很在意边界它很在意间隔它想把分类这件事做得更稳一点5. 二维情况下SVM 的分界线可以怎么理解在二维平面里一条直线通常可以写成w1x1w2x2b0 w_1 x_1 w_2 x_2 b 0w1​x1​w2​x2​b0如果你还记得前面线性模型的内容这个形式你应该不会太陌生。这里x1,x2x_1, x_2x1​,x2​是两个特征w1,w2w_1, w_2w1​,w2​决定这条线的方向bbb决定这条线往哪里平移SVM 也会找这样一条线。但它不是只要求“把两类分开”而是要满足更进一步的目标让这条线到两边最近样本的距离尽可能大。于是它会同时关心三条线中间那条真正的分类线上面那条贴近正类样本的边界线下面那条贴近负类样本的边界线中间那条线两边的距离就是我们说的间隔。SVM 要做的就是把这个间隔尽量拉大。6. 间隔为什么越大越好这个问题其实很像考试时划重点。如果你在两群人中间画线线两边都贴得很近那稍微来一个有点模糊的新样本就可能站错边。但如果你把线放在一个“缓冲带”更宽的位置新样本就更不容易被误判。所以从直觉上间隔越大通常意味着模型更稳对轻微噪声更不敏感泛化能力通常更好当然这不是说“间隔大就永远赢”但这是 SVM 设计里的核心审美宁可选那个边界更有安全距离的方案。7. 一个小公式SVM 到底在优化什么如果你想在正文里稍微带一点原理可以点到这里但不用推太深。SVM 的优化目标经典形式可以写成min⁡12∣w∣2 \min \frac{1}{2}|w|^2min21​∣w∣2同时满足分类约束yi(w⋅xib)≥1 y_i(w \cdot x_i b) \ge 1yi​(w⋅xi​b)≥1你先不用被这个式子劝退。这两部分的直觉可以这样理解第一部分12∣w∣2\frac{1}{2}|w|^221​∣w∣2这是在让www不要太大。而在 SVM 里www的大小和间隔是反过来的www越小间隔越大所以最小化这个东西本质上就是在最大化间隔第二部分yi(w⋅xib)≥1y_i(w \cdot x_i b) \ge 1yi​(w⋅xi​b)≥1这是在要求所有训练样本都被正确分到自己的那一边而且还不能只是“勉强在边界上”得留出一定余量。所以这套目标翻译成人话就是在保证样本被正确分开的前提下让分类边界尽量离两边都远一点。你看其实还是我们前面讲的那个直觉只不过写成了数学形式。8. 但现实数据往往没这么听话不是所有数据都能被完全分开到这里你可能会问如果数据本来就混在一起怎么办现实里的样本不可能总是那么整齐吧这个问题问得非常对。真实世界的数据经常不是“完美线性可分”的。也就是说不是总能找到一条直线把两类样本一刀切得干干净净。比如有些通过的学生成绩一般有些没通过的学生学习时长也不短两类点可能会在局部交错这时候如果你还强行要求“每个样本都必须被分对”SVM 可能会变得特别僵硬甚至为了照顾几个异常点把边界搞得很奇怪。所以现实中常用的不是最硬的“硬间隔 SVM”而是软间隔 SVMSoft Margin SVM9. 软间隔 SVM允许犯一点错但别太离谱软间隔的想法很符合现实世界。它承认一件事数据里可能有噪声有异常点有天生就不太规整的样本。所以模型不必要求每个训练样本都分得完美。于是SVM 会允许有些样本落在间隔里面甚至被分错但同时它会对这种错误进行惩罚。这时候就会引入一个很重要的参数CCC你可以把它理解成模型对“分类错误”有多敏感。10. 参数 C 到底在控制什么这个参数特别适合拿来给读者建立直觉。如果 C 很大模型会非常在意训练样本有没有分错。它会尽量把每个点都分对哪怕这会让边界变得更贴、更紧、更复杂。这通常意味着训练集效果可能更好但更容易过拟合如果 C 很小模型会更宽容一点。它允许少量样本分错换来一个更平滑、更稳的边界。这通常意味着边界更柔和泛化能力可能更好但训练误差可能稍微大一点所以CCC本质上是在平衡你到底更在意训练集全对还是更在意整体边界更稳这和前面树模型里调复杂度其实是同一种思想只是体现在不同算法上。11. 如果根本不是一条直线能分开的SVM 怎么办这时候就要讲到 SVM 最有名、也最容易把人绕进去的一个东西核函数kernel先说直觉不急着上定义。假设二维平面里的数据长这样一类点在中间另一类点围在外面这时候你不管怎么画直线都很难把它们分开。但如果你把这些点映射到更高维空间里情况可能就变了。原来在二维里分不开的结构到了更高维里可能突然就能被一个平面分开。SVM 的核函数做的就是这件事让模型像是把数据放到一个更适合分开的空间里再去找分类边界。重点是很多时候它甚至不用真的把数据显式搬到高维去而是通过核函数巧妙地直接计算高维空间里的相似性。这也是 SVM 为什么一度特别受欢迎的原因它不仅能做线性分类还能通过核方法处理复杂非线性问题。12. 常见核函数不用全背但要知道它们在干嘛最常见的几个核函数大概有1线性核linear kernel适合本来就比较接近线性可分的数据。这时候 SVM 看起来就像一个“更讲究间隔的线性分类器”。2多项式核polynomial kernel相当于让模型能考虑更复杂的曲线边界。3RBF 核高斯核这是最常见也最常用的一类。它可以处理相当复杂的非线性边界能力很强。如果你面向初学者写正文一个很自然的说法是核函数可以理解成一种“换个角度看数据”的方法。原来分不开的数据经过这种变换以后可能就更容易分开了。这样读者就不会一上来被“核技巧”这几个字吓到。13. SVM 的优点到底体现在哪SVM 之所以经典不是因为名字酷而是它在不少场景下确实很有特点。第一可处理高维数据当特征维度比较高时SVM 往往还能保持不错的表现。第二分类边界思路很清晰它非常明确地在追求“更稳的分界面”而不是只求训练误差低。第三配合核函数后能力很强面对非线性问题时SVM 可以通过核函数获得很强的表达能力。第四在中小规模数据集上经常表现不错尤其当样本量没有特别大但特征比较有区分度时SVM 很常是一个不错的选择。14. 但它也不是万能的SVM 也有自己的短板。第一数据量很大时训练会变慢尤其是样本数很多时SVM 的训练成本会明显上来。第二参数和核函数选择比较敏感像核函数选什么C 怎么调RBF 核里的 gamma 怎么设这些都很影响结果。第三可解释性不算特别强相比决策树那种“我为什么这么判断你可以一路看下来”SVM 的边界解释就没那么直观。所以你可以说SVM 很强但它更像一个需要认真调的工具不是那种随手一上就稳稳出结果的模型。15. 用 Python 写一个最简单的 SVM 分类例子下面还是用scikit-learn做一个简单分类示例importnumpyasnpfromsklearn.svmimportSVC# 特征学习时长、作业完成率X_trainnp.array([[2,50],[3,55],[4,60],[5,65],[6,70],[7,75],[8,80],[9,85]])# 标签0不通过1通过y_trainnp.array([0,0,0,0,1,1,1,1])# 建立 SVM 模型modelSVC(kernellinear,C1.0)# 训练模型model.fit(X_train,y_train)# 新样本预测X_testnp.array([[4.5,63],[7.5,78]])y_predmodel.predict(X_test)print(预测结果,y_pred)这段代码里kernellinear表示先用线性核C1.0是软间隔惩罚参数你完全可以在文章里顺手提醒一句刚开始学 SVM 时先从线性核开始最合适。先把“最大间隔分类”这件事理解清楚再去碰核函数会更顺。16. 如果换成 RBF 核会发生什么你还可以加一段简单代码告诉读者 SVM 并不只能画直线。model_rbfSVC(kernelrbf,C1.0,gammascale)model_rbf.fit(X_train,y_train)y_pred_rbfmodel_rbf.predict(X_test)print(RBF核预测结果,y_pred_rbf)这里你不用急着深挖 gamma先给个直觉就行gamma可以理解成模型对局部变化有多敏感值太大边界可能特别弯容易过拟合值太小边界太平滑可能学不够这一点后面如果你要写 SVM 补充篇再单独展开就很合适。17. 这一篇真正想让读者记住的不是公式而是 SVM 的“性格”学完这一篇读者最应该留下来的感觉不是“我背下来了一个优化公式。”而是SVM 是一个很在意边界质量的分类器。它不是只求分开样本而是想找到那个更稳、更有安全距离的分界线。而支持向量就是那些真正决定这条边界位置的关键样本。如果数据不是线性可分的它还可以借助核函数去处理更复杂的边界。所以你完全可以把 SVM 理解成一种很“讲究边界”的模型。18. 接下来该往哪里走到这里传统机器学习里几类非常典型的思路你已经讲出轮廓了线性模型线性回归、逻辑回归基于距离KNN基于树决策树、随机森林、GBDT基于间隔SVM