当前位置：首页 > news >正文

机器学习3_支持向量机_线性不可分——MOOC

news 文章来源：https://blog.csdn.net/Jay_NanX/article/details/143528563 2025/5/9 0:13:09

线性不可分的情况

如果训练样本是线性不可分的，那么上一节问题的是无解的，即不存在 $\omega$ 和 $b$ 满足上面所有N个限制条件。

对于线性不可分的情况，需要适当放松限制条件，使得问题有解。

放松限制条件的基本思路：

$\Rightarrow$ 对每个训练样本及标签 $\left ( X_i,Y_i \right )$

$\Rightarrow$ 设置松弛变量（slack variable） $\delta _i$

对于线性不可分情况，需适当放松限制条件

限制条件改写： $y_i\left ( \omega ^Tx_i+b \right )\geq 1-\delta _i,(i=1\sim N)$

改造后的支持向量机优化版本

最小化： $\frac{1}{2}\left \| \omega \right \|^2+C\Sigma _{i=1}^N\delta _i$ 或 $\frac{1}{2}\left \| \omega \right \|^2+C\Sigma _{i=1}^N\delta _i^2$

限制条件：

（1） $\delta _i\geq 0,\left ( i=1\sim N \right )$

（2） $y_i\left ( \omega ^TX_i+b \right )\geq 1-\delta _i,\left ( i=1\sim N \right )$

以前的目标函数只需要最小化 $\frac{1}{2}\left \| \omega \right \|^2$ ，现在的目标函数增加了一项所有 $\delta _i$ 的和。
比例因子 $C\Rightarrow$ 平衡两项

比例因子 $C$ 是人为设定的。

人为事先设定的参数叫做算法的超参数（Hyper Parameter）

实际中：不断变化 $C$ 的值 $\Rightarrow$ 同时测试算法的识别率 $\Rightarrow$ 选取超参数 $C$

一个算法中，选取的超参数 $C$ 越多，意味着算法需要手动调整优化的地方也就越多，这样算法的自动性也会降低。

支持向量机是超参数很少的算法模型。

超参数很多的算法模型，如人工神经网络、卷积神经网络等。

在线性不可分情况下应用支持向量机

取目标函数： $\frac{1}{2}\left \| \omega \right \|^2+C\Sigma _{i=1}^N\delta _i,C=10000$

$C=10000$ 是为了超平面和线性可分情况保持基本一致

以下是训练数据以及解出的分类面的展示

可以看到这个分类面分开大多数的圆圈和叉，只在一个训练样本上存在分类的错误。

有了线性不可分情况下的支持向量机算法

如图，这个解分错了将近一半的样本，这个解远远不能让人满意。

问题在于我们的算法模型是线性的。也就是，我们假设分开两类的函数是直线或者超平面，我们是在一组直线和超平面中选择最合适分开这两类数据的直线或者超平面。但线性模型的表现力是不够的。

在下图这个例子中，可以看到能够分开这两类的是某种曲面，例如这个椭圆，而不是直线。

因此，我们只有想办法扩大可选函数的范围，使它超越线性，才有可能应对各种复杂的线性不可分的情况。

低维到高维的映射

支持向量机在扩大可选函数范围方面独树一帜。

其他算法，如人工神经网络、决策树等，采用的是直接产生更多可选函数的方式。

例如上图，在人工网络中，通过多层非线性函数的组合能够产生类似于椭圆这样的曲线，从而分开这幅图中的圆圈和叉。

而支持向量机却不是直接产生这样的函数，而是通过将特征空间由低维映射到高维，然后在高维的特征空间当中用线性超平面对数据进行分类。

$X_1$ 、 $X_2$ 是图中的❌， $X_3$ 、 $X_4$ 是图中的⭕️

这个例子是线性不可分的

如果我们构造一个二维到五维到映射 $\varphi \left ( x \right )$

$\varphi \left ( x \right ): x=\begin{bmatrix} a\\ b \end{bmatrix}\rightarrow \varphi \left ( x \right )=\begin{bmatrix} a^2\\ b^2\\ a\\ b\\ ab \end{bmatrix}$

按照这个映射，可以解出 $X_1$ 、 $X_2$ 、 $X_3$ 、 $X_4$

$\varphi \left ( X_1 \right )=\begin{bmatrix} 0\\ 0\\ 0\\ 0\\ 0 \end{bmatrix}$ $\varphi \left ( X_2 \right )=\begin{bmatrix} 1\\ 1\\ 1\\ 1\\ 1 \end{bmatrix}$ $\varphi \left ( X_3 \right )=\begin{bmatrix} 1\\ 0\\ 1\\ 0\\ 0 \end{bmatrix}$ $\varphi \left ( X_4 \right )=\begin{bmatrix} 0\\ 1\\ 0\\ 1\\ 0\end{bmatrix}$

当映射变成五维时， $\varphi \left ( X_1 \right )$ 、 $\varphi \left ( X_2 \right )$ 、 $\varphi \left ( X_3 \right )$ 、 $\varphi \left ( X_4 \right )$ 线性可分