【机器学习】西瓜书学习心得及课后习题参考答案—第6章支持向量机

笔记心得

6.1 间隔与支持向量——$w$是法向量，垂直与超平面$w^{T}x+b=0$。这一节了解了支持向量机的基本型。
$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w^T{x}_i+b)\ge 1,i=1,2,...,m. \end{gathered}$$
6.2 对偶问题——SVM的基本型是一个凸二次规划问题，可以用更高效的方法求解。使用拉格朗日乘子法得到其“对偶问题”。了解了KKT条件，SMO算法。
6.3 核函数——了解了能作为核函数的条件，和常用的核函数。
6.4 软间隔与正则化——这一节主要是讨论缓解过拟合问题。
6.5 支持向量回归——支持向量机解决回归问题。所构建的间隔带两侧松弛程度可不同。

术语学习

课后习题

6.1 试证明样本空间中任意点$x$到超平面$(w,b)$的距离为式 (6.2)。

假设点$x_0=(x_1^0,x_2^0,...,x_n^0)$，其在超平面$w^{T}x+b=0$上的投影点为$x_1=(x_1^1,x_2^1,...,x_n^1)$，则$w^T{x}_1+b=0$。
$w$为法向量，因此$\overrightarrow{x_0{x}_1}$与法向量$w$平行。夹角为0或者$\pi$
$|w\cdot \overrightarrow{x_0{x}_1}|=|||w||\cdot cos\pi \cdot ||\overrightarrow{x_0{x}_1}|||=||w||\cdot ||\overrightarrow{x_0{x}_1}||=||w||\cdot r$
同时

$$\begin{gathered} |w\cdot \overrightarrow{x_0{x}_1}| \\ =|w_1(x_1^1-x_1^0)+w_2(x_2^1-x_2^0)+...+w_1(x_n^1-x_n^0)| \\ =|w_1{x}_1^1+w_2{x}_2^1+...+w_n{x}_n^1-(w_1{x}_1^0+w_2{x}_2^0+...+w_n{x}_n^0)| \\ =|w^T{x}_1-w^T{x}_0| \\ =|-b-w^T{x}_0| \\ =|w^T{x}_0+b| \end{gathered}$$
所以
$$\begin{gathered} |w^T{x}_0+b|=||w||\cdot r \\ r=\frac{|w^T{x}_0+b|}{||w||} \end{gathered}$$