机器学习01-支持向量机（SVM）（未完）

参考浙大 胡浩基老师 的课以及以下链接：

https://blog.csdn.net/m0_74100344/article/details/139560508

https://blog.csdn.net/2301_78630677/article/details/132657023

https://blog.csdn.net/lsb2002/article/details/131338700

一、一些定义

T是倒置，训练数据是n维，omega也是n维。

超平面：划分二维的是一条直线，三维的是一个平面，大于三维就称为超平面。

机器学习要做什么？通过训练数据，在这个线性模型的限定下把omega和b找出来。

二、支持向量机

（一）工作

SVM所做的工作就是找这样个超平面，能够将两个不同类别的样本划分开来，但是这种平面是不唯一的，即可能存在无数个超平面都可以将两种样本分开。为此Vapnik提出了一种方法，对每一种可能的超平面，我们将它进行平移，直到它与空间中的样本向量相交。我们称这两个向量为支持向量，之后我们计算支持向量到该超平面的距离d，分类效果最好的超平面应该使d最大。

（二）优化问题

1. 两个事实

优化的目的是让d最大，难点理解：

 难点的理解：

（其实这个1可以为任意正整数，只是这里为了简化计算和统一）

        可以简单理解为我们通过缩放超平面来保证支持向量之间的最大距离为2，而支持向量与超平面的距离为1，这样做简化了计算并确保了分类器的一致性。

根据以上的推导，我们想要优化这个问题，让d达到最大， 就转化为了让omega达到最小。

2. 优化问题结论

限制条件：让支持向量和非支持向量到超平面的距离都大于等于1（yi用来转化负类）

（三）处理非线性问题

1. 惩罚系数和松弛变量

简单来说就是在简单性和分类准确性之间找到一个平衡，使模型既能很好地拟合数据，又不会过于复杂。

简单来说就是允许一些样本点分类错误，让模型更灵活。

2. 核函数

 3. 优化理论

（1）原问题与对偶问题

待补充

（2）待补充

三、实战

（一）基于SVM实现鸢尾花分类预测