当前位置：首页 > article >正文

支持向量机（SVM）：分类与回归的数学之美

article 2025/9/12 5:48:03

在机器学习的世界里，支持向量机（Support Vector Machine，简称 SVM）是一种极具魅力且应用广泛的算法。它不仅能有效解决分类问题，在回归任务中也有着出色的表现。下面，就让我们深入探索 SVM 如何在分类和回归问题中发挥作用。

一、SVM 概述

支持向量机由 Vapnik 等人于 1995 年正式提出，它基于统计学习理论，旨在寻找一个最优超平面，将不同类别的数据尽可能分开。SVM 的核心思想可以用 “间隔最大化” 来概括，通过找到一个能使两类数据点到超平面的最小距离最大的超平面，实现对数据的分类和回归预测。

二、SVM 用于分类问题

1. 线性可分情况

在最简单的线性可分情况下，假设有两类数据点，SVM 的目标是找到一个超平面 $w^Tx + b = 0$ ，使得两类数据点能够被完全分开，并且两类数据点中离超平面最近的点到超平面的距离（称为间隔）最大。这些离超平面最近的点被称为支持向量。

数学上，间隔可以表示为 $\frac{2}{\|w\|}$ ，为了最大化间隔，SVM 通过求解以下优化问题：

其中， $x_i$ 是第 i 个数据点的特征向量， $y_i$ 是其对应的类别标签 $y_i \in \{ -1, 1\}$ ，n 是数据点的总数。通过求解这个优化问题，我们可以得到最优的 w 和 b，从而确定分类超平面。

2. 线性不可分情况

现实中的数据往往不是线性可分的，这时 SVM 引入了松弛变量 $\xi_i$ 来允许一些数据点错误分类或位于间隔内。优化问题变为：

这里的 C 是一个超参数，用于平衡间隔最大化和分类错误的容忍度。C 越大，对错误分类的惩罚越大，模型越倾向于严格分类；C 越小，模型对错误的容忍度越高，间隔可能会更大。

3. 非线性分类

对于非线性可分的数据，SVM 使用核函数（Kernel Function）将数据映射到高维空间，使得在高维空间中数据变得线性可分。常见的核函数有多项式核函数、高斯径向基函数（RBF）、Sigmoid 核函数等。以高斯 RBF 核函数为例，它的表达式为 $K(x_i, x_j) = \exp\left(-\frac{\|x_i - x_j\|^2}{2\sigma^2}\right)$ 。通过核函数，SVM 在低维空间中进行计算，却能在高维空间中找到合适的超平面进行分类。