科普：One-Class SVM和SVDD

SVM（支持向量机）算法是用于解决二分类问题的，它在样本空间（高维空间）中找一个最优超平面，使得两类数据点中离超平面最近的点（称为支持向量）到超平面的距离最大。
对于极少数“坏样本”的二分类场景，我们可以换个思路：将所有样本视为一类（而不是二类），而将极少数“坏样本”视为这一类的异常。这样，用于二分类的SVM就可以改造为用于一分类的One-Class SVM和SVDD。
One-Class SVM（单类支持向量机）与SVDD（支持向量数据描述）是单类分类领域的两大核心算法，它们的目标均为通过仅使用目标类样本建模，实现异常检测或数据描述。两者在理论基础和实现方式上存在紧密联系，但在决策边界形式、优化目标和应用场景上也有显著差异。以下是具体分析：

1. 核心联系：基于核方法的单类分类框架

1.1 共同的理论基础

• 核技巧：两者均通过核函数将数据映射到高维特征空间，以处理非线性分布问题。例如，使用RBF核将数据映射到无限维空间后，SVDD在高维空间中寻找最小超球体，而One-Class SVM则寻找最优超平面。
• 对偶优化：两者的优化问题均可转化为二次规划问题，并通过拉格朗日对偶方法求解。支持向量（Support Vectors）在两种算法中均起关键作用，决定决策边界的形状。
• 参数敏感性：均依赖惩罚参数（如One-Class SVM的$nu$或SVDD的$C$）平衡模型复杂度与异常点容忍度，且核函数参数（如RBF核的$\gamma$）需谨慎调优。

1.2 数学等价性

• 特定条件下的等价性：当使用满足$k(x,x)=1$的核函数（如归一化RBF核）时，One-Class SVM与SVDD的决策函数等价。例如，对于高斯核$k(x,x^{\prime })=exp(-\gamma ||x-x^{\prime }|{|}^2)$，若归一化为$k(x,x^{\prime })=exp(-\gamma ||x-x^{\prime }|{|}^2)/exp(-\gamma ||x|{|}^2)exp(-\gamma ||x^{\prime }|{|}^2)$，则两者的超平面与超球体决策边界在数学上等价。
• 渐近一致性：在数据分布接近球状时，两者的分类结果趋近于一致。例如，当目标类数据在高维空间中近似正态分布时，SVDD的超球体与One-Class SVM的超平面可能重合。

2. 关键区别：决策边界与优化目标

2.1 决策边界形状

• One-Class SVM：
  通过超平面（Hyperplane）将目标类数据与原点（或其他参考点）分离。其优化目标是最大化超平面与原点的距离，同时允许少量样本跨越超平面（通过松弛变量）。例如，在二维空间中，超平面表现为一条直线，将目标类数据与原点分隔开。
• SVDD：
  通过超球体（Hypersphere）将目标类数据紧密包围。其优化目标是最小化超球体的体积，同时允许部分样本位于球体外（通过松弛变量）。例如，在二维空间中，超球体表现为一个圆，尽可能紧凑地包含目标类数据。

2.2 优化目标差异

• One-Class SVM：
  目标函数为：
  $$\underset{\mathbf{w},\rho ,\xi }{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\rho +\frac{1}{\nu n}\sum _{i=1}^n{\xi }_i$$
  约束条件：
  $${\mathbf{w}}^T\varphi ({\mathbf{x}}_i)\ge \rho -{\xi }_i,{\xi }_i\ge 0$$
  其中，$\mathbf{w}$ 是超平面的法向量，$\rho$ 是超平面到原点的距离，$\nu$ 控制异常点比例。
  $\varphi$把从原始空间中的特征向量$\mathbf{x}$映射成特征空间中的特征向量$\varphi (\mathbf{x})$，下同。
• SVDD：
  目标函数为：
  $$\underset{R,\mathbf{a},\xi }{\min }{R}^2+C\sum _{i=1}^n{\xi }_i$$
  约束条件：
  $$\Vert \varphi ({\mathbf{x}}_i)-\mathbf{a}{\Vert }^2\le R^2+{\xi }_i,{\xi }_i\ge 0$$
  其中，$\mathbf{a}$ 是超球体的中心，$R$ 是半径，$C$ 平衡球体体积与异常点数量。

2.3 几何直观

• One-Class SVM：
  超平面的位置由目标类数据与原点的距离决定。若数据分布集中，超平面可能远离原点；若数据分散，超平面可能靠近原点以减少误判。
• SVDD：
  超球体的大小和位置由数据的紧凑程度决定。若数据集中，超球体体积较小；若数据分散，超球体体积较大以包含更多样本。

3. 应用场景对比

场景	One-Class SVM	SVDD
数据分布	适用于数据分布接近线性可分或具有明确方向的场景。例如，文本数据的主题分布。	适用于数据分布呈团状或球状的场景。例如，图像中的物体轮廓。
异常点敏感性	对异常点较敏感，因为超平面可能被离群点显著影响。	对异常点较鲁棒，因为超球体可通过松弛变量排除极端值。
计算复杂度	训练复杂度与样本数呈二次方关系（$O(n^3)$），适用于小样本。	训练复杂度与样本数呈二次方关系（$O(n^3)$），但可通过分解算法优化。
参数调优	参数$nu$直接控制异常点比例，更易解释。	参数$C$和核函数参数需联合调优，对用户经验要求较高。
典型应用	网络入侵检测、信用卡欺诈识别（需快速决策）。	工业缺陷检测、医学影像分析（需紧凑数据描述）。

4. 如何选择？

• 优先选择One-Class SVM：
  当数据分布具有明确方向性（如文本、时序数据），或需要直接控制异常点比例时。例如，在信用卡欺诈检测中，$nu$参数可直接设定允许的欺诈交易比例。
• 优先选择SVDD：
  当数据分布呈团状或球状（如图像、传感器数据），或需要更紧凑的数据描述时。例如，在工业质检中，SVDD的超球体可精确圈定合格产品的特征范围。
• 等价性场景：
  若使用归一化RBF核且数据分布近似球状，两者效果接近，可根据计算效率或参数调优便利性选择。

5. 决策边界、原点与异常点

在 One-Class SVM 和 SVDD 中，在特征空间中，算法所找到的超平面和超球面对应到原始空间中就是这类型状，通常是一个超曲面，称为决策边界。
现在我们考察在原始空间中三者（决策边界、原点与异常点）的位置关系。

• One-Class SVM：原点与异常点同侧，因为超平面的设计目标是将正常数据与原点分离，异常点被视为与原点更接近的样本。
• SVDD：原点与异常点的位置关系不确定，取决于数据分布。若原点在超球体内，异常点与原点异侧；若原点在球体外，异常点与原点同侧。
• 选择建议：
  • 若需要明确控制异常点与原点的位置关系（如同侧），优先选择 One-Class SVM。
  • 若数据分布复杂且原点位置不明确，SVDD 更灵活，但需通过数据预处理或参数调优控制原点与异常点的关系。

5.1 One-Class SVM：原点与异常点

1. 决策边界与原点的关系

• 超平面分离：
  One-Class SVM 的核心是在特征空间中寻找一个超平面，将目标类数据与原点（或其他参考点）最大化分离。其优化目标是：
  $$\underset{\mathbf{w},\rho ,\xi }{\min }\frac{1}{2}\Vert \mathbf{w}{\Vert }^2-\rho +\frac{1}{\nu n}\sum _{i=1}^n{\xi }_i$$
  约束条件为：
  $${\mathbf{w}}^T\varphi ({\mathbf{x}}_i)\ge \rho -{\xi }_i({\xi }_i\ge 0)$$
  其中，$\mathbf{w}$是超平面的法向量，$\rho$是超平面到原点的距离。
  • 正常样本：位于超平面的一侧（${\mathbf{w}}^T\varphi ({\mathbf{x}}_i)\ge \rho$）。
  • 原点：位于超平面的另一侧（${\mathbf{w}}^T\varphi (0)<\rho$），因为超平面的设计目标是将正常数据与原点分隔开。

2. 异常点的位置

• 异常点的定义：
  若测试样本$\mathbf{x}$满足${\mathbf{w}}^T\varphi (\mathbf{x})<\rho$，则被判定为异常点。
• 与原点的关系：
  异常点位于超平面的另一侧，即与原点同侧。这是因为超平面的设计目标是将正常数据与原点分离，而异常点被视为与原点“更接近”的样本。
  • 几何直观：在二维空间中，超平面将正常数据与原点分隔，异常点位于原点所在的一侧。例如，若正常数据分布在右侧，超平面可能是一条垂直直线，原点和异常点位于左侧。

3. 核函数的影响

• 特征空间变换：
  核函数（如 RBF 核）将数据映射到高维特征空间，原点在特征空间中的位置可能与输入空间不同。例如，使用 RBF 核时，原点的特征向量可能与输入空间的原点无关。
• 决策逻辑不变：
  无论核函数如何，超平面始终将正常数据与特征空间的原点分离，异常点仍位于原点所在的一侧。

5.2 SVDD：原点与异常点

1. 决策边界与原点的关系

• 超球体包围：
  SVDD 的目标是在特征空间中找到一个最小体积的超球体，尽可能紧密地包围目标类数据。其优化目标为：
  $$\underset{R,\mathbf{a},\xi }{\min }{R}^2+C\sum _{i=1}^n{\xi }_i$$
  约束条件为：
  $$\Vert \varphi ({\mathbf{x}}_i)-\mathbf{a}{\Vert }^2\le R^2+{\xi }_i({\xi }_i\ge 0)$$
  其中，$\mathbf{a}$是超球体的中心，$R$是半径。
  • 正常样本：位于超球体内（$\Vert \varphi ({\mathbf{x}}_i)-\mathbf{a}{\Vert }^2\le R^2$）。
  • 原点：其位置由数据分布决定，可能在超球体内或外。

2. 异常点的位置

• 异常点的定义：
  若测试样本$\mathbf{x}$满足$\Vert \varphi (\mathbf{x})-\mathbf{a}{\Vert }^2>R^2$，则被判定为异常点。
• 与原点的关系：
  • 若原点在超球体内：异常点位于球体外，与原点异侧。
  • 若原点在超球体外：异常点也位于球体外，与原点同侧。
  • 示例：
    • 若目标类数据分布在远离原点的区域，超球体可能不包含原点，此时原点和异常点均位于球体外（同侧）。
    • 若目标类数据分布在原点附近，超球体可能包含原点，此时异常点位于球体外（异侧）。

3. 数据分布的影响

• 原点的位置：
  超球体的中心$\mathbf{a}$和半径$R$由数据分布决定。例如：
  • 若数据集中在原点附近，$\mathbf{a}$可能接近原点，超球体包含原点。
  • 若数据分布在远离原点的区域，$\mathbf{a}$也会远离原点，超球体可能不包含原点。
• 异常点的位置：
  无论原点是否在超球体内，异常点始终位于球体外，但与原点的相对位置取决于数据分布。

5.3 数学推导与验证

1. One-Class SVM 的决策函数

• 函数形式：
  $$f(\mathbf{x})={\mathbf{w}}^T\varphi (\mathbf{x})-\rho$$
  • 正常样本：$f(\mathbf{x})\ge 0$（位于超平面一侧）。
  • 原点：$f(0)={\mathbf{w}}^T\varphi (0)-\rho <0$（位于另一侧）。
  • 异常点：$f(\mathbf{x})<0$（与原点同侧）。

2. SVDD 的决策函数

• 函数形式：
  $$f(\mathbf{x})=\Vert \varphi (\mathbf{x})-\mathbf{a}{\Vert }^2-R^2$$
  • 正常样本：$f(\mathbf{x})\le 0$（位于球体内）。
  • 原点：$f(0)=\Vert \varphi (0)-\mathbf{a}{\Vert }^2-R^2$，其符号取决于$\mathbf{a}$和$R$。
  • 异常点：$f(\mathbf{x})>0$（位于球体外）。