【Pytroch】基于支持向量机算法的数据分类预测（Excel可直接替换数据）

1.模型原理

支持向量机（Support Vector Machine，SVM）是一种强大的监督学习算法，用于二分类和多分类问题。它的主要思想是找到一个最优的超平面，可以在特征空间中将不同类别的数据点分隔开。

下面是使用PyTorch实现支持向量机算法的基本步骤和原理：

1. 数据准备： 首先，你需要准备你的训练数据。每个数据点应该具有特征（Feature）和对应的标签（Label）。特征是用于描述数据点的属性，标签是数据点所属的类别。

2. 数据预处理： 根据SVM的原理，数据点需要线性可分。因此，你可能需要进行一些数据预处理，如特征缩放或标准化，以确保数据线性可分。

3. 定义模型： 在PyTorch中，你可以定义一个支持向量机模型作为一个线性模型，例如使用nn.Linear。

4. 定义损失函数： SVM的目标是最大化支持向量到超平面的距离，即最大化间隔（Margin）。这可以通过最小化损失函数来实现，通常使用hinge loss（合页损失）。PyTorch提供了nn.MultiMarginLoss损失函数，它可以用于SVM训练。

5. 定义优化器： 选择一个优化器，如torch.optim.SGD，来更新模型的参数以最小化损失函数。

6. 训练模型： 使用训练数据对模型进行训练。在每个训练步骤中，计算损失并通过优化器更新模型参数。

7. 预测： 训练完成后，你可以使用训练好的模型对新的数据点进行分类预测。对于二分类问题，可以使用模型的输出值来判断数据点所属的类别。

2.数学公式

当使用支持向量机（SVM）进行数据分类预测时，目标是找到一个超平面（或者在高维空间中是一个超曲面），可以将不同类别的数据点有效地分隔开。以下是SVM的数学原理：

1. 超平面方程： 在二维情况下，超平面可以表示为

   $$w_1{x}_1+w_2{x}_2+b=0$$

2. 决策函数： 数据点 (x) 被分为两个类别的决策函数为

   $$f(x)=w^{T}x+b$$

3. 间隔（Margin）： 对于一个给定的超平面，数据点到超平面的距离被称为间隔。支持向量机的目标是找到能最大化间隔的超平面。间隔可以用下面的公式计算：

   $$\text{间隔}=\frac{2}{\Vert w\Vert }$$

4. 支持向量： 支持向量是离超平面最近的那些数据点。这些点对于确定超平面的位置和间隔非常重要。支持向量到超平面的距离等于间隔。

5. 最大化间隔： SVM 的目标是找到一个超平面，使得所有支持向量到该超平面的距离（即间隔）都最大化。这等价于最小化法向量的范数 (|w|)，即：

   $$\text{最小化}\frac{1}{2}\Vert w{\Vert }^2$$

6. 对偶问题和核函数： 对偶问题的解决方法涉及到拉格朗日乘子，可以得到一个关于训练数据点的内积的表达式。这样，如果直接在高维空间中计算内积是非常昂贵的，可以使用核函数来避免高维空间的计算。核函数将数据映射到更高维的空间，并在计算内积时使用高维空间的投影，从而实现了在高维空间中的计算，但在计算上却更加高效。

总之，SVM利用线性超平面来分隔不同类别的数据点，通过最大化支持向量到超平面的距离来实现分类。对偶问题和核函数使SVM能够处理非线性问题，并在高维空间中进行计算。以上是SVM的基本数学原理。

3.文件结构

iris.xlsx						% 可替换数据集
Main.py							% 主函数

4.Excel数据

5.下载地址

- 资源下载地址

6.完整代码

import torch
import torch.nn as nn
import pandas as pd
import numpy as np  # Don't forget to import numpy for the functions using it
import matplotlib.pyplot as plt  # Import matplotlib for plotting
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import confusion_matrixclass SVM(nn.Module):def __init__(self, input_size, num_classes):super(SVM, self).__init__()self.linear = nn.Linear(input_size, num_classes)def forward(self, x):return self.linear(x)def train(model, X, y, num_epochs, learning_rate):criterion = nn.CrossEntropyLoss()  # Use CrossEntropyLoss for multi-class classificationoptimizer = torch.optim.SGD(model.parameters(), lr=learning_rate)for epoch in range(num_epochs):inputs = torch.tensor(X, dtype=torch.float32)labels = torch.tensor(y, dtype=torch.long)  # Use long for class indicesoptimizer.zero_grad()outputs = model(inputs)loss = criterion(outputs, labels)loss.backward()optimizer.step()if (epoch + 1) % 100 == 0:print(f'Epoch [{epoch + 1}/{num_epochs}], Loss: {loss.item():.4f}')def test(model, X, y):inputs = torch.tensor(X, dtype=torch.float32)labels = torch.tensor(y, dtype=torch.long)  # Use long for class indiceswith torch.no_grad():outputs = model(inputs)_, predicted = torch.max(outputs, 1)accuracy = (predicted == labels).float().mean()print(f'Accuracy on test set: {accuracy:.2f}')# Define the plot functions
def plot_confusion_matrix(conf_matrix, classes):plt.figure(figsize=(8, 6))plt.imshow(conf_matrix, cmap=plt.cm.Blues, interpolation='nearest')plt.title("Confusion Matrix")plt.colorbar()tick_marks = np.arange(len(classes))plt.xticks(tick_marks, classes)plt.yticks(tick_marks, classes)plt.xlabel("Predicted Label")plt.ylabel("True Label")plt.tight_layout()plt.show()def plot_predictions_vs_true(y_true, y_pred):plt.figure(figsize=(10, 6))plt.plot(y_true, 'go', label='True Labels')plt.plot(y_pred, 'rx', label='Predicted Labels')plt.title("True Labels vs Predicted Labels")plt.xlabel("Sample Index")plt.ylabel("Class Label")plt.legend()plt.show()def main():data = pd.read_excel('iris.xlsx')X = data.iloc[:, :-1].valuesy = data.iloc[:, -1].valueslabel_encoder = LabelEncoder()y = label_encoder.fit_transform(y)X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)num_classes = len(label_encoder.classes_)model = SVM(X_train.shape[1], num_classes)num_epochs = 1000learning_rate = 0.001train(model, X_train, y_train, num_epochs, learning_rate)# Call the test function to get predictionsinputs = torch.tensor(X_test, dtype=torch.float32)labels = torch.tensor(y_test, dtype=torch.long)with torch.no_grad():outputs = model(inputs)_, predicted = torch.max(outputs, 1)# Convert torch tensors back to numpy arraysy_true = labels.numpy()y_pred = predicted.numpy()test(model, X_test, y_test)# Call the plot functionsconf_matrix = confusion_matrix(y_true, y_pred)plot_confusion_matrix(conf_matrix, label_encoder.classes_)plot_predictions_vs_true(y_true, y_pred)if __name__ == '__main__':main()

7.运行结果