随机梯度下降的代码实现

在单变量线性回归的机器学习代码中，我们讨论了批量梯度下降代码的实现，本篇将进行随机梯度下降的代码实现，整体和批量梯度下降代码类似，仅梯度下降部分不同：

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import joblib# 导入数据
path = 'ex1data1.txt'
data = pd.read_csv(path, header=None, names=['Population', 'Profit'])# 分离特征和目标变量
X = data.iloc[:, 0:1].values  # Population列
y = data.iloc[:, 1].values  # Profit列
m = len(y)  # 样本数量# 添加一列全为1的截距项
X = np.append(np.ones((m, 1)), X, axis=1)# 批量梯度下降参数
alpha = 0.01  # 学习率
iterations = 1500  # 迭代次数# 随机梯度下降算法
def stochasticGradientDescent(X, y, theta, alpha, num_iters):m = len(y)for iter in range(num_iters):for i in range(m):# 随机选择一个数据点进行梯度计算random_index = np.random.randint(0, m)X_i = X[random_index, :].reshape(1, X.shape[1])y_i = y[random_index].reshape(1, 1)# 计算预测值和误差prediction = np.dot(X_i, theta)error = prediction - y_i# 更新参数theta = theta - (alpha * X_i.T.dot(error)).flatten()return theta# 初始化模型参数
theta = np.zeros(2)"""
随机梯度下降前的损失显示
"""
# 定义损失函数，用于显示调用前后的损失值对比
def computeCost(X, y, theta):m = len(y)predictions = X.dot(theta)square_err = (predictions - y) ** 2return np.sum(square_err) / (2 * m)
# 计算初始损失
initial_cost = computeCost(X, y, theta)
print("初始的损失值:", initial_cost)# 使用随机梯度下降进行模型拟合
theta = stochasticGradientDescent(X, y, theta, alpha, iterations)"""
随机梯度下降后的损失显示
"""
# 计算优化后的损失
final_cost = computeCost(X, y, theta)
print("优化后的损失值:", final_cost)"""
使用需要预测的数据X进行预测
"""
# 假设的人口数据
population_values = [3.5, 7.0]  # 代表35,000和70,000人口# 对每个人口值进行预测
for pop in population_values:# 将人口值转换为与训练数据相同的格式（包括截距项）predict_data = np.matrix([1, pop])  # 添加截距项# 使用模型进行预测predict_profit = np.dot(predict_data, theta.T)print(f"模型预测结果 {pop} : {predict_profit[0,0]}")
"""
使用模型绘制函数
"""
# 创建预测函数
x_values = np.array(X[:, 1])
f = theta[0] * np.ones_like(x_values) + (theta[1] * x_values)  # 使用广播机制# 绘制图表
fig, ax = plt.subplots(figsize=(12, 8))
ax.plot(x_values, f, 'r', label='Prediction')
ax.scatter(data.Population, data.Profit, label='Training Data')
ax.legend(loc=2)
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
plt.show()"""
保存模型
"""
# 保存模型
joblib.dump(theta, 'linear_regression_model.pkl')"""
加载模型并执行预测
"""
# 加载模型
loaded_model = joblib.load('linear_regression_model.pkl')# 假设的人口数据
population_values = [3.5, 7.0]  # 代表35,000和70,000人口# 使用模型进行预测
for pop in population_values:# 更新预测数据矩阵，包括当前的人口值predict_data = np.matrix([1, pop])# 进行预测predict_value = np.dot(predict_data, loaded_model.T)print(f"模型预测结果 {pop} : {predict_value[0,0]}")

实际测试下来，同迭代次数情况下随机梯度下降的收敛度远低于批量梯度下降：

初始的损失值: 32.072733877455676
优化后的损失值: 6.037742815925882 批量梯度下降为：4.47802760987997
模型预测结果 3.5 : -0.6151395665038226
模型预测结果 7.0 : 2.9916563373877203
模型预测结果 3.5 : -0.6151395665038226
模型预测结果 7.0 : 2.9916563373877203

即便是将迭代次数增加10倍也无法有效降低太多损失，15000次迭代的结果：

优化后的损失值: 5.620745223253086

个人总结：随机梯度下降估计只有针对超大规模的数据有应用意义。

注：本文为学习吴恩达版本机器学习教程的代码整理，使用的数据集为https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes/blob/f2757f85b99a2b800f4c2e3e9ea967d9e17dfbd8/code/ex1-linear%20regression/ex1data1.txt