神经网络基础-神经网络补充概念-04-梯度下降法

概念

梯度下降法是一种常用的优化算法，用于在机器学习和深度学习中更新模型参数以最小化损失函数。它通过迭代地调整参数，沿着损失函数的负梯度方向移动，从而逐步逼近损失函数的最小值。

基本思想

梯度下降法的基本思想是：在每次迭代中，计算损失函数对于模型参数的梯度（导数），然后将参数朝着梯度的负方向移动一小步（称为学习率），以减少损失函数的值。这个过程将一直持续，直到达到收敛条件（如达到一定迭代次数或损失函数的变化不再显著）。

伪代码

1. 初始化模型参数（权重和偏置）
2. 设置学习率（步长）
3. 进入迭代循环：4. 计算损失函数关于参数的梯度5. 更新参数：参数 = 参数 - 学习率 * 梯度6. 检查收敛条件（例如，损失函数的变化小于某个阈值或达到最大迭代次数）
7. 返回最终的模型参数

代码实现

import numpy as np# 准备示例数据
X = ...  # 特征矩阵
y = ...  # 标签向量# 初始化模型参数
theta = np.zeros(X.shape[1])# 设置学习率和迭代次数
learning_rate = 0.01
num_iterations = 1000# 梯度下降迭代
for _ in range(num_iterations):# 计算梯度gradient = np.dot(X.T, (y - sigmoid(np.dot(X, theta))))# 更新参数theta += learning_rate * gradient# 定义sigmoid函数
def sigmoid(z):return 1 / (1 + np.exp(-z))# 训练完成后，theta 包含了最优的模型参数