神经网络基础-神经网络补充概念-41-梯度的数值逼近

概念

梯度的数值逼近是一种用于验证梯度计算正确性的方法，它通过近似计算梯度来与解析计算的梯度进行比较。虽然数值逼近在实际训练中不常用，但它可以用来检查手动或自动求导的实现是否正确。

代码实现

import numpy as np# 定义函数 f(x) = x^2
def function(x):return x**2# 计算梯度的数值逼近
def numerical_gradient(f, x):h = 1e-5grad = np.zeros_like(x)for i in range(x.shape[0]):tmp_val = x[i]# f(x + h)x[i] = tmp_val + hfxh1 = f(x)# f(x - h)x[i] = tmp_val - hfxh2 = f(x)grad[i] = (fxh1 - fxh2) / (2 * h)x[i] = tmp_valreturn grad# 计算 x = 3 处的梯度
x = np.array([3.0, 4.0])
gradient = numerical_gradient(function, x)
print("Numerical Gradient:", gradient)