梯度详解与优化实战

什么是梯度

对所有自变量求偏微分构成的向量，它是一个向量（有大小和函数值增长方向）

导数是一个标量

找最小值点坐标的案例

import torchimport numpy as np
import matplotlib.pyplot as plt
def himmelblau(x):return (x[0]**2+x[1]-11)**2 + (x[0]+x[1]**2-7)**2x = np.arange(-6,6,0.1)
# print(x)
y = np.arange(-6,6,0.1)X,Y = np.meshgrid(x,y)
# print(X,"hhhhh\n",Y)Z = himmelblau([X,Y])fig = plt.figure("himmelbu")
ax = fig.gca(projection="3d")
ax.plot_surface(X,Y,Z)
ax.view_init(60,-30)plt.show()# 使得x包含x,y两个变量，最终要求最小值
x = torch.tensor([4,0],requires_grad=True,dtype=float)# a.下面这句话相当于 x' = x - 0.001*△x  y'=...
optimizer = torch.optim.Adam([x],lr=1e-3)for step in range(20000):pred = himmelblau(x)# 先将梯度清零  防止梯度累积optimizer.zero_grad()# 生成x y的梯度信息pred.backward()# 这句话相当于执行a  有了梯度信息后，代入a式求值optimizer.step()if step%2000==0:print('step:{} x={} f(x)={}'.format(step,x.tolist(),pred.item()))