深度学习：匿名函数lambda函数的使用与numerical_gradient函数

背景：
假设我们有一个简单的线性回归模型，其损失函数是均方误差（MSE）：

class LinearModel:def __init__(self):self.W = np.random.randn(1, 1)  # 初始化权重def predict(self, x):return np.dot(x, self.W)  # 线性预测def loss(self, x, t):y_pred = self.predict(x)return np.mean((y_pred - t) ** 2)  # 均方误差# 创建模型实例
model = LinearModel()# 定义输入数据和目标标签
x = np.array([[1], [2], [3]])
t = np.array([[2], [4], [6]])# 定义损失函数
loss_W = lambda W : model.loss(x, t)# 计算损失
current_loss = loss_W(model.W)
print(current_loss)

loss_W = lambda W : self.loss(x, t) ：
是一个 lambda 函数，它接受一个参数 W 并返回损失函数的值。具体来说：

lambda W : self.loss(x, t) 定义了一个匿名函数（lambda 函数），它接受一个参数 W。self.loss(x, t) 是损失函数的调用，其中 x 和 t 是损失函数的输入参数。

因此，loss_W 的作用是将参数 W 传递给损失函数 self.loss，并返回损失函数的计算结果。这里的 W 通常是模型中的权重参数，而 x 和 t 分别是输入数据和目标标签。

总结一下，loss_W 是一个接受权重参数 W 并返回损失值的函数。
当然可以将 loss_W 写成一个普通的函数，而不是使用 lambda 表达式。以下是如何将 loss_W 写成一个普通函数的示例：

class LinearModel:def __init__(self):self.W = np.random.randn(1, 1)  # 初始化权重def predict(self, x):return np.dot(x, self.W)  # 线性预测def loss(self, x, t):y_pred = self.predict(x)return np.mean((y_pred - t) ** 2)  # 均方误差# 创建模型实例
model = LinearModel()# 定义输入数据和目标标签
x = np.array([[1], [2], [3]])
t = np.array([[2], [4], [6]])# 定义损失函数
def loss_W(W):model.W = W  # 更新模型的权重return model.loss(x, t)# 计算损失
current_loss = loss_W(model.W)
print(current_loss)

在这个例子中：

loss_W 是一个普通的函数，它接受 W 作为参数。在函数内部，首先更新模型的权重 model.W 为传入的 W。然后调用 model.loss(x, t) 计算损失，并返回计算结果。

这种方式与使用 lambda 函数的效果是相同的，但代码的可读性可能会有所提高，特别是对于复杂的逻辑。

以下是梯度的代码，通过下述代码更加深入了解lambda：

def numerical_gradient(f, x):h = 1e-4grad = np.zeros_like(x)for idx in range(x.size):tmp_val = x[idx]x[idx] = tmp_val + hfxh1 = f(x)x[idx] = tmp_val - hfxh2 = f(x)grad[idx] = (fxh1 - fxh2) / (2*h)x[idx] = tmp_valreturn grad

下面的numerical_gradient函数是调用上面函数的

  def numerical_gradient(self, x, t):loss_W = lambda W: self.loss(x, t)grads = {}grads['W1'] = numerical_gradient(loss_W, self.params['W1'])grads['b1'] = numerical_gradient(loss_W, self.params['b1'])grads['W2'] = numerical_gradient(loss_W, self.params['W2'])grads['b2'] = numerical_gradient(loss_W, self.params['b2'])return grads

loss函数为：

   def predict(self, x):W1, b1 = self.params['W1'], self.params['b1']W2, b2 = self.params['W2'], self.params['b2']a1 = np.dot(x, W1) + b1z1 = sigmoid(a1)a2 = np.dot(z1, W2) + b2y = a2return ydef loss(self, x, t):y = self.predict(x)return self.lastLayer.forward(y, t)

所以在下述代码中

 loss_W = lambda W: self.loss(x, t)grads = {}grads['W1'] = numerical_gradient(loss_W, self.params['W1'])grads['b1'] = numerical_gradient(loss_W, self.params['b1'])grads['W2'] = numerical_gradient(loss_W, self.params['W2'])grads['b2'] = numerical_gradient(loss_W, self.params['b2'])

例如grads[‘W1’] = numerical_gradient(loss_W, self.params[‘W1’]) 会调用第一个 numerical_gradient函数用
(f(x+h) - f(x-h))/2*h计算梯度，而由于匿名函数有更新参数的作用，所以当x=self.params[‘W1’]时，计算f(x+h)本例即匿名函数loss_W时会自动将模型中的self.params[‘W1’]=self.params[‘W1’]+h，作用就是匿名函数返回的self.loss(x, t)调用的predict函数里的对应参数会相应更新，这样即可获得在更新后的W1条件下对应的predict输出值从而计算loss。
同理以下
grads[‘b1’] = numerical_gradient(loss_W, self.params[‘b1’])
grads[‘W2’] = numerical_gradient(loss_W, self.params[‘W2’])
grads[‘b2’] = numerical_gradient(loss_W, self.params[‘b2’])
也是一样的原理，使用匿名函数可以在改变后的参数下，返回需要的函数值，很方便。