NNDL:作业3

在Softmax回归的风险函数(公式(3.39))中如果加上正则化项会有什么影响?

(1)

在 Softmax 回归的风险函数中加入正则化项会对模型的训练产生影响。正则化项的作用是对模型的复杂度进行惩罚，防止过拟合的发生。

(2)

原书公式为：

                                        

在加入正则化后损失函数为：

                                

求梯度得：

                              

W更新:

                             

加入正则化后，在更新参数时每次需要减去，使得参数不会太大，防止数值溢出。