神经网络八股（三）

1.什么是梯度消失和梯度爆炸

梯度消失是指梯度在反向传播的过程中逐渐变小，最终趋近于零，这会导致靠前层的神经网络层权重参数更新缓慢，甚至不更新，学习不到有用的特征。

梯度爆炸是指梯度在方向传播过程中逐渐变大，权重参数更新变化较大，导致损失函数的上下跳动，导致训练不稳定

可以使用一些合理的损失函数如relu, leakRelu，归一化处理，batchnorm,确保神经元的输出值在合理的范围内

2.为什么需要特征归一化

因为特征之间的单位与尺度不同，为了消除此间差异，对每个维度等同看待，防止尺度大的特征起决定性作用，所以需要进行特征归一化使不同特征在数值范围和尺度上保持一致。

优点：加快模型训练速度、提高模型性能、避免数值不稳定，增强模型的泛化能力

平均值归一化：

最大最小值归一化：

标准化：

3.什么是组合特征，如何组合高阶特征

组合特征是指多个特征组合起来，作为新的特征，组合的方法有：基本运算、聚合、聚合后进行基本运算等。

组合高阶特征可以对类别特征进行embedding嵌入、然后对特征实施FM因子分解机特征组合。

Embedding是一种将类别特征转换为低维稠密向量的技术。具体来说，它将每个类别映射到一个固定维度的向量空间中

因子分解机（FM）是一种专门用于处理稀疏数据和特征组合的机器学习模型。它特别擅长处理类别特征的交互（interaction）和组合。FM的核心思想是：

• 将每个特征（包括类别特征的embedding）表示为一个向量。

• 通过计算特征向量之间的内积（点积），捕捉特征之间的交互关系。

4.欧式距离与曼哈顿距离的区别

欧式距离是定义在欧几里得空间中，两点之间的距离，他具有明显的缺点是将样本不同属性之间的差别等同看待；曼哈顿距离也叫城市区块距离，是欧几里得空间上两点所形成的线段对轴产生的投影的距离总和

4.为什么一些场景使用余弦相似度而不是欧式相似度

余弦相似度指的是两个向量之间的角度关系，并不关心他们的绝对值大小，而欧式距离体现的是数值上的绝对差异

余弦相似度：衡量的是两个向量之间的夹角，只关注方向，而不考虑向量的长度，对向量的方向差异敏感，但对长度不敏感

欧即里得距离：衡量的是两个点在空间中的绝对距离，关注的是向量的长度和位置

5.one-hot独热编码得作用是什么

将每个类别特征的取值转换为一个唯一的二进制向量，其中只有一个位置的值为1，其余位置的值为0。能够避免类别数据的序数关系，提供稀疏的特征表示，支持多类别特征的组合，并且与大多数算法兼容。然而，在处理类别数量较多的特征时，需要考虑其维度爆炸和稀疏性问题

6.参数模型和非参数模型

在统计学中，参数模型通常假设总体（随机变量）服从某一个分布，该分布由一些参数确定（比如正态分布由均值和方差确定），在此基础上构建的模型称为参数模型,参数模型的形式和复杂度在训练之前已经确定，模型的输出依赖于一组固定数量的参数.模型形式固定，参数量有限，训练速度块，线性回归、逻辑回归、感知机：所需样本量少、拟合快、复杂度低。

非参数模型对于总体的分布不做任何假设，只是知道总体是一个随机变量，其分布是存在的（分布中也可能存在参数），但是无法知道其分布的形式，更不知道分布的相关参数，只有在给定一些样本的条件下，能够依据非参数统计的方法进行推断。非参数模型的形式和复杂度在训练过程中根据数据动态确定，模型的输出不依赖于固定数量的参数。形式灵活，参数不固定，训练慢。K近邻算法，SVM向量机，高斯过程。所需样本量多、拟合慢、容易过拟合

7.L1和L2正则先验分别服从什么分布

L1:lasso回归拉普拉斯分布

L1正则化通过惩罚参数的绝对值，使得模型参数倾向于稀疏化，即很多参数会趋近于零。这种稀疏性可以帮助进行特征选择，减少模型复杂度

L2:岭回归，高斯分布，L2正则化通过惩罚参数的平方，使得模型参数的值保持较小，但不会将参数完全置为零。这种正则化方法有助于平滑模型，避免过拟合。

8.回归问题常用得模型评估方法

均方误差：MSE预测值与实际值之差的平方的平均值。MSE的值越小，表示模型的预测结果越接近实际值，模型的性能越好。

均方根误差RMESE:均方误差（MSE）的平方根，它衡量的是模型预测值与实际值之间的标准差。RMSE的值越小，表示模型的预测结果越接近实际值，模型的性能越好

和方误差：SSE=i=1∑n​(yi​−y^​i​)2

平均绝对误差MAE:计算的是模型预测值与实际值之差的绝对值的平均值。

平均绝对百分比误差MAPE

决定系数：表示模型解释的因变量的方差比例。R2的值介于0和1之间，值越接近1，表示模型对数据的拟合越好，即模型解释的方差比例越高