【Day44】

DAY 44 预训练模型

知识点回顾：

1. 预训练的概念
2. 常见的分类预训练模型
3. 图像预训练模型的发展史
4. 预训练的策略
5. 预训练代码实战：resnet18

作业：

1. 尝试在cifar10对比如下其他的预训练模型，观察差异，尽可能和他人选择的不同
2. 尝试通过ctrl进入resnet的内部，观察残差究竟是什么

在统计学和机器学习领域，**残差（Residual）是一个核心概念**，用于衡量模型预测值与实际观测值之间的差异。理解残差有助于评估模型性能、诊断模型问题，并优化模型效果。以下是关于残差的详细解析：### **一、残差的定义**
- **数学表达式**：  对于给定的观测值 \( y_i \) 和模型预测值 \( \hat{y}_i \)，残差 \( e_i \) 定义为：  \[e_i = y_i - \hat{y}_i\]  例如：若实际房价为100万元，模型预测为95万元，则残差为 \( 100 - 95 = 5 \) 万元。### **二、残差与误差的区别**
残差常与“误差（Error）”混淆，但两者含义不同：  
| **对比维度**       | **残差（Residual）**                | **误差（Error）**                  |
|--------------------|-------------------------------------|------------------------------------|
| **本质**           | 模型预测值与实际观测值的差异        | 真实值与理论值（不可观测）的差异   |
| **可观测性**       | 可通过数据直接计算得出              | 理论上存在，无法直接观测           |
| **用途**           | 用于模型评估、诊断和优化            | 用于描述模型的理论偏差             |### **三、残差的作用**
#### 1. **评估模型拟合效果**  - **直观判断**：残差绝对值越小，模型预测越准确；反之，模型拟合效果差。  - **统计指标**：通过残差的统计量（如均值、方差、均方误差（MSE）、平均绝对误差（MAE））量化模型性能。  - 例如：若残差均值接近0，说明模型无系统性偏差；若残差方差大，说明预测值波动大。#### 2. **诊断模型问题**  - **残差分析图**：通过绘制残差图（如残差-预测值图、残差-自变量图），识别模型缺陷：  - **非线性关系**：若残差呈现曲线趋势（如U型、倒U型），说明模型可能忽略了非线性关系（需引入多项式特征或换用非线性模型）。  - **异方差性**：若残差随预测值增大而扩散（如扇形分布），说明数据存在异方差性（需数据变换或使用加权回归）。  - **异常值**：若个别残差绝对值显著偏大，可能对应数据中的异常值，需检查数据或调整模型。#### 3. **优化模型**  - 通过分析残差模式，指导模型改进：  - 增加特征（如交互项、多项式项）以捕捉非线性关系；  - 更换模型（如从线性回归换为随机森林、神经网络）；  - 处理异常值或对数据进行标准化/归一化。### **四、残差的类型（以回归模型为例）**
1. **普通残差（Ordinary Residual）**  即最基础的残差 \( e_i = y_i - \hat{y}_i \)，适用于初步模型评估。  2. **标准化残差（Standardized Residual）**  - 对残差进行标准化处理，消除量纲影响：  \[\text{标准化残差} = \frac{e_i}{\hat{\sigma}}\]  其中 \( \hat{\sigma} \) 为残差的估计标准差，用于比较不同样本的残差大小。  3. **学生化残差（Studentized Residual）**  - 进一步考虑单个样本对模型的影响，剔除当前样本后计算残差，用于检测异常值。### **五、残差的假设（以线性回归为例）**
在经典线性回归模型中，残差需满足以下假设（**高斯-马尔可夫假设**）：  
1. **零均值**：\( E(e_i) = 0 \)（模型无系统性偏差）；  
2. **同方差性**：\( \text{Var}(e_i) = \sigma^2 \)（残差方差恒定）；  
3. **无自相关性**：\( \text{Cov}(e_i, e_j) = 0 \)（残差之间相互独立）；  
4. **正态性**：\( e_i \sim N(0, \sigma^2) \)（残差服从正态分布）。  
若残差不满足这些假设，模型的参数估计和统计检验将失效，需通过数据变换或模型调整解决。### **六、残差在机器学习中的应用**
在机器学习中，残差的概念同样重要：  
- **集成学习**：如梯度提升树（GBDT）通过拟合残差逐步优化模型，每棵树学习前序模型的残差，最终累加预测值。  
- **模型诊断**：通过交叉验证计算残差，检测模型是否过拟合（如训练集残差低但测试集残差高，可能过拟合）。  ### **总结**
残差是连接模型预测与实际数据的桥梁，其核心价值在于：  
- **量化差异**：衡量模型预测的准确性；  
- **揭示规律**：通过残差模式发现数据中的隐藏信息（如非线性、异常值）；  
- **指导优化**：为模型改进提供方向。  
熟练运用残差分析，是提升数据分析和建模能力的关键环节。

浙大疏锦行