02-机器学习-核心概念

以下是机器学习核心概念的详细梳理。

---

1. 机器学习三大范式

类型	定义	典型应用
监督学习	使用带标签的数据训练模型，预测未知数据的标签。	分类（邮件垃圾过滤）、回归（房价预测）
无监督学习	从无标签的数据中发现隐藏模式或结构。	聚类（客户分群）、降维（数据可视化）
强化学习	通过试错与奖励机制训练智能体，使其在环境中做出最优决策。	游戏AI（AlphaGo）、自动驾驶

---

2. 核心算法分类

监督学习算法

• 分类

  • 逻辑回归：二分类问题，输出概率值。
  • 决策树：基于特征阈值递归分割数据。
  • 支持向量机（SVM）：寻找最大化分类间隔的超平面。
  • 随机森林：多棵决策树的集成，降低过拟合风险。

• 回归

  • 线性回归：拟合数据的最佳直线/超平面。
  • 岭回归/Lasso回归：加入正则化项防止过拟合。

无监督学习算法

• 聚类
  • K-Means：将数据划分为K个簇，最小化簇内距离。
  • 层次聚类：通过树状图展示数据分层聚合过程。
• 降维
  • 主成分分析（PCA）：通过正交变换提取主要特征。
  • t-SNE：非线性降维，适用于高维数据可视化。

其他重要方法

• 半监督学习：结合少量标签数据和大量无标签数据训练模型。
• 集成学习：通过Bagging（随机森林）、Boosting（XGBoost）提升模型性能。

---

3. 模型评估指标

任务类型	评估指标	解释
分类	准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1分数、ROC-AUC	- 精确率：预测为正的样本中实际为正的比例。 - 召回率：实际为正的样本中被正确预测的比例。
回归	均方误差（MSE）、平均绝对误差（MAE）、R²分数	- R²分数：模型对数据变动的解释能力（0~1，越大越好）。
聚类	轮廓系数（Silhouette Score）、Calinski-Harabasz指数	- 轮廓系数：衡量簇内紧密度和簇间分离度（-1~1，越大越好）。

---

4. 关键问题与解决方法

过拟合（Overfitting）

• 现象：模型在训练集表现极佳，但在测试集表现差。
• 解决：
  • 增加训练数据量。
  • 正则化（L1/L2正则化）。
  • 交叉验证（如K-Fold）。
  • 减少模型复杂度（如剪枝决策树）。

欠拟合（Underfitting）

• 现象：模型在训练集和测试集均表现不佳。
• 解决：
  • 增加模型复杂度（如使用更深的神经网络）。
  • 添加更多特征或进行特征工程。

偏差-方差权衡

• 高偏差：模型过于简单，无法捕捉数据规律（欠拟合）。
• 高方差：模型过于复杂，对噪声敏感（过拟合）。
• 目标：通过调整模型复杂度和正则化，找到平衡点。

---

5. 核心流程

1. 数据预处理：缺失值填充、标准化/归一化、编码类别特征。
2. 特征工程：特征选择（如卡方检验）、特征构造（如多项式特征）。
3. 模型训练：划分训练集/验证集/测试集，选择算法并调参。
4. 模型评估：根据任务类型选择指标，分析结果。
5. 模型部署：将训练好的模型转化为API服务或嵌入应用。

---

6. 实际应用场景

• 分类：垃圾邮件识别、图像分类（猫 vs 狗）。
• 回归：股票价格预测、销售额趋势分析。
• 聚类：用户分群（电商推荐）、异常检测（信用卡欺诈）。
• 降维：高维数据可视化（如将100维数据压缩为2维）。

---

掌握这些核心概念后，可以通过框架（如Scikit-learn）快速实现算法，并逐步深入理论细节。下一步建议通过实战项目（如Kaggle竞赛）巩固知识！ 🚀