机器学习准备工作

机器学习

概述

• 三大类型（监督学习、无监督学习、强化学习）
• 数据集划分（训练集、验证集、测试集）
• 过拟合与欠拟合
• 推荐资源：
  • 《机器学习》 by 周志华（俗称“西瓜书”）
  • Andrew Ng 的 Coursera 机器学习课程

常见算法

• 监督学习
  • 回归（线性回归与逻辑回归）
  • 决策树与随机森林
  • 支持向量机（SVM）
  • K近邻算法（KNN）
• 无监督学习
  • K均值聚类（K-Means）
  • 主成分分析（PCA）
• 其他重要概念
  • 模型评估（准确率、召回率、F1 分数等）
  • 交叉验证
• 推荐资源：
  • Scikit-learn 官方文档与教程
  • 统计学习方法》 by 李航

动手实践

• 使用 Scikit-learn 实现上述算法
• 在 Kaggle 上完成简单的比赛（如 Titanic 生存预测）

深度学习

基础

• 神经网络的基本结构（输入层、隐藏层、输出层）
• 激活函数（ReLU、Sigmoid、Softmax 等）
• 反向传播与优化算法（SGD、Adam 等）
• 推荐资源：
  • 《深度学习》 by Ian Goodfellow（俗称“花书”）
  • DeepLearning.AI 的深度学习专项课程（Coursera）

框架

• TensorFlow 或 PyTorch 的基本使用
• 构建简单的神经网络模型
• 推荐资源：
  • TensorFlow 官方教程
  • PyTorch 官方教程

应用领域

• 计算机视觉（卷积神经网络 CNN）
• 自然语言处理（循环神经网络 RNN、Transformer）
• 强化学习基础
• 推荐资源：
  • CS231n（斯坦福大学的计算机视觉课程）
  • CS224n（斯坦福大学的自然语言处理课程）

数学基础

线性代数

• 向量&矩阵&矩阵乘法
• 特征值&特征向量
• 推荐资源：
  • 《线性代数及其应用》 by Gilbert Strang
  • MIT OpenCourseWare 的线性代数课程

概率论和统计学

• 概率分布（正态分布&二项分布&概率密度函数）
• 常见统计量（均值、方差、协方差等）
• 条件概率&贝叶斯定理
• 推荐资源：
  -《概率论与数理统计》 by 茆诗松
  • Khan Academy 的概率与统计课程

微积分

• 导数&偏导数
• 梯度&梯度下降&梯度向量
• 积分（可选）
• 推荐资源：
  -《微积分的本质》 by 3Blue1Brown（YouTube 视频）
  • Coursera 上的微积分课程

编程基础

Python基础

• 数据类型（列表、字典、元组等）
• 控制结构（if/else、for 循环等）
• 函数与模块
• 文件操作
• 推荐资源：
  • 《Python编程：从入门到实践》 by Eric Matthes
  • Codecademy 的 Python 课程

数据处理工具

• NumPy（数组操作）
• Pandas（数据清洗与分析）
• Matplotlib 和 Seaborn（数据可视化）
• 推荐资源：
  • 官方文档与教程
  • Kaggle 的 Python 数据科学教程

项目实战

入门

1. Scikit-learn 示例项目

• 简介 ：Scikit-learn 官方提供的机器学习示例，涵盖分类、回归、聚类等基础任务。
• 学习内容 ：数据预处理、模型训练、评估指标。
• 地址 ：Scikit-learn Examples
• 推荐理由 ：代码简洁，适合理解经典算法（如线性回归、SVM、K-Means）。

2. TensorFlow/Keras 入门项目

• 项目示例 ：
  • MNIST 手写数字识别 ：使用简单的神经网络实现分类。
  • CIFAR-10 图像分类 ：卷积神经网络（CNN）入门。
• 地址 ：TensorFlow Tutorials
• 推荐理由 ：官方教程，适合深度学习初学者。

3. Kaggle 入门竞赛

• 推荐项目 ：
  • Titanic 生存预测 ：经典的结构化数据分类任务。
  • House Prices 预测 ：回归问题，学习特征工程。
• 地址 ：Kaggle Competitions
• 资源 ：Kaggle 提供数据集、Notebook 和社区讨论。

进阶

1. PyTorch 官方教程

• 项目示例 ：
  • 图像分类（ResNet） ：实现经典卷积网络。
  • 文本分类（LSTM/Transformer） ：自然语言处理入门。
• 地址 ：PyTorch Tutorials
• 推荐理由 ：动态计算图框架，适合深入理解深度学习。

2. MMDetection（目标检测框架）

• 简介 ：基于 PyTorch 的目标检测开源库，支持 Faster R-CNN、YOLO 等算法。
• 学习内容 ：计算机视觉、模型调优。
• 地址 ：MMDetection GitHub
• 适合场景 ：图像识别、目标检测实战。

3. Hugging Face Transformers

• 简介 ：自然语言处理（NLP）领域的标杆项目，提供预训练模型（如 BERT、GPT）。
• 学习内容 ：文本分类、命名实体识别、机器翻译。
• 地址 ：Hugging Face GitHub
• 推荐理由 ：快速上手 SOTA（State-of-the-Art）NLP 模型。

综合应用

1. FastAI 课程项目

• 简介 ：Jeremy Howard 的实战课程配套代码，涵盖计算机视觉、NLP、推荐系统。
• 地址 ：FastAI GitHub
• 推荐理由 ：代码简洁高效，适合快速构建应用。

2. DeepLearning.AI 项目集

• 简介 ：吴恩达深度学习课程配套的编程作业（Coursera）。
• 内容 ：神经网络基础、优化算法、CNN、RNN。
• 地址 ：DeepLearning.AI GitHub
• 适合人群 ：系统化学习深度学习理论与实践。

3. OpenAI Gym（强化学习）

• 简介 ：强化学习环境库，提供 CartPole、Atari 游戏等经典场景。
• 学习内容 ：Q-Learning、DQN、PPO 等算法。
• 地址 ：OpenAI Gym GitHub
• 推荐理由 ：强化学习必学工具。