机器学习基本篇

1 基本概念

机器学习，分为 回归，分类，聚类，降维
有监督学习 回归，分类， 有特征，有标签，进行训练，然后对新数据进行预测
无监督学习 聚类，降维。

题目越多，训练越好，

2 基本流程

数据预处理—— 模型训练与评估
可以优化为 获取数据——数据预处理——EDA 分析——特征工程——模型训练——可解释性分析

2.0 数据获取

利用 kaggle, 天池 等平台的 开源 数据，

2.1 预处理

目的：

1. 让数据更符合逻辑
2. 让数据更容易计算
   借助函数实现变换 or 运算

2.1.0 认识数据

常用 pandas 包，是 python 中一个强大的数据分析和处理库。
其可以

1. 数据处理，对数据进行 清洗，转换，合并，分组等操作，处理缺失的和重复的数据。
2. 数据读取和写入， 如 CSV 格式，excel， JSON， SQL 等
3. 对数据进行时间序列分析，移动窗口统计等操作

** 部分常用 API **
import pandas as pd
读取数据
df = pd.read_csv(‘data.csv’)
查看数据
df.head()
显示数据集形状. (几行几列)
df.shape

查看数据集信息。 （特征的种类和标签）
Data.info
显示 data.frame 的详细信息，数据类型，每列数据类型，非空值数量

显示数据集的统计特征，
df.decribe()
count 非空值的数量
mean 均值
std 标准差
min 最小值
25% 第 25 %分位点， 就是 100组数据，25%在 25.
50%
max 最大值
unique 唯一值数量
top 出现频率最高的值
freq 最高频率出现次数

认识问题

机器学习： 特征 和 标签
说白了 输入 和 输出
工作 会称 这一对为 字段

2.1.1 不平衡标签的处理

在机器学习任务中，标签的均衡性会对模型的性能有重大影响。
主要是在 分类中。
若 各类样本的数量差异较大，则使得数据集不平衡，
会导致 数据集更偏向 多数类，从而影响少数类的预测性能。
比如说： 990张狗，10张猫
那么模型在 95%以上正确率时，可能会更偏向把猫全部认为成狗。

a.随机过采样方法 ROS，random over-sampling

就是 随机复制少数类样本，增加其数量，使各类样本区于平衡。
但是可能会导致模型过拟合，模型对少数样本的特征过于敏感。

如果数据过多，也能用 欠采样。

from imblearn.over_sampling import RandomOverSampler
# 定义随机过采样器，设置过采样倍数为 2
ros = RandomOverSampler(sampling_strategy=2, random_state=42)# 对数据集进行过采样
X_resampled, y_resampled =