2024.9.24 数据分析

资料

111个Python数据分析实战项目，代码已跑通，数据可下载_python数据分析项目案例-CSDN博客

【数据挖掘六大项目实战】敢说这是全B站讲的最详细最通俗易懂的数据挖掘教程！整整60集！学不会来找我！-数据挖掘、数据挖掘与数据分析、人工智能、python_哔哩哔哩_bilibili

---

数据挖掘流程

（1）数据读取

• 读取数据，展示
• 统计数据各项指标
• 明确数据规模与要完成的任务

（2）特征理解分析

• 单特征分析，逐个变量分析其对结果的影响
• 多变量统计分析，综合考虑多种情况影响
• 统计绘图得结果

（3）数据清洗与预处理

• 对缺失值进行填充
• 特征标准化/归一化
• 筛选有价值的特征
• 分析特征之间的相关性

（4）建立模型

• 特征数据与标签准备
• 数据集切分
• 多种建模算法对比
• 集成策略等方案改进

挑选兵器

    python

• Numpy-科学计算库，用于矩阵运算
• Pandas-数据分析处理库
• Matplotlib-可视化库
• Seaborn-可视化库
• Scikit-learn-机器学习库，机器学习算法

---

Sklearn scikit-learn: machine learning in Python — scikit-learn 1.5.2 documentation

（针对感兴趣的领域，练习，看例子）

数据集可以从Kaggle下载（泰坦尼克号）---流程案例

（1）

# 读取数据
data = pandas.read_csv('train.csv')
data.head()

# 看缺失值
data.isnull().sum()

# 整体看数据
data.describe()

•  可以绘图展示
• 分析问题

（2）

数据特征分为：连续值和离散值

• 离散值：性别、登船地点

data.groupby(['Sex','Survived'])['Survived'].count()

        Pclass-船舱等级跟获救情况的关系 crosstab

        船舱等级结合性别因素 crosstab

        crosstab之后可以通过画图展示得更直观一些

        可以得出一些结论（帮助建立模型）

• 连续值：年龄，船票价格

        平均年龄、最小年龄、最大年龄

​​​​​​小提琴图

        可以得出一些结论（帮助建立模型）

（3）

缺失值填充

• 平均值
• 经验值
• 回归模型预测
• 删除掉

年龄缺失值填充：年龄区间比较大，可以根据男女来填充年龄（尽可能利用已有的数据信息使得填充的值更加合理）根据姓名的昵称

可以采用多种缺失值填充方法（多个副本）

码头缺失值填充：经验值填充，可以根据与其他特征之间的分组关系获取“经验”

——————————

seaborn画图

这个部分可以对不同特征之间进行绘图，趋势对比，观察，选择有用的特征

（4）模型选择

（后面的课程没有了T-T）