人工智能通识课：Pandas 基础

在学习 Pandas 时初学者最容易遇到的困难并不是某个函数不会写而是不清楚这些函数在整个数据处理流程中各自承担什么任务。如果将 Pandas 仅理解为分散的 API知识点容易显得零碎如果将其放回真实任务链中则更容易把握其整体作用。Pandas 的常见工作流程大致如下1把原始数据整理成 DataFrame2从整张表中选出当前真正需要的数据3把不规范的数据清洗到可分析状态4从表格中提取统计结果5在必要时重塑表格或整合多张表6从文件读入数据并把结果重新导出7把分析结果转化为更直观的图形表达这七个环节并不是彼此孤立的而是构成了一条完整的数据处理路径。一、任务起点把原始数据整理成 DataFrame数据分析的起点是将原始数据整理为 Pandas 可以统一处理的表格对象即 DataFrame。这一阶段的核心任务是将原始数据整理为结构清楚、字段明确且可继续操作的数据表。这一阶段的重点不在复杂分析而在于建立对表格结构的基本认识• 行对应什么• 列对应什么• 行索引与列标签分别起什么作用• 初步查看数据类型Data Type是否符合预期示例构建学生成绩表 scoresimport pandas as pd students [ {学号: S001, 姓名: 张三, 班级: C01, 语文: 88, 数学: 92, 英语: 85}, {学号: S002, 姓名: 李四, 班级: C01, 语文: 76, 数学: 81, 英语: 79}, {学号: S003, 姓名: 王五, 班级: C02, 语文: 90, 数学: 87, 英语: 93}, {学号: S004, 姓名: 赵六, 班级: C02, 语文: 85, 数学: 89, 英语: 88}, {学号: S005, 姓名: 孙七, 班级: C03, 语文: 91, 数学: 95, 英语: 90}, {学号: S006, 姓名: 周八, 班级: C03, 语文: 78, 数学: 84, 英语: 80}] scores pd.DataFrame(students)print(scores)输出学号 姓名 班级 语文 数学 英语0 S001 张三 C01 88 92 851 S002 李四 C01 76 81 792 S003 王五 C02 90 87 933 S004 赵六 C02 85 89 884 S005 孙七 C03 91 95 905 S006 周八 C03 78 84 80完成这一阶段之后应当能够• 已得到一张 DataFrame• 已能看懂其行、列、索引与标签• 已能查看其前几行、整体形状与数据类型• 已为后续选取、清洗、统计奠定基础延伸阅读《Pandas 操作指南一DataFrame 的构建与表格数据组织》二、任务聚焦选出真正需要的数据一张完整数据表并不等于“当前就要全部使用”。在实际任务中分析者通常只关心表中的某一部分• 某几列• 某几行• 某个标签范围• 某个位置区间• 满足某些条件的记录因此这一阶段的核心任务是先从整张表中选出真正需要的数据。重点不是“改数据”而是“缩小分析范围”。示例 1选取关键列print(scores[[学号, 姓名, 数学]])示例 2按标签选取print(scores.loc[0:2, [姓名, 数学, 英语]])示例 3按位置选取print(scores.iloc[0:3, 1:5])示例 4按条件筛选print(scores[scores[数学] 90])示例 5处理多个筛选条件excellent scores[ (scores[班级] C03) (scores[数学] 90)]print(excellent)完成这一阶段之后应当能够• 按列选取分析对象• 按行选取记录范围• 区分 .loc[] 与 .iloc[]• 使用布尔条件筛选数据• 组合多个筛选条件也就是说到了这一阶段已经不再是“面对整张表”而是“已经拿到当前任务真正关心的数据子集”。延伸阅读《Pandas 操作指南二数据选取与条件筛选》三、任务准备把数据清洗到可分析状态能够选出数据并不意味着数据已经可以直接分析。现实中的原始数据往往还存在大量问题例如• 缺失值Missing Value• 无效值或异常内容• 重复记录Duplicate Data• 类型不一致• 日期、数字格式不统一因此此阶段的核心任务是把已经选出的数据整理为结构一致、类型合理、格式统一、能够参与分析的数据。这一阶段的任务是将可读取的数据进一步整理为可分析的数据。示例清洗存在问题的成绩表raw_scores pd.DataFrame([ {学号: S001, 姓名: 张三, 班级: C01, 考试日期: 2025/09/01, 语文: 88, 数学: 92, 英语: 85}, {学号: S002, 姓名: 李四, 班级: C01, 考试日期: 2025-09-01, 语文: None, 数学: 81, 英语: 79}, {学号: S003, 姓名: 王五, 班级: C02, 考试日期: 2025-09-01, 语文: 90, 数学: 缺考, 英语: 93}, {学号: S004, 姓名: 赵六, 班级: C02, 考试日期: 2025.09.01, 语文: 85, 数学: 89, 英语: 88}, {学号: S004, 姓名: 赵六, 班级: C02, 考试日期: 2025.09.01, 语文: 85, 数学: 89, 英语: 88}]) clean_scores raw_scores.copy() # 缺失值处理clean_scores[语文] clean_scores[语文].fillna(clean_scores[语文].mean()) # 无效值替换clean_scores[数学] clean_scores[数学].replace(缺考, pd.NA) # 类型修正clean_scores[数学] pd.to_numeric(clean_scores[数学], errorscoerce)clean_scores[考试日期] pd.to_datetime(clean_scores[考试日期], errorscoerce) # 去重clean_scores clean_scores.drop_duplicates() print(clean_scores)完成这一阶段之后应当能够• 识别并处理缺失值• 替换无效内容• 把文本列转为数值或时间类型• 删除重复记录• 统一数字与时间格式• 让表格进入“可分析状态”也就是说这一步并不是附加修饰而是保证分析结果可靠性的基础。延伸阅读《Pandas 操作指南三数据清洗与预处理》四、任务求解从表格中提取统计结果当前的数据已经具备可分析条件接下来就进入真正的分析阶段。分析并不只是“看数据”而是要从数据中提取出可以解释的结果。这一阶段的核心任务是把分散在表格中的原始数值转换为整体概况、类别分布、基础指标与分组结论。示例 1快速把握整体概况print(scores.describe())示例 2统计类别分布print(scores[班级].value_counts())示例 3计算基础指标print(scores[数学].mean())print(scores[数学].max())print(scores[数学].min())示例 4按类别分组分析print(scores.groupby(班级)[[语文, 数学, 英语]].mean())示例 5汇总多个统计量print( scores.groupby(班级)[数学].agg([mean, min, max, count]))完成这一阶段之后应当能够• 使用 describe() 快速把握数值概况• 使用 value_counts() 统计类别分布• 计算均值、最大值、最小值、中位数等基础指标• 使用 groupby() 观察类别间差异• 使用 agg() 汇总多个统计结果经过上述处理表格中的数据已经从“记录集合”转化为“可解释结果”。延伸阅读《Pandas 操作指南四统计分析与结果汇总》五、任务扩展重塑表格并整合多张数据表并非所有分析任务都能直接在当前表格结构上完成。有时问题出在“单张表结构不适合分析”有时问题出在“信息分散在多张表中”。因此这一阶段的核心任务是当表结构不合适或数据分散在多张表里时先重塑表格或整合数据再进行分析。示例 1把宽表转换成长表long_scores scores.melt( id_vars[学号, 姓名, 班级], value_vars[语文, 数学, 英语], var_name科目, value_name成绩) print(long_scores)示例 2生成更适合分析的透视表summary long_scores.pivot_table( index班级, columns科目, values成绩, aggfuncmean) print(summary)示例 3按关键字段合并多张表classes pd.DataFrame([ {班级: C01, 班主任: 刘老师}, {班级: C02, 班主任: 陈老师}, {班级: C03, 班主任: 王老师}]) scores_with_class pd.merge(scores, classes, on班级)print(scores_with_class)示例 4按学号整合社团信息clubs pd.DataFrame([ {学号: S001, 社团: 篮球社}, {学号: S003, 社团: 文学社}, {学号: S005, 社团: 科技社}]) scores_with_club pd.merge(scores, clubs, on学号, howleft)print(scores_with_club)完成这一阶段之后应当能够• 理解长表与宽表• 使用 melt() 重塑单张表• 使用 pivot_table() 生成统计透视表• 使用 merge() 按关键字段合并多张表• 区分 merge()、join() 与 concat() 的适用场景经过上述处理数据处理不再局限于“单表内部操作”而是进入更完整的数据组织阶段。延伸阅读《Pandas 操作指南五表格重塑与数据整合》六、任务衔接读写文件与数据输入输出在前面的示例中数据多通过代码直接构造这是为了便于教学。但在真实环境中数据通常来自文件或外部系统分析结果也需要重新输出。因此这一阶段的核心任务是把 Pandas 与真实的数据输入输出场景连接起来。示例 1读取 CSV 文件import pandas as pd scores pd.read_csv(scores.csv)print(scores.head())示例 2读取 Excel 文件scores pd.read_excel(scores.xlsx, sheet_name成绩表)print(scores.head())示例 3导出清洗结果scores.to_csv(scores_cleaned.csv, indexFalse)scores.to_excel(scores_cleaned.xlsx, indexFalse)示例 4处理表头与索引问题scores pd.read_csv( scores.csv, headerNone, names[学号, 姓名, 班级, 语文, 数学, 英语])scores pd.read_csv(scores.csv, index_col学号)完成这一阶段之后应当能够• 使用 read_csv() 读取文本数据文件• 使用 read_excel() 读取电子表格文件• 使用 to_csv()、to_excel() 导出结果• 处理表头、索引与编码问题• 理解 Pandas 在真实数据输入与结果输出流程中的中间作用也就是说Pandas 已经不再只是“代码中的表格对象”而是现实数据流程中的中间枢纽。延伸阅读《Pandas 操作指南六文件读写》七、任务表达把分析结果展示出来完成统计之后分析任务还没有真正结束。因为分析的目标不仅是“得到结果”还包括“把结果清楚表达出来”。这一阶段的核心任务是把统计结果转化为更直观的图形表达。Pandas 的内置绘图接口基于 Matplotlib因此运行相关示例前应确保环境中已安装 Matplotlib。示例 1直接从表格生成图形scores[数学].plot()注意在交互环境中这类代码通常可直接显示图形在普通脚本环境中往往还需配合 matplotlib.pyplot.show()。示例 2比较数量大小规律scores.plot(x姓名, y数学, kindbar)示例 3展示类别分布与占比scores[班级].value_counts().plot(kindbar)scores[班级].value_counts().plot(kindpie, autopct%.1f%%)示例 4观察分布特征scores[数学].plot(kindhist, bins5)scores[[语文, 数学, 英语]].plot(kindbox)示例 5展示分组结果class_mean scores.groupby(班级)[数学].mean()class_mean.plot(kindbar)完成这一阶段之后应当能够• 使用 plot() 从 DataFrame 或 Series 快速生成图形• 根据任务选择柱状图、折线图、饼图、直方图和箱线图• 把类别分布、数值变化、分布特征和分组结果图形化• 理解 Pandas 绘图与 Matplotlib、Seaborn 的关系经过上述处理分析流程中的“结果表达”也建立起来了。延伸阅读《Pandas 操作指南七数据可视化与结果展示》《Pandas 应用实例多工具协同与数据可视化》 小结本次课以任务驱动方式梳理了 Pandas 的核心工作链先构建 DataFrame再完成数据选取、清洗、统计、重塑与整合、文件读写与结果展示。掌握这条处理路径比零散记忆函数更重要也更有助于形成完整而稳定的表格数据处理能力。“点赞有美意赞赏是鼓励”