2.2 本地文件读取

本章学习目标知道CSV、Excel、JSON三种文件分别怎么读、会遇到什么常见问题理解每种文件格式的“坑”在哪里以及如何向AI描述解决方案学会用“人话”告诉AI你要做什么让AI生成代码不需要记住任何函数名或参数只需要知道“有什么问题”和“怎么描述”一、核心理念你不需要记住代码在AI Agent时代文件读取的代码不需要你亲手写。你需要做的是三件事知道有什么格式CSV、Excel、JSON每种的特点和坑知道有什么参数编码、分隔符、跳过行数、Sheet名 —— 不需要记住拼写知道“有这个东西”就行会描述需求用自然语言告诉AI你想做什么打个比方你不需要知道汽车发动机怎么工作但你需要知道“车没油了要去加油站”、“轮胎没气了要打气”。同样你不需要记住pd.read_csv(encodingutf-8)但你需要知道“中文乱码时告诉AI换个编码”。二、CSV文件读取2.1 CSV在什么场景用场景为什么用CSV从数据库导出数据做分析数据库导出功能通常默认CSV格式从Kaggle等平台下载数据集竞赛数据集几乎都是CSV在团队间传递数据通用格式任何人任何工具都能打开存储清洗后的干净数据体积小、读写快、没有格式污染2.2 读取CSV时可能遇到的问题CSV看起来简单但实际读取时经常会遇到三个“坑”问题现象原因怎么告诉AI中文乱码看到ä½ å¥½这样的乱码文件编码和读取时用的编码不一致“读取这个CSV时中文乱码了帮我换GBK编码试试”首列丢了0手机号[phone]前面的0没了手机号被当成数字处理了“把用户ID列和手机号列当成字符串读取不要转成数字”列数对不齐某一行比其他行多出几列数据内容里本身就含有逗号“这个CSV用逗号分隔但数据里有逗号帮我处理一下”2.3 核心参数只需要知道“有这些参数”参数名它是干嘛的什么时候用怎么跟AI说encoding指定文件编码出现中文乱码时“编码换成GBK / utf-8”sep指定分隔符文件不是用逗号分隔的比如用Tab“这个文件用的是竖线分隔不是逗号”dtype指定某列的数据类型手机号、用户ID不能变成数字“把手机号列当成字符串读”nrows只读前N行文件太大先看一眼结构“先读前100行看看数据长什么样”chunksize分块读取文件太大内存装不下“这个文件有2GB帮我分块读取每次处理1万行”2.4 如何向AI描述CSV读取需求提示词模板你的需求你应该这样告诉AI正常读取一个CSV“帮我用Python读取这个data.csv文件显示前5行”中文乱码“读取这个CSV时中文显示乱码帮我用GBK编码重新读”手机号丢了前导0“读取CSV时把手机号列当成字符串类型不要转成数字”文件太大先看看结构“这个CSV有500MB先只读前1000行让我看看结构”文件太大内存装不下“这个CSV有5GB内存只有8GB帮我分块读取每块处理完后只保留需要的列”三、Excel文件读取3.1 Excel在什么场景用场景为什么用Excel业务部门给你的报表业务人员熟悉Excel能做简单计算和图表包含多张Sheet的数据一份Excel里可能有“用户表”、“订单表”等多个Sheet需要保留格式的报告给别人看的时候颜色字体都需要保留数据量不大10万行以内Excel能打开操作流畅3.2 读取Excel时可能遇到的问题Excel文件比CSV复杂得多因为它是给人看的不是给机器读的。常见问题问题现象原因怎么告诉AI多个Sheet不知道数据在哪个Sheet业务人员习惯把相关数据放不同Sheet“读取这个Excel的第二个SheetSheet名叫‘销售明细’”合并单元格读取后很多格子是空的Excel里合并了单元格好看但数据是不完整的“合并单元格帮我向下填充空的地方填成上面的值”前几行不是数据第1-3行是标题、Logo、空行报表模板不是从第一行开始的“跳过前3行第4行是列名”数字存成了文本无法求和、计算从别的系统导出时格式没转“把金额列转成数字类型”3.3 如何处理这些问题的思路问题一多个SheetExcel文件就像一本书Sheet就像书的章节。你需要告诉AI“我要读第几章”。应对方式没指定读取第一个Sheet默认知道Sheet名“读取Sheet名叫‘订单明细’的那个”知道顺序“读取第2个Sheet”问题二合并单元格Excel里为了好看经常会合并单元格比如部门姓名销售额销售部张三100↑李四200↑王五150“↑”表示空实际应该是“销售部”填充到下面所有行。应对方式告诉AI“把合并单元格向下填充让空的地方自动填成上面非空的值”。问题三前几行不是数据业务人员给的Excel经常长这样第1行【公司Logo】 第2行2024年销售报表 第3行空行 第4行部门 | 姓名 | 销售额 ← 这才是真正的列名 第5行销售部 | 张三 | 100应对方式告诉AI“跳过前3行用第4行作为列名”。3.4 如何向AI描述Excel读取需求提示词模板你的需求你应该这样告诉AI正常读取“帮我读取这个orders.xlsx文件显示前5行”指定Sheet“读取Excel的第2个SheetSheet名叫‘2024年数据’”有合并单元格“这个Excel有合并单元格读取后帮我向下填充空值”前几行不是数据“跳过前2行空行和第3行说明第4行才是真正的列名”只读某几列“只读Excel里的A、C、E三列其他不要”多个Sheet一起读“把Excel里所有Sheet都读进来每个Sheet存成一个DataFrame”四、JSON文件读取4.1 JSON在什么场景用场景为什么用JSON调用Web API获取数据几乎所有互联网API都返回JSON格式读取服务器日志很多日志系统每行存一个JSON对象处理嵌套/层级数据JSON天生支持“一对多”的嵌套结构移动App和服务器的通信轻量、易解析4.2 理解“嵌套结构”——JSON最难但最重要的概念先看CSV/Excel能表达的平面表格user_idnameorder_idamount1001张三9001199.51001张三9002350.01002李四900389.0注意张三的名字重复出现了两次因为他有两个订单。再看JSON的表达方式嵌套[{user_id:1001,name:张三,orders:[{order_id:9001,amount:199.5},{order_id:9002,amount:350.0}]},{user_id:1002,name:李四,orders:[{order_id:9003,amount:89.0}]}]区别在哪里维度CSV/ExcelJSON结构平面行×列嵌套可以一层套一层重复信息张三的姓名重复2遍张三的姓名只写1遍表达“一对多”需要多行用嵌套数组天然表达机器读取友好✅✅人类直接看懂✅嵌套多了有点费眼4.3 什么时候需要“展开”嵌套结构JSON的嵌套结构对于分析工具如Excel、Python的pandas来说是不友好的。分析工具喜欢的是“平面表格”——就是一张方方正正的矩阵每一行是一条记录每一列是一个字段。所以当你拿到一个嵌套的JSON想分析里面的数据时你需要做一件事把嵌套“展开”Flatten成平面表格。展开前嵌套用户A → 订单1、订单2、订单3 用户B → 订单4 用户C → 订单5、订单6展开后平面用户A | 订单1 用户A | 订单2 用户A | 订单3 用户B | 订单4 用户C | 订单5 用户C | 订单6一句话理解展开就是把“一个用户有多个订单”拆成“一行一个订单”用户的重复信息如姓名、城市在每个订单行里都带上。4.4 JSON中常见的嵌套模式嵌套模式长什么样怎么告诉AI单层嵌套用户信息外面包一层里面是订单列表“把orders数组展开每个订单变成一行保留用户的user_id和name”多层嵌套用户 → 订单 → 商品订单里还有商品列表“展开到商品级别每个商品一行带上用户和订单的信息”元数据数据{status: success, data: [...]}“只取data里面的数组展开status作为标记保留”5.5 如何向AI描述JSON读取需求提示词模板你的需求你应该这样告诉AI读取简单JSON每行一个对象“读取这个data.json文件它每行是一个JSON对象”展开嵌套的订单数据“这个JSON里每个用户有多个订单帮我展开成平面表格每个订单一行用户信息重复带上”API返回的数据“调用这个API返回了JSON取出data字段里的数组把它转成表格”多层嵌套“JSON里用户→订单→商品有三层嵌套帮我展开到商品级别每个商品一行”只取部分字段“读取这个JSON只保留user_id、name、和orders里的amount字段”五、实战三种文件的“向AI描述”对照表你的场景文件类型你告诉AI的话从Kaggle下载的数据CSV“读取这个CSV显示前10行看看有什么字段”CSV打开是乱码CSV“中文乱码了用GBK编码重新读”业务给的月度报表Excel“读取这个Excel它有合并单元格帮我向下填充”Excel有多张SheetExcel“读取这个Excel的Sheet2Sheet名叫‘客户明细’”调用天气APIJSON“调用天气API返回的JSON把它转成表格”用户画像APIJSON嵌套“JSON里每个用户有多个标签帮我展开每个标签一行”2GB的超大CSVCSV“文件太大内存装不下帮我分块读取每块1万行”六、本章总结你只需要记住这三件事文件类型核心坑怎么告诉AICSV中文乱码、数字前丢0、分隔符不是逗号“换编码”、“转成字符串”、“分隔符是竖线”Excel多Sheet、合并单元格、前几行不是数据“读Sheet2”、“合并单元格向下填充”、“跳过前3行”JSON嵌套结构、需要展开“JSON里有嵌套数组帮我展开成平面表格”核心心法你不需要记住pd.read_csv(encodinggbk, dtype{phone: str})—— 你只需要知道“中文乱码换编码”、“手机号按文本读”。告诉AI它会生成正确的代码。思考题从业务同事那里拿到一个CSV打开后中文全是乱码。你怀疑是编码问题。你会怎么告诉AI一个Excel文件打开后发现第1-2行是公司Logo和标题第3行是列名从第4行开始是数据而且A列有合并单元格。你会怎么告诉AI去读取调用一个电商API返回的JSON结构是外层有status和datadata里面是一个数组每个元素是一个订单每个订单里有order_id和products商品列表。你想分析每个商品的情况。你会怎么告诉AI一个CSV文件有2GB你的电脑只有8GB内存。直接读取会内存不足。你会怎么告诉AI解决这个问题下一节预告2.3 数据库读取 —— 公司的数据在MySQL里怎么告诉AI去连接、查询、取数