9. Python 文件与输入输出 深度解析

Python 文件与输入输出 深度解析目录Python I/O 概述文件对象与基本操作2.1 打开文件open与模式2.2 读取数据2.3 写入数据2.4 使用with自动管理文件文件指针与随机访问路径操作os、os.path与pathlib4.1os模块与os.path基础4.2 现代路径处理pathlib.Path二进制模式与内存视图序列化json、pickle与csv6.1 JSON通用数据交换格式6.2 PicklePython 原生序列化6.3 CSV逗号分隔值处理内存中的虚拟文件StringIO与BytesIO编码与解码深度解析高级文件处理9.1 目录遍历os.walk与pathlib.rglob9.2 文件系统操作拷贝、移动、删除9.3 临时文件与目录tempfile常见陷阱与最佳实践总结1. Python I/O 概述输入/输出I/O是程序与外部世界交互的基础。Python 提供了一套灵活且强大的 I/O 设施包括文件读写文本与二进制内存中的流对象StringIO、BytesIO多种序列化格式JSON、Pickle、CSV目录与文件系统操作os、pathlib网络与管道等更高级的 I/O 接口本章将深入探讨 Python 文件与输入输出相关的核心概念与最佳实践并配合大量示例。2. 文件对象与基本操作2.1 打开文件open与模式内置函数open(file, moder, encodingNone)返回一个文件对象mode决定操作类型字符含义r读取默认w写入覆盖文件不存在则创建x排它性创建文件已存在则失败a追加b二进制模式与以上组合如rbt文本模式默认更新读写如r# 基本用法fileopen(example.txt,r,encodingutf-8)contentfile.read()file.close()文本模式下默认编码为平台相关通常UTF-8。强烈建议显式指定encoding。2.2 读取数据常用的读取方法read(size-1)读取全部或指定字节/字符数。readline()读取一行含末尾换行符。readlines()读取所有行返回列表。直接迭代文件对象本身「惰性」逐行读取内存高效。# 逐行读取withopen(data.txt,r)asf:forlineinf:print(line.strip())readlines()会一次性将所有行加载到内存大文件应避免使用。2.3 写入数据write(s)写入字符串或字节。writelines(sequence)写入一个字符串序列不会自动加换行符。lines[第一行\n,第二行\n,第三行\n]withopen(output.txt,w)asf:f.writelines(lines)2.4 使用with自动管理文件with语句确保文件在任何情况下包括异常都能被正确关闭无需手动调用close()。这是推荐做法。withopen(example.txt,r)asf:dataf.read()# 离开 with 块时文件自动关闭3. 文件指针与随机访问文件对象维护一个当前位置指针指示下一次读写的位置。tell()返回当前指针位置字节偏移量。seek(offset, whence0)移动指针。whence0从头开始默认。whence1从当前位置。whence2从文件末尾。withopen(data.bin,rb)asf:f.seek(0,2)# 移到文件末尾sizef.tell()# 获取文件大小f.seek(0)# 回到开头first_10f.read(10)文本模式下seek的whence仅支持0且偏移量必须是tell()返回的值或 0因为字符与字节不是一一对应多字节编码。4. 路径操作os、os.path与pathlib4.1os模块与os.path基础os模块提供许多操作系统功能os.path子模块专门处理路径字符串。importos# 路径拼接跨平台pathos.path.join(folder,sub,file.txt)# 判断绝对路径os.path.isabs(path)# 拆分目录与文件名dir_name,base_nameos.path.split(path)# 获取扩展名root,extos.path.splitext(base_name)# 检查是否存在os.path.exists(path)这些函数操作的是字符串不关心路径是否真实存在除了exists。4.2 现代路径处理pathlib.PathPython 3.4 引入了pathlib用面向对象的方式操作路径代码更直观。frompathlibimportPath# 创建路径对象pPath(documents)/report.txt# 常用操作p.name# report.txtp.stem# reportp.suffix# .txtp.parent# Path(documents)p.is_file()# 检查是否为文件p.is_dir()# 检查是否为目录p.exists()# 读写整个文件contentp.read_text(encodingutf-8)p.write_text(Hello, world!)# 遍历目录forchildinPath(.).iterdir():print(child)# 递归匹配fortxt_fileinPath(.).rglob(*.txt):print(txt_file)推荐在 Python 3.6 的项目中优先使用pathlib它更符合 Python 风格。5. 二进制模式与内存视图在二进制模式下如rb,wb文件操作的对象是bytes而非str。withopen(image.png,rb)assrc:datasrc.read()# data 是 bytes 对象withopen(copy.png,wb)asdst:dst.write(data)处理大型二进制数据时可以使用memoryview实现零拷贝切片。withopen(data.bin,rb)asf:bufmemoryview(f.read())first_halfbuf[:len(buf)//2]# 不复制数据6. 序列化json、pickle与csv6.1 JSON通用数据交换格式json模块将 Python 对象与 JSON 字符串相互转换。importjson data{name:Alice,age:30,skills:[Python,C]}# 序列化为字符串json_strjson.dumps(data,indent2,ensure_asciiFalse)print(json_str)# 反序列化parsedjson.loads(json_str)# 直接与文件交互withopen(data.json,w,encodingutf-8)asf:json.dump(data,f,indent2)withopen(data.json,r,encodingutf-8)asf:loadedjson.load(f)支持的类型映射dict → object,list/tuple → array,str → string,int/float → number,True/False → true/false,None → null。自定义对象需要实现编码器。6.2 PicklePython 原生序列化pickle可以将几乎任意的 Python 对象序列化为字节流但仅在可信数据间使用因为反序列化可能执行恶意代码。importpickle obj{key:[1,2,3],set:{4,5}}# 序列化withopen(obj.pkl,wb)asf:pickle.dump(obj,f)# 反序列化withopen(obj.pkl,rb)asf:restoredpickle.load(f)# 也可以生成字节串datapickle.dumps(obj)pickle不是跨语言的且与 Python 版本绑定较紧长期存储考虑使用 JSON 或其他标准格式。6.3 CSV逗号分隔值处理csv模块处理 CSV 文件。importcsv# 读取withopen(data.csv,r,newline,encodingutf-8)asf:readercsv.reader(f)forrowinreader:print(row)# 写入withopen(out.csv,w,newline,encodingutf-8)asf:writercsv.writer(f)writer.writerow([Name,Age])writer.writerow([Alice,30])对于字典式操作使用csv.DictReader和csv.DictWriter更方便。withopen(data.csv,r)asf:readercsv.DictReader(f)forrowinreader:print(row[Name])注意打开 CSV 文件时推荐用newline避免平台换行符差异。7. 内存中的虚拟文件StringIO与BytesIOio.StringIO和io.BytesIO在内存中模拟文本和二进制流常用于测试或临时缓冲。fromioimportStringIO,BytesIO# 文本流sioStringIO()sio.write(Hello\n)sio.write(World)print(sio.getvalue())# Hello\nWorldsio.close()# 像文件一样读取sioStringIO(第一行\n第二行)forlineinsio:print(line.strip())# 二进制流bioBytesIO()bio.write(b\x00\x01\x02)bio.seek(0)print(bio.read())# b\x00\x01\x028. 编码与解码深度解析字符编码是将字符映射为字节的方案。Python 内部使用 Unicode文件 I/O 需要编解码。编码将字符串转为字节你好.encode(utf-8)→b\xe4\xbd\xa0\xe5\xa5\xbd解码将字节转为字符串b\xe4\xbd\xa0\xe5\xa5\xbd.decode(utf-8)→你好常见编码编码特点ASCII仅英文字母和符号单字节UTF-8可变长度向后兼容 ASCII国际通用GBK中文编码Latin-1西欧语言单字节打开文件时务必指定正确的encoding参数否则使用平台默认编码可能产生乱码或错误。# 读取 GBK 编码文件withopen(gbk_file.txt,r,encodinggbk)asf:textf.read()# 写入 UTF-8 文件withopen(utf8_file.txt,w,encodingutf-8)asf:f.write(包含中文字符)当编解码出错时可通过errors参数控制行为strict默认抛异常、ignore忽略、replace用?替换。9. 高级文件处理9.1 目录遍历os.walk与pathlib.rglobos.walk递归遍历目录树返回(dirpath, dirnames, filenames)三元组。pathlib.rglob(pattern)更简洁。importosforroot,dirs,filesinos.walk(.):fornameinfiles:print(os.path.join(root,name))frompathlibimportPathforpy_fileinPath(.).rglob(*.py):print(py_file.absolute())9.2 文件系统操作拷贝、移动、删除shutil模块提供高层次的文件操作。importshutil# 拷贝文件shutil.copy(src.txt,dst.txt)# 拷贝目录树shutil.copytree(src_dir,dst_dir)# 移动文件或目录shutil.move(old,new)# 删除目录树shutil.rmtree(dir)基本删除/创建目录可使用os.remove()、os.mkdir()等。9.3 临时文件与目录tempfiletempfile用于安全创建临时文件/目录自动删除。importtempfile# 创建临时文件withtempfile.NamedTemporaryFile(modewt,suffix.txt,deleteTrue)astmp:tmp.write(临时内容)tmp.seek(0)print(tmp.read())# 文件自动删除# 创建临时目录withtempfile.TemporaryDirectory()astmpdir:print(tmpdir)# 目录自动删除10. 常见陷阱与最佳实践编码未指定总是为文本模式指定encodingutf-8避免跨平台问题。大文件一次性读入内存对大型文件使用逐行迭代或指定块大小读取。忘记关闭文件使用with语句。路径字符串拼接直用使用os.path.join或pathlib.Path /操作符。readlines遍历大文件改用for line in file。pickle加载不安全数据绝不从不受信任的来源用pickle.load。文本模式 seek文本模式下的seek受限于字符偏移尽量在二进制模式进行随机访问。CSV 文件中缺少newline会导致在 Windows 平台下出现多余的空白行。11. 总结Python 的 I/O 体系涵盖从底层文件操作到高级序列化与路径处理的方方面面。核心要点使用with进行文件管理规避资源泄露。优先选用pathlib.Path进行路径操作提升可读性。根据数据特点选择序列化格式通用选 JSONPython 内部临时用 Pickle表格数据选 CSV。文本 I/O 必须关注编码二进制 I/O 则处理bytes。掌握这些技术你就能高效、安全地进行文件处理为数据处理、日志系统、配置管理等应用打下坚实基础。