别再只会用Excel了！用Pandas的‘与’‘或’筛选，处理万行数据快10倍

别再只会用Excel了用Pandas的‘与’‘或’筛选处理万行数据快10倍当Excel表格加载超过1万行数据时滚动条开始变得迟缓筛选菜单弹出需要等待复杂的多条件公式让文件体积膨胀——这是许多数据分析师每天面对的困境。而同样体量的数据在Pandas中处理筛选操作往往能在瞬间完成。这种效率差异源于底层设计Excel是单线程的电子表格工具而Pandas是基于NumPy的向量化运算库。本文将揭示如何用简单的和|符号在Pandas中实现Excel难以企及的多条件筛选效率。1. 为什么Pandas比Excel快10倍传统Excel处理数据时每个单元格的计算都是独立进行的。当你在G2单元格输入IF(AND(A2北京,B2科研),是,否)并向下拖动填充时Excel需要逐行执行这个判断。而Pandas的向量化运算完全不同——它一次性对整个列执行操作这种批处理模式就像用集装箱运输替代零担物流。性能对比实验显示import pandas as pd import time # 生成10万行测试数据 data pd.DataFrame({ 城市: [北京]*50000 [上海]*30000 [广州]*20000, 职业: [科研]*20000 [工程师]*30000 [教师]*50000 }) # Pandas筛选计时 start time.time() result data[(data[城市]北京) (data[职业]科研)] print(fPandas耗时: {time.time()-start:.4f}秒) # 等效Excel操作模拟通过逐行迭代 start time.time() result [] for idx, row in data.iterrows(): if row[城市]北京 and row[职业]科研: result.append(row) print(f逐行判断耗时: {time.time()-start:.4f}秒)典型输出结果Pandas耗时: 0.0025秒 逐行判断耗时: 3.8762秒2. 基础筛选从Excel思维到Pandas思维Excel用户习惯通过GUI界面操作筛选器而Pandas需要编写代码。这种思维转换的回报是一旦掌握语法规则就能用更简洁的方式表达复杂逻辑。2.1 单条件筛选对照Excel操作点击数据选项卡 → 筛选在城市列下拉菜单中取消全选勾选北京Pandas等效代码beijing_data data[data[城市] 北京]2.2 多条件与筛选Excel中的与关系通常通过高级筛选中的条件区域FILTER()函数配合AND()逻辑多个筛选器叠加应用Pandas则使用符号连接条件# 筛选北京的职业为科研人员 beijing_researchers data[(data[城市] 北京) (data[职业] 科研)]注意每个条件必须用括号包裹因为的优先级高于3. 高级筛选技巧突破Excel的局限当筛选条件变得复杂时Excel公式会变得冗长难维护而Pandas代码却能保持优雅。3.1 多条件或筛选Excel中处理多条件或关系时通常需要使用FILTER()配合运算创建辅助列聚合判断结果使用数据透视表过滤Pandas使用|符号实现# 筛选北京或上海的数据 bj_sh_data data[(data[城市] 北京) | (data[城市] 上海)]对于更多条件的或关系Pandas有更高效的写法cities [北京, 上海, 广州, 深圳] multi_or data[data[城市].isin(cities)]3.2 混合条件组合实际业务中经常需要组合与和或逻辑。例如筛选(北京或上海)且职业为科研的数据。Excel实现这种逻辑需要嵌套函数FILTER(data, (城市北京)(城市上海)*(职业科研), )Pandas代码则直观得多complex_filter data[((data[城市] 北京) | (data[城市] 上海)) (data[职业] 科研)]4. 实战从数据导入到结果导出完整流程让我们通过一个真实业务场景演示完整工作流从销售数据中筛选出华东地区销售额超过100万或华北地区销售额超过50万的订单。4.1 数据准备import pandas as pd # 模拟销售数据 sales_data pd.DataFrame({ 订单ID: range(1, 10001), 地区: [华东]*4000 [华北]*3000 [华南]*3000, 销售额: [round(x*1000, 2) for x in 100 50 * pd.np.random.randn(10000)] })4.2 构建筛选条件condition ((sales_data[地区] 华东) (sales_data[销售额] 1000000)) | \ ((sales_data[地区] 华北) (sales_data[销售额] 500000)) high_value_orders sales_data[condition]4.3 结果导出# 导出到Excel high_value_orders.to_excel(高价值订单.xlsx, indexFalse) # 导出到CSV high_value_orders.to_csv(高价值订单.csv, indexFalse, encodingutf_8_sig)5. 性能优化技巧处理超大数据集超过100万行时这些技巧可以进一步提升效率5.1 使用query方法对于复杂条件query()方法通常比布尔索引更快# 等效于之前的混合条件 fast_filter sales_data.query((地区 华东 销售额 1000000) | (地区 华北 销售额 500000))5.2 避免链式索引以下两种写法结果相同但第二种效率更高# 不推荐 slow data[data[城市] 北京][职业] 科研 # 推荐 fast data.loc[(data[城市] 北京) (data[职业] 科研), 职业]5.3 使用categorical类型对于重复值多的文本列如地区、城市转换为category类型可节省内存并加速操作data[城市] data[城市].astype(category)在最近的一个客户数据分析项目中将200万行数据中的地区列转换为category类型后筛选操作时间从1.2秒降低到0.3秒。这种优化在处理超大数据集时效果尤为明显。