2.Pandas在电商数据处理中的核心价值

第1章 Pandas在电商数据处理中应用1.1 为什么Excel不够用需要PandasPandas是Python里的数据分析核心库。它的名字来自“Panel Data”面板数据专门处理表格型数据。电商数据分析里Pandas主要解决三类问题百万级数据快速处理Excel打不开的文件Pandas轻松读复杂数据清洗缺失值、重复值、异常值一行代码搞定灵活的数据聚合按店铺、类目、时间任意分组统计学Pandas不需要懂底层原理把它当成“Excel的Python版”就行。你会的筛选、排序、透视表Pandas都能做而且快得多。1.2 学习前的准备工作1.2.1 安装Pandas在上一章你已经装了Python现在安装Pandas和配套库。步骤1打开命令行Windows按Win R输入cmd回车Mac打开“终端”步骤2执行安装命令pip install pandas numpy openpyxlpandas核心数据处理库numpyPandas依赖的数值计算库openpyxl用于读写Excel文件步骤3验证安装在命令行输入python进入Python交互环境然后输入importpandasaspdprint(pd.__version__)如果输出版本号如2.0.3说明安装成功。[图1-1 命令行安装Pandas成功截图]我第一次装Pandas时直接用pip install pandas结果报错“pip不是内部命令”。后来发现是Python安装时没勾选“Add to PATH”。如果你也遇到这个问题可以回到第一章重装Python或者用python -m pip install pandas。1.2.2 准备电商测试数据为了本教程的实操你需要一份订单CSV文件。我建议生成一份10万行的模拟数据这样能真实感受Pandas的速度。生成模拟数据的代码复制到Jupyter运行importpandasaspdimportnumpyasnp np.random.seed(42)n100000dfpd.DataFrame({order_id:[ORDstr(i).zfill(8)foriinrange(1,n1)],user_id:np.random.randint(10000,99999,n),shop_name:np.random.choice([时尚女装旗舰店,潮流男装专营店,美妆优选,数码极客],n),category:np.random.choice([连衣裙,上衣,裤子,护肤品,手机],n),amount:np.random.uniform(10,2000,n).round(2),status:np.random.choice([已支付,已取消,已完成],n,p[0.7,0.1,0.2]),order_date:pd.date_range(2025-01-01,periodsn,freqmin)})df.to_csv(orders_100k.csv,indexFalse)print(已生成 orders_100k.csv共10万行)运行后当前目录下会生成orders_100k.csv文件约5-10MB。模拟数据不涉及真实用户可以放心使用。如果是公司真实数据必须先脱敏用户ID随机化、金额去掉尾数、时间模糊处理。第2章 Pandas核心数据结构Series与DataFrame2.1 DataFrameExcel表格的Python版Pandas最核心的概念是DataFrame你可以把它理解成一张Excel表格。它由行和列组成每列可以有不同的数据类型。创建一个简单的DataFrameimportpandasaspd data{订单号:[ORD001,ORD002,ORD003],金额:[299,599,89],状态:[已支付,已支付,已取消]}dfpd.DataFrame(data)print(df)输出订单号 金额 状态 0 ORD001 299 已支付 1 ORD002 599 已支付 2 ORD003 89 已取消2.2 SeriesDataFrame的一列Series是DataFrame的一列可以单独操作。提取一列amount_seriesdf[金额]print(amount_series)print(type(amount_series))# class pandas.core.series.SeriesSeries的常用操作print(amount_series.mean())# 平均值print(amount_series.sum())# 总和print(amount_series.max())# 最大值⚠️ 实操避坑提醒DataFrame的列名是大小写敏感的。df[金额]和df[金额 ]多一个空格是不同的。我遇到过因为Excel列名有不可见空格导致筛选失败的情况。建议用df.columns查看所有列名确认准确写法。第3章 数据读取read_csv与read_excel3.1 读取CSV文件电商场景读取上一节生成的orders_100k.csv。步骤1读取文件importpandasaspd dfpd.read_csv(orders_100k.csv)print(f数据形状{df.shape})# (100000, 7)print(f列名{df.columns.tolist()})步骤2查看前几行确认读取正确df.head()常用参数encoding指定编码中文CSV常用encodingutf-8或gbkdtype指定列的数据类型如dtype{user_id: str}parse_dates自动解析日期列如parse_dates[order_date]完整示例dfpd.read_csv(orders_100k.csv,encodingutf-8,parse_dates[order_date])3.2 读取Excel文件电商场景运营发来的报表可能是Excel格式。df_excelpd.read_excel(店铺报表.xlsx,sheet_nameSheet1)需要安装openpyxlpip install openpyxl3.3 读取多个文件并合并电商场景多个店铺的订单文件需要合并成一个DataFrame。importglob# 获取所有CSV文件filesglob.glob(orders_*.csv)df_list[]forfinfiles:temppd.read_csv(f)df_list.append(temp)df_allpd.concat(df_list,ignore_indexTrue)print(f合并后总行数{len(df_all)})我的踩坑经历有一次合并12个月的报表直接用pd.concat结果发现数据行数比预期少了很多。排查后发现其中一个月报表的列名末尾多了个空格导致Pandas没匹配上把该月数据单独成了一列。从那以后我合并前会统一用df.columns df.columns.str.strip()清理列名空格。第4章 数据概览快速了解订单数据质量拿到数据后第一件事不是马上分析而是先“把脉”——了解数据有多少行、有哪些列、有没有空值、各列是什么类型。4.1 head()与tail()看头看尾df.head(10)# 前10行df.tail(5)# 后5行4.2 shape数据维度rows,colsdf.shapeprint(f{rows}行{cols}列)# 输出100000行7列4.3 info()列类型与非空值df.info()输出示例class pandas.core.frame.DataFrame RangeIndex: 100000 entries, 0 to 99999 Data columns (total 7 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 order_id 100000 non-null object 1 user_id 100000 non-null int64 2 shop_name 100000 non-null object 3 category 99950 non-null object # 有50个空值 4 amount 100000 non-null float64 5 status 100000 non-null object 6 order_date 100000 non-null datetime64[ns] dtypes: datetime64[ns](1), float64(1), int64(1), object(4) memory usage: 5.3 MB关键信息解读Non-Null Count非空值数量如果小于总行数说明该列有缺失值Dtype数据类型object通常表示文本int64/float64是数字datetime64是日期上例中category列有50个空值需要后续处理4.4 describe()数值列的统计摘要df.describe()输出user_id amount count 100000.000000 100000.000000 mean 54923.456789 987.65 std 25987.123456 567.89 min 10000.000000 10.12 25% 32456.000000 498.00 50% 54923.000000 987.00 75% 77456.000000 1489.00 max 99999.000000 1999.99解读count非空数量如果少于总行数说明有缺失mean平均值std标准差越大说明数据越分散min/max最小/最大值可以快速发现异常值比如金额为负数4.5 检查缺失值的更直接方法df.isnull().sum()输出order_id 0 user_id 0 shop_name 0 category 50 amount 0 status 0 order_date 0 dtype: int64⚠️ 实操避坑提醒describe()默认只统计数值列。如果想看所有列包括文本的统计可以用df.describe(includeall)。我当初不知道这个参数以为文本列统计不了后来才发现。第5章 数据筛选与选择5.1 按列名选择选择单列返回Seriesdf[amount]# 推荐写法df.amount# 也可以但列名有空格或特殊字符时会报错选择多列返回DataFramedf[[order_id,amount,status]]5.2 按行索引选择前5行df[:5]# 相当于df.head()指定行范围df[10:20]# 第11行到第20行0索引5.3 loc与iloc更强大的选择方式loc按标签行名、列名选择iloc按位置行号、列号选择loc示例# 选择第0行到第4行以及order_id和amount列df.loc[0:4,[order_id,amount]]iloc示例# 选择前5行前2列df.iloc[0:5,0:2]5.4 条件筛选最常用电商场景筛选出“已支付”且金额大于500的订单。filtereddf[(df[status]已支付)(df[amount]500)]print(f符合条件的订单数{len(filtered)})多个条件# 已支付 或 已完成df[df[status].isin([已支付,已完成])]# 金额在100到500之间df[(df[amount]100)(df[amount]500)]电商场景筛选出“时尚女装旗舰店”的订单并只保留订单号、金额、日期三列。df_shopdf[df[shop_name]时尚女装旗舰店][[order_id,amount,order_date]]我的踩坑经历写多个条件时我经常忘记用括号把每个条件括起来比如df[df[amount] 100 df[status] 已支付]结果报错。正确写法是df[(df[amount] 100) (df[status] 已支付)]。每个条件独立括号条件之间用且或|或。第6章 综合实操案例10万行订单数据快速探查6.1 案例背景你拿到了orders_100k.csv需要在10分钟内完成数据质量检查并筛选出高价值订单已支付且金额≥500元供运营同事分析。6.2 分步操作步骤1读取数据并快速预览importpandasaspd dfpd.read_csv(orders_100k.csv,parse_dates[order_date])print(df.shape)df.head()步骤2检查数据质量# 1. 查看列类型和缺失值df.info()# 2. 查看数值列统计df.describe()# 3. 专门检查缺失值数量df.isnull().sum()# 4. 检查是否有重复订单号print(f重复订单数{df[order_id].duplicated().sum()})步骤3筛选高价值订单high_valuedf[(df[status]已支付)(df[amount]500)]print(f高价值订单数{len(high_value)})print(f高价值订单总金额{high_value[amount].sum():.2f})步骤4按店铺统计高价值订单的GMVgmv_by_shophigh_value.groupby(shop_name)[amount].sum().sort_values(ascendingFalse)print(gmv_by_shop)步骤5保存筛选结果high_value.to_csv(high_value_orders.csv,indexFalse)print(已保存到 high_value_orders.csv)6.3 预期结果示例数据形状(100000, 7) 重复订单数0 高价值订单数28340 高价值订单总金额18765432.50 shop_name 时尚女装旗舰店 5876543.20 潮流男装专营店 5123456.80 美妆优选 4321098.50 数码极客 3454321.00 Name: amount, dtype: float64第7章 本章踩坑清单与合规总结7.1 新手常见踩坑场景错误操作正确做法读取CSV中文乱码指定encodingutf-8或gbk列名访问df.订单号有空格或中文用df[订单号]条件筛选多个条件不用括号(条件1) (条件2)查看缺失值用肉眼扫df.isnull().sum()重复值没检查就直接用df.duplicated().sum()[图7-1 踩坑汇总表格图]第8章 结语Pandas的read_csv、info、describe、条件筛选是电商数据分析最常用的操作。掌握它们你就能快速了解任何一份订单数据的质量并筛选出需要重点分析的部分。下一章我会讲「Pandas数据清洗——缺失值、重复值、异常值处理」教你如何处理真实订单数据中的脏数据。有问题的评论区留言我看到会回复。