用Pandas groupby+transform搞定数据清洗：一个电商用户分群实战案例

电商用户价值分群实战用Pandas groupbytransform构建RFM模型当你在电商平台浏览商品时系统总能精准推荐你可能感兴趣的商品——这背后是数据科学家们通过用户行为分析构建的智能分群系统。本文将带你用Pandas的groupby和transform方法从零开始构建一个电商用户价值分群模型。1. 理解RFM模型与数据准备RFM模型是衡量客户价值的经典方法由三个核心指标组成Recency最近一次消费用户最近一次购买距今的时间Frequency消费频率用户在一定周期内的购买次数Monetary消费金额用户在一定周期内的总消费金额假设我们有一个电商平台的用户交易数据集import pandas as pd import numpy as np from datetime import datetime # 生成模拟数据 np.random.seed(42) user_ids [Ustr(i).zfill(4) for i in range(1, 1001)] dates pd.date_range(enddatetime.today(), periods365).to_list() categories [电子产品, 家居用品, 服装, 食品, 美妆] data pd.DataFrame({ user_id: np.random.choice(user_ids, 5000), order_date: np.random.choice(dates, 5000), amount: np.round(np.random.lognormal(mean3, sigma0.5, size5000), 2), category: np.random.choice(categories, 5000) }) # 添加一些异常值 data.loc[np.random.choice(data.index, 50), amount] * 10数据预处理是分析的关键第一步# 检查数据质量 print(f数据量: {len(data)}) print(f缺失值统计:\n{data.isnull().sum()}) # 处理异常值 Q1 data[amount].quantile(0.25) Q3 data[amount].quantile(0.75) IQR Q3 - Q1 data data[~((data[amount] (Q1 - 1.5 * IQR)) | (data[amount] (Q3 1.5 * IQR)))] # 确保日期格式正确 data[order_date] pd.to_datetime(data[order_date])2. 计算RFM基础指标使用groupby和agg计算每个用户的RFM值# 设置分析基准日期 analysis_date data[order_date].max() pd.Timedelta(days1) # 计算RFM指标 rfm data.groupby(user_id).agg({ order_date: lambda x: (analysis_date - x.max()).days, # Recency user_id: count, # Frequency amount: sum # Monetary }).rename(columns{ order_date: recency, user_id: frequency, amount: monetary }).reset_index() print(rfm.head())提示在实际业务中分析基准日期的选择很重要。如果是月度分析通常使用当月最后一天作为基准。RFM指标的统计分布指标平均值中位数标准差最小值最大值Recency182.3167105.21364Frequency4.533.8127Monetary2456.71567.22834.132.528753.43. 使用transform进行RFM分箱直接对原始数据表添加分箱标签# 定义分箱函数 def rfm_score(x, bins, labels): return pd.cut(x, binsbins, labelslabels, include_lowestTrue) # 对RFM进行5分制评分 rfm[r_score] rfm_score(rfm[recency], bins[0, 30, 90, 180, 365, float(inf)], labels[5, 4, 3, 2, 1]) rfm[f_score] rfm_score(rfm[frequency], bins[1, 2, 3, 5, 8, float(inf)], labels[1, 2, 3, 4, 5]) rfm[m_score] rfm_score(rfm[monetary], bins[0, 500, 1000, 2000, 5000, float(inf)], labels[1, 2, 3, 4, 5]) # 计算RFM总分 rfm[rfm_score] rfm[r_score].astype(int) \ rfm[f_score].astype(int) \ rfm[m_score].astype(int) # 将分箱结果合并回原始数据 data data.merge(rfm[[user_id, r_score, f_score, m_score, rfm_score]], onuser_id, howleft)使用transform方法更高效地为每行数据添加分箱标签# 使用transform计算每行的用户分组指标 data[user_recency] data.groupby(user_id)[order_date].transform( lambda x: (analysis_date - x.max()).days) data[user_frequency] data.groupby(user_id)[user_id].transform(count) data[user_monetary] data.groupby(user_id)[amount].transform(sum) # 直接应用分箱 data[r_score] rfm_score(data[user_recency], bins[0, 30, 90, 180, 365, float(inf)], labels[5, 4, 3, 2, 1])4. 构建用户价值分群策略基于RFM分数创建用户分群# 定义分群规则 def segment_user(row): if row[r_score] 4 and row[f_score] 4 and row[m_score] 4: return 高价值用户 elif row[r_score] 4 and (row[f_score] 3 or row[m_score] 3): return 潜力用户 elif row[r_score] 2 and row[f_score] 3 and row[m_score] 3: return 流失风险用户 elif row[r_score] 2 and (row[f_score] 2 or row[m_score] 2): return 流失用户 else: return 一般价值用户 # 应用分群 rfm[segment] rfm.apply(segment_user, axis1) data[segment] data.apply(segment_user, axis1) # 查看分群分布 segment_dist rfm[segment].value_counts(normalizeTrue).reset_index() segment_dist.columns [segment, percentage] segment_dist[percentage] segment_dist[percentage].apply(lambda x: f{x:.1%})用户分群分布示例用户分群占比特征描述高价值用户12.5%近期活跃、购买频繁、消费金额高潜力用户23.7%近期活跃但消费频率或金额中等流失风险用户18.2%历史消费好但近期不活跃流失用户31.4%长期不活跃且历史消费一般一般价值用户14.2%各项指标处于中等水平5. 分群结果分析与业务应用不同用户群体的消费特征对比segment_analysis rfm.groupby(segment).agg({ recency: mean, frequency: mean, monetary: mean, user_id: count }).rename(columns{user_id: count}) segment_analysis segment_analysis.sort_values(monetary, ascendingFalse)针对不同分群的运营策略建议高价值用户提供专属VIP服务提前推送新品和限量商品给予更高的折扣和优惠潜力用户通过交叉销售提高客单价推送相关品类商品提高购买频率适度提供优惠券刺激消费流失风险用户发送召回邮件/短信提供专属回归优惠调研流失原因流失用户低成本触达保持联系不投入过多营销资源关注是否有自然回流一般价值用户常规营销活动覆盖通过内容营销提升粘性观察是否有升级潜力6. 进阶使用apply实现复杂分群当业务规则更复杂时可以使用apply方法def complex_segmentation(df): # 计算额外指标 df[avg_amount] df[monetary] / df[frequency] df[days_between_orders] 365 / df[frequency] # 定义复杂规则 conditions [ (df[recency] 30) (df[frequency] 8) (df[avg_amount] 800), (df[recency] 30) (df[frequency].between(4, 7)) (df[avg_amount] 500), (df[recency] 90) (df[frequency] 5) (df[days_between_orders] 60), (df[recency] 180) (df[frequency] 3) ] choices [超级用户, 活跃用户, 沉睡优质用户, 普通沉睡用户] df[complex_segment] np.select(conditions, choices, default其他用户) return df rfm rfm.groupby(user_id).apply(complex_segmentation)7. 结果可视化与报告输出使用Matplotlib和Seaborn可视化分群结果import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(12, 6)) sns.scatterplot(datarfm, xrecency, ymonetary, huesegment, paletteviridis, alpha0.6) plt.title(用户价值分群分布) plt.xlabel(最近消费天数) plt.ylabel(消费总金额) plt.legend(bbox_to_anchor(1.05, 1), locupper left) plt.tight_layout()生成业务报告摘要report rfm.groupby(segment).agg({ user_id: count, recency: [mean, std], frequency: [mean, std], monetary: [mean, std] }).round(1) report.columns [_.join(col).strip() for col in report.columns.values] report report.reset_index().rename(columns{user_id_count: 用户数})在实际电商项目中这种基于Pandas groupby和transform的用户分群方法相比传统SQL实现有以下优势代码更简洁易维护可以轻松添加复杂计算逻辑便于与后续机器学习流程集成支持交互式分析和快速迭代通过将用户分群结果与推荐系统、营销自动化工具对接企业可以实现真正的数据驱动运营。例如对高价值用户展示高价商品对流失风险用户推送优惠券对不同分群采用差异化的沟通策略等。