2.16 sql去重查询（DISTINCT）

2.16 去重查询DISTINCT在电商数据分析中你几乎每天都会遇到“去重”场景统计独立访客数UV不是页面浏览量PV。统计实际下单用户数不是订单数。统计成交省份数量不是订单条数。统计购买过某类商品的用户数。DISTINCT就是专门用来去重的关键字。这一章我会带你彻底搞懂DISTINCT的用法单字段去重、多字段联合去重、与聚合函数配合。学完之后你就能精准统计独立用户、独立商品等核心指标。学习前准备已完成MySQL安装参考系列前几章已安装DBeaver或Navicat准备一个练习数据库比如distinct_demo学习前环境准备步骤1确保MySQL服务已启动。步骤2创建练习数据库和表并插入示例数据。CREATEDATABASEdistinct_demoCHARACTERSETutf8mb4COLLATEutf8mb4_unicode_ci;USEdistinct_demo;-- 订单表包含重复用户、重复商品、重复省份CREATETABLEorders(order_idVARCHAR(50)PRIMARYKEY,user_idINTNOTNULL,product_idINTNOTNULL,provinceVARCHAR(20),amountDECIMAL(10,2));INSERTINTOordersVALUES(ORD001,1001,101,广东,299.00),(ORD002,1001,102,广东,189.00),-- 同一用户不同商品(ORD003,1002,101,北京,599.00),(ORD004,1003,103,上海,399.00),(ORD005,1002,104,北京,99.00);-- 同一用户另一订单DISTINCT基础认知DISTINCT关键字用于去除查询结果中的重复行只保留唯一的组合。基本语法SELECTDISTINCT列名FROM表名;核心执行逻辑数据库先按照SELECT的列组合进行分组然后每组只返回一行。在电商数据分析中的核心用途统计独立用户数去重后的用户ID。统计成交省份数去重后的省份。统计购买过某商品的用户数。组合去重比如统计每个用户-商品对用于复购分析。我的踩坑经历第一次用DISTINCT时我写SELECT DISTINCT user_id, amount FROM orders以为会按user_id去重结果发现它是对(user_id, amount)组合去重。如果同一用户有两个不同金额的订单两条都会保留。DISTINCT作用于后面所有列的组合不是只作用于第一列。单字段去重4.1 基础语法SELECTDISTINCT字段名FROM表名;4.2 电商实操案例案例一统计有多少个用户下过单SELECTDISTINCTuser_idFROMorders;分步操作先写SELECT user_id FROM orders看到所有订单对应的用户ID有重复。加上DISTINCT再次执行只返回唯一的用户ID。如果需要计数可以用COUNT(DISTINCT user_id)后面会讲。预期结果返回1001、1002、1003三行。案例二统计成交省份有哪些SELECTDISTINCTprovinceFROMorders;预期结果广东、北京、上海。案例三统计商品表中不重复的类目-- 创建商品表CREATETABLEproducts(product_idINTPRIMARYKEY,categoryVARCHAR(20));INSERTINTOproductsVALUES(101,女装),(102,女装),(103,男装),(104,童装);SELECTDISTINCTcategoryFROMproducts;预期结果女装、男装、童装。4.3 避坑提醒DISTINCT对NULL值处理多个NULL会被视为相同只保留一个NULL。不要滥用DISTINCT。如果数据本身已经唯一如订单号加DISTINCT反而会增加排序开销。实操避坑提醒如果你发现SELECT DISTINCT结果比预期少检查是不是某些字段有NULL值。例如province列为NULL的订单去重后只会显示一行NULL。多字段联合去重5.1 基础语法SELECTDISTINCT字段1,字段2FROM表名;DISTINCT作用于后面所有字段的组合只有所有字段的值都相同才会被去重。5.2 电商实操案例案例一统计每个用户购买过的不同商品SELECTDISTINCTuser_id,product_idFROMorders;分步操作先查询SELECT user_id, product_id FROM orders看到所有组合可能有重复。加上DISTINCT去除完全相同的(user_id, product_id)对。预期结果用户1001买过101和102两条1002买过101和104两条1003买过103一条。不会出现重复的组合。案例二统计每个订单状态在不同省份的出现情况假设有状态字段-- 加一个order_status字段演示ALTERTABLEordersADDorder_statusVARCHAR(10)DEFAULT已支付;UPDATEordersSETorder_status已支付WHEREorder_idIN(ORD001,ORD003,ORD004,ORD005);UPDATEordersSETorder_status已取消WHEREorder_idORD002;SELECTDISTINCTorder_status,provinceFROMorders;预期结果(已支付,广东)、(已取消,广东)、(已支付,北京)、(已支付,上海)等。案例三复购分析——找出重复购买的用户-商品对先找出所有用户-商品组合去重后如果某个组合出现两次说明复购。这里用分组聚合更好但DISTINCT可先列出所有唯一组合。SELECTDISTINCTuser_id,product_idFROMordersORDERBYuser_id;5.3 避坑提醒多字段联合去重时所有字段的值都相同才会被去重。如果只想对某个字段去重同时返回其他字段DISTINCT做不到。例如“每个用户最新的一条订单”需要用到窗口函数或子查询。我的踩坑经历我曾试图用SELECT DISTINCT user_id, amount来获取每个用户的某个金额结果因为金额不同同一用户出现了多条。后来才明白DISTINCT不是“按第一列去重”而是按所有列组合去重。DISTINCT与聚合函数的配合6.1 COUNT(DISTINCT …)用法统计去重后的数量是最常用的组合。语法SELECTCOUNT(DISTINCT字段)FROM表名;6.2 电商实操案例案例一统计独立下单用户数SELECTCOUNT(DISTINCTuser_id)ASunique_usersFROMorders;预期结果3用户1001、1002、1003。案例二统计成交省份数量SELECTCOUNT(DISTINCTprovince)ASprovince_countFROMorders;预期结果3广东、北京、上海。案例三统计每个商品的购买用户数需结合GROUP BYSELECTproduct_id,COUNT(DISTINCTuser_id)ASuser_cntFROMordersGROUPBYproduct_id;预期结果product_id101用户1001、1002 → 2product_id102用户1001 → 1product_id103用户1003 → 1product_id104用户1002 → 1案例四统计不同用户购买的总金额演示用法实际意义不大-- 计算每个用户的总金额不用DISTINCT用SUM GROUP BYSELECTuser_id,SUM(amount)FROMordersGROUPBYuser_id;-- 如果要统计所有用户的总金额之和每个用户不管多少单只取最大金额很少用-- 这里只是展示语法SELECTSUM(DISTINCTamount)FROMorders;-- 对金额去重求和实际意义不大6.3 避坑提醒COUNT(DISTINCT column)中的列不能是*必须是具体列。MySQL不支持COUNT(DISTINCT col1, col2)要统计多列组合的唯一数量可用子查询-- 统计用户-商品组合的数量SELECTCOUNT(*)FROM(SELECTDISTINCTuser_id,product_idFROMorders)ASt;我的踩坑经历我写过COUNT(DISTINCT user_id, product_id)在MySQL中报错。后来改成子查询才解决。MySQL的COUNT DISTINCT只支持单列。综合实操案例服饰类目店铺月度活跃用户与复购分析7.1 案例背景某服饰类目店铺需要生成月度运营报表包含以下去重指标本月下单独立用户数去重用户ID。本月成交省份数量。复购用户数下单次数≥2的用户数。每个商品的独立购买用户数。用户-商品组合的唯一数量用于分析购买多样性。7.2 分步操作步骤1创建订单表并插入更丰富的测试数据-- 清空并重新插入数据TRUNCATEorders;INSERTINTOordersVALUES(ORD001,1001,101,广东,299.00),(ORD002,1001,102,广东,189.00),(ORD003,1002,101,北京,599.00),(ORD004,1003,103,上海,399.00),(ORD005,1002,104,北京,99.00),(ORD006,1004,101,浙江,129.00),(ORD007,1004,102,浙江,89.00);步骤2计算独立下单用户数SELECTCOUNT(DISTINCTuser_id)ASunique_buyersFROMorders;预期结果41001,1002,1003,1004。步骤3计算成交省份数量SELECTCOUNT(DISTINCTprovince)ASprovince_countFROMorders;预期结果4广东、北京、上海、浙江。步骤4计算复购用户数下单次数≥2SELECTCOUNT(*)ASrepeat_usersFROM(SELECTuser_id,COUNT(*)ASorder_cntFROMordersGROUPBYuser_idHAVINGorder_cnt2)ASt;预期结果31001,1002,1004。步骤5统计每个商品的独立购买用户数SELECTproduct_id,COUNT(DISTINCTuser_id)ASbuyer_cntFROMordersGROUPBYproduct_idORDERBYproduct_id;预期结果1011001,1002,1004 → 31021001,1004 → 21031003 → 11041002 → 1步骤6统计用户-商品组合的唯一数量SELECTCOUNT(*)ASunique_user_product_pairsFROM(SELECTDISTINCTuser_id,product_idFROMorders)ASt;预期结果7种组合。7.3 合规提示 电商数据合规提示在统计独立用户数时user_id应该是脱敏后的内部ID而不是手机号或邮箱。如果订单表中包含用户手机号绝对不要用DISTINCT phone去重统计因为会暴露用户个人标识。应该使用内部匿名用户ID。本章踩坑清单与合规总结8.1 新手常见踩坑错误原因正确做法SELECT DISTINCT col1, col2误解为只对col1去重不清楚DISTINCT作用于所有列理解DISTINCT是对组合去重COUNT(DISTINCT col1, col2)在MySQL中报错MySQL不支持多列COUNT DISTINCT用子查询或COUNT(DISTINCT CONCAT(...))对已唯一的列加DISTINCT浪费性能确认列唯一时不要加DISTINCT用DISTINCT去重后求和如SUM(DISTINCT amount)业务含义错误通常需SUM不加DISTINCT除非特殊需求忽略NULL值去重结果中NULL只显示一行处理NULL值或过滤掉8.2 性能与使用建议DISTINCT会对结果集排序或哈希去重数据量大时性能较差。建议先通过WHERE条件缩小范围。如果需要去重后还返回其他字段考虑用GROUP BY替代更灵活。示例SELECT user_id, MAX(amount) FROM orders GROUP BY user_id;比SELECT DISTINCT user_id, amount更能满足“每个用户最大金额”的需求。8.3 电商数据合规红线不要对敏感字段手机号、身份证使用DISTINCT因为会查询出明文敏感信息。应使用内部脱敏ID。去重统计结果属于经营数据内部报表分享时注意脱敏不展示具体用户ID。避免通过DISTINCT反向推断用户行为比如某个商品只有极少数用户购买去重后的用户ID列表可能直接定位到个人需控制访问权限。结语DISTINCT是电商数据分析中高频使用的去重工具。掌握单字段去重、多字段联合去重以及与COUNT的配合你就能精准统计独立用户、独立商品等核心指标。有问题的评论区留言我看到会回复。