# 大数据开发面试题库

大数据开发岗面试必备SQL 高频题、Spark 性能调优、数仓建模实战、项目经验梳理覆盖初中级到高级岗位 前言为什么面试总被问倒为什么项目经验说不清楚为什么调优问题总是泛泛而谈根本原因没有系统准备面试题库本篇整理大数据开发岗高频面试题涵盖 SQL 高频面试题窗口函数、行转列 Spark 性能调优实战 数仓建模设计题 项目经验梳理方法 行为面试题回答模板题目均来自真实面试附详细答案 SQL 高频面试题题目 1连续登录问题题目描述用户登录表user_login_log字段user_id, login_date找出连续登录 3 天及以上的用户。表结构CREATETABLEuser_login_log(user_id STRING,login_date STRING-- 格式yyyy-MM-dd)PARTITIONEDBY(dt STRING);示例数据user_idlogin_dateU0012026-03-01U0012026-03-02U0012026-03-03U0012026-03-05U0022026-03-01U0022026-03-03U0022026-03-05预期结果user_idstart_dateend_datedaysU0012026-03-012026-03-033解答WITHlogin_rankAS(SELECTuser_id,login_date,-- 关键日期减去行号连续日期的差值相同DATE_SUB(login_date,ROW_NUMBER()OVER(PARTITIONBYuser_idORDERBYlogin_date))ASdate_groupFROMuser_login_logWHEREdt2026-03-01),continuous_groupsAS(SELECTuser_id,date_group,MIN(login_date)ASstart_date,MAX(login_date)ASend_date,COUNT(*)ASdaysFROMlogin_rankGROUPBYuser_id,date_groupHAVINGCOUNT(*)3)SELECT*FROMcontinuous_groups;考察点窗口函数 ROW_NUMBER 使用连续问题的解题思路日期 - 行号分组聚合题目 2TopN 问题题目描述订单表order_info字段order_id, user_id, category_id, pay_amount, create_time求每个品类下消费金额最高的 Top3 用户。解答WITHuser_category_amountAS(SELECTuser_id,category_id,SUM(pay_amount)AStotal_amountFROMorder_infoWHEREdt2026-03-24GROUPBYuser_id,category_id),ranked_usersAS(SELECTuser_id,category_id,total_amount,ROW_NUMBER()OVER(PARTITIONBYcategory_idORDERBYtotal_amountDESC)ASrnFROMuser_category_amount)SELECTuser_id,category_id,total_amount,rnASrankFROMranked_usersWHERErn3;考察点分组聚合ROW_NUMBER 排名TopN 问题通用解法扩展如果金额相同怎么处理 → 使用 DENSE_RANK如何取前 10% → 使用 NTILE(10)题目 3行转列问题题目描述学生成绩表student_score字段student_id, subject, score将科目转为列输出student_id, chinese, math, english示例数据student_idsubjectscoreS001chinese85S001math92S001english78S002chinese90S002math88S002english95预期结果student_idchinesemathenglishS001859278S002908895解答SELECTstudent_id,MAX(CASEWHENsubjectchineseTHENscoreELSE0END)ASchinese,MAX(CASEWHENsubjectmathTHENscoreELSE0END)ASmath,MAX(CASEWHENsubjectenglishTHENscoreELSE0END)ASenglishFROMstudent_scoreGROUPBYstudent_id;考察点CASE WHEN 条件表达式行转列的核心思路GROUP BY 聚合MAX/SUM 的选择单值用 MAX多值用 SUM扩展列转行-- 使用 UNION ALLSELECTstudent_id,chineseASsubject,chineseASscoreFROMscore_wideUNIONALLSELECTstudent_id,mathASsubject,mathASscoreFROMscore_wideUNIONALLSELECTstudent_id,englishASsubject,englishASscoreFROMscore_wide;-- 或使用 LATERAL VIEW explode (Hive 2.2)题目 4留存率计算题目描述用户登录表计算次日留存率、7 日留存率。留存率公式次日留存率 第 1 天登录且第 2 天也登录的用户数 / 第 1 天登录的用户数解答WITHdaily_usersAS(SELECTuser_id,TO_DATE(login_time)ASlogin_dateFROMuser_login_logWHEREdt2026-03-01GROUPBYuser_id,TO_DATE(login_time)),retentionAS(SELECTt1.login_dateASstat_date,COUNT(DISTINCTt1.user_id)ASday1_users,COUNT(DISTINCTCASEWHENt2.user_idISNOTNULLTHENt1.user_idEND)ASday2_users,COUNT(DISTINCTCASEWHENt3.user_idISNOTNULLTHENt1.user_idEND)ASday7_usersFROMdaily_users t1LEFTJOINdaily_users t2ONt1.user_idt2.user_idANDt2.login_dateDATE_ADD(t1.login_date,1)LEFTJOINdaily_users t3ONt1.user_idt3.user_idANDt3.login_dateDATE_ADD(t1.login_date,6)GROUPBYt1.login_date)SELECTstat_date,day1_users,day2_users,day7_users,ROUND(day2_users*100.0/day1_users,2)ASretention_rate_1d,ROUND(day7_users*100.0/day1_users,2)ASretention_rate_7dFROMretention;考察点自连接查询留存率计算逻辑日期函数使用题目 5GMV 同比环比题目描述订单表计算每日 GMV 的同比去年同天、环比昨天、周环比上周同天。解答WITHdaily_gmvAS(SELECTTO_DATE(create_time)ASstat_date,SUM(pay_amount)ASgmvFROMorder_infoWHEREdt2026-01-01GROUPBYTO_DATE(create_time)),gmv_with_lagAS(SELECTstat_date,gmv,LAG(gmv,1)OVER(ORDERBYstat_date)ASprev_day_gmv,LAG(gmv,7)OVER(ORDERBYstat_date)ASprev_week_gmv,LAG(gmv,365)OVER(ORDERBYstat_date)ASprev_year_gmvFROMdaily_gmv)SELECTstat_date,gmv,ROUND((gmv-prev_day_gmv)*100.0/prev_day_gmv,2)ASday_over_day,ROUND((gmv-prev_week_gmv)*100.0/prev_week_gmv,2)ASweek_over_week,ROUND((gmv-prev_year_gmv)*100.0/prev_year_gmv,2)ASyear_over_yearFROMgmv_with_lag;考察点LAG 窗口函数同比环比计算时间序列分析 Spark 性能调优面试题题目 1数据倾斜如何处理面试官追问怎么发现数据倾斜有哪些解决方案你实际用过哪种参考答案1. 现象识别- 大部分 Task 很快少数 Task 特别慢 - Spark UI 查看 Stage 详情Task 耗时差异大 - 查看 Shuffle Read/Write 数据量差异2. 解决方案// 方案 1Key 加盐随机前缀valsaltedRDDoriginalRDD.map{case(key,value)valsaltscala.util.Random.nextInt(10)(s${salt}_${key},value)}// 局部聚合vallocalAggsaltedRDD.reduceByKey(__)// 去除盐前缀全局聚合valglobalAgglocalAgg.map{case(key,value)(key.split(_)(1),value)}.reduceByKey(__)// 方案 2使用广播 Join小表valbroadcastSmallTablespark.sparkContext.broadcast(smallTable.collect())valresultlargeTable.join(broadcastSmallTable.value)// 方案 3调整并行度spark.conf.set(spark.sql.shuffle.partitions,2000)3. 实际案例场景用户行为日志某些热门用户数据量极大 解决Key 加盐 两阶段聚合 效果任务耗时从 2 小时降到 20 分钟题目 2Spark OOM 如何排查面试官追问Driver OOM 和 Executor OOM 有什么区别如何定位内存泄漏参考答案1. OOM 类型Driver OOM: - collect() 数据量过大 - 广播表太大 - 解决增加 driver-memory避免 collect Executor OOM: - 分区数据量过大 - 缓存过多 - 解决增加 executor-memory调整并行度2. 排查步骤# 1. 查看 Spark UI 内存使用Spark UI → Executors → Memory/Dis# 2. 查看 GC 日志--confspark.executor.extraJavaOptions-XX:PrintGCDetails# 3. 查看 Task 数据量Spark UI → SQL → 查看 Shuffle Read/Write# 4. 分析 Dump 文件生产环境jmap-dump:formatb,fileheap.hprofpid3. 解决方案// 调整内存配置--conf spark.driver.memory4g--conf spark.executor.memory8g--conf spark.executor.memoryOverhead2g// 调整并行度--conf spark.sql.shuffle.partitions2000// 避免 collect// 错误val data df.collect()// 正确val data df.take(1000)// 及时清理缓存df.unpersist()题目 3Shuffle 优化有哪些手段参考答案1. 减少 Shuffle// 使用广播 JoinvalresultlargeDF.join(broadcast(smallDF),key)// 预聚合df.groupBy(key).agg(sum(value))// 会产生 Shuffledf.reduceByKey(__)// Map 端预聚合2. 调整 Shuffle 参数# 增加 Shuffle 分区数 spark.sql.shuffle.partitions2000 # 调整 Shuffle 缓冲区 spark.shuffle.file.buffer128k spark.shuffle.spill.compresstrue spark.io.compression.codecsnappy3. 使用高效 Shuffle# Spark 2.x 默认使用 SortShuffleManager spark.shuffle.managersort # 启用 Tungsten 优化 spark.sql.codegen.wholeStagetrue题目 4Spark SQL 调优经验参考答案1. 启用 CBO基于成本的优化spark.sql.cbo.enabledtrue spark.sql.cbo.joinReorder.enabledtrue spark.sql.statistics.histogram.enabledtrue2. 收集统计信息-- 表级别ANALYZETABLEorder_infoCOMPUTESTATISTICS;-- 列级别ANALYZETABLEorder_infoCOMPUTESTATISTICSFORCOLUMNSuser_id,pay_amount;3. 谓词下推-- 错误先 Join 再过滤SELECT*FROM(SELECTt1.*,t2.user_nameFROMorder_info t1JOINuser_info t2ONt1.user_idt2.user_id)WHEREdt2026-03-24;-- 正确先过滤再 JoinSpark 会自动优化SELECTt1.*,t2.user_nameFROMorder_info t1JOINuser_info t2ONt1.user_idt2.user_idWHEREt1.dt2026-03-24;4. 使用合适的数据格式Parquet ORC Avro JSON/CSV - Parquet 支持列式存储 - 支持谓词下推 - 压缩比高️ 数仓建模设计题题目 1设计一个电商数仓面试官要求画出分层架构说明每层作用给出关键表设计参考答案1. 分层架构┌─────────────────────────────────────────────────────────────┐ │ ADS 应用层 │ │ GMV 大屏、用户留存报表、商品排行榜 │ └─────────────────────────────────────────────────────────────┘ │ ┌─────────────────────────────────────────────────────────────┐ │ DWS 聚合层 │ │ 用户日汇总、商品日汇总、品类日汇总 │ └─────────────────────────────────────────────────────────────┘ │ ┌─────────────────────────────────────────────────────────────┐ │ DWD 明细层 │ │ 订单事实表、用户维度表、商品维度表 │ └─────────────────────────────────────────────────────────────┘ │ ┌─────────────────────────────────────────────────────────────┐ │ ODS 原始层 │ │ 业务数据库同步表MySQL Binlog │ └─────────────────────────────────────────────────────────────┘2. 关键表设计-- 订单事实表DWDCREATETABLEdwd_fact_order(order_id STRINGCOMMENT订单 ID,user_id STRINGCOMMENT用户 ID,product_id STRINGCOMMENT商品 ID,category_id STRINGCOMMENT品类 ID,city_id STRINGCOMMENT城市 ID,pay_amountDECIMAL(18,2)COMMENT支付金额,quantityINTCOMMENT数量,order_statusINTCOMMENT订单状态,create_timeTIMESTAMPCOMMENT下单时间,pay_timeTIMESTAMPCOMMENT支付时间,dt STRINGCOMMENT分区字段)PARTITIONEDBY(dt STRING)STOREDASPARQUET;-- 用户维度表DWDSCD2CREATETABLEdwd_dim_user(user_keyBIGINTCOMMENT代理键,user_id STRINGCOMMENT用户 ID,user_name STRINGCOMMENT用户名,genderINTCOMMENT性别,city_id STRINGCOMMENT城市 ID,user_levelINTCOMMENT用户等级,start_date STRINGCOMMENT生效开始日期,end_date STRINGCOMMENT生效结束日期,is_currentINTCOMMENT是否当前版本)STOREDASPARQUET;-- 用户日汇总DWSCREATETABLEdws_user_daily_stat(user_id STRINGCOMMENT用户 ID,stat_date STRINGCOMMENT统计日期,gmvDECIMAL(18,2)COMMENTGMV,order_countINTCOMMENT订单数,pay_amountDECIMAL(18,2)COMMENT支付金额,refund_countINTCOMMENT退款次数,dt STRINGCOMMENT分区字段)PARTITIONEDBY(dt STRING)STOREDASPARQUET;题目 2如何设计缓慢变化维参考答案1. SCD 类型选择类型处理方式适用场景Type 1直接覆盖纠错、不重要属性Type 2新增行推荐用户等级、地址等Type 3新增列只保留上一版本2. Type 2 实现-- 表结构增加时间范围CREATETABLEdwd_dim_user_scd2(user_keyBIGINT,user_id STRING,user_levelINT,start_date STRING,end_date STRING,is_currentINT);-- ETL 逻辑-- 步骤 1关闭旧记录UPDATEdwd_dim_user_scd2SETis_current0,end_date2026-03-23WHEREuser_idIN(SELECTuser_idFROMods_userWHEREdt2026-03-24)ANDis_current1;-- 步骤 2插入新记录INSERTINTOdwd_dim_user_scd2SELECTROW_NUMBER()OVER()max_key,user_id,user_level,2026-03-24ASstart_date,9999-12-31ASend_date,1ASis_currentFROMods_userCROSSJOIN(SELECTMAX(user_key)ASmax_keyFROMdwd_dim_user_scd2); 项目经验梳理如何介绍项目STAR 法则SSituation背景 - 公司业务电商平台日订单 100 万 - 数据痛点数据分散、口径不一、查询慢 TTask任务 - 搭建实时数仓 - 统一数据口径 - 提升查询性能 AAction行动 - 技术选型Flink Kafka Doris - 分层设计ODS/DWD/DWS/ADS - 性能优化并行度调整、状态管理 RResult结果 - 数据延迟从小时级降到秒级 - 查询性能提升 10 倍 - 业务价值支持实时运营决策项目难点及解决准备 3 个难点难点 1数据倾斜 - 现象热门用户数据量极大 - 解决Key 加盐 两阶段聚合 - 效果任务耗时从 2h 降到 20min 难点 2数据一致性 - 现象实时与离线数据不一致 - 解决Exactly-Once 去重逻辑 - 效果准确率 99.9% 难点 3状态管理 - 现象状态过大导致 OOM - 解决RocksDB 状态 TTL - 效果稳定运行 30 天 行为面试题“你的优缺点是什么”优点结合岗位- 学习能力强1 个月掌握 Flink 技术栈 - 责任心强生产问题 30 分钟内响应 - 团队协作主动分享技术文档缺点真实但可改进- 公开演讲紧张正在通过内部分享锻炼 - 过于追求完美学习时间管理优先完成“为什么离职”回答模板- 感谢前公司培养感恩 - 个人职业规划发展 - 寻求更大挑战积极 示例 感谢前公司给我成长的机会但业务相对稳定 我希望寻求更大挑战接触更复杂的技术场景。“期望薪资多少”回答策略- 先了解岗位预算范围 - 给出区间而非具体数字 - 强调能力匹配 示例 我相信贵公司有成熟的薪酬体系 根据我的经验和技术水平期望在 X-Y 范围 具体可以根据面试表现调整。 面试准备清单技术准备SQL 窗口函数熟练Spark 调优原理数仓分层设计实时计算架构项目难点梳理项目准备STAR 法则整理3 个技术难点量化成果数据架构图画出来行为准备优缺点回答离职原因职业规划反问问题 推荐资源刷题平台LeetCode 数据库题前 50 道牛客网 SQL 专项练习HackerRank SQL技术博客Apache Spark 官方博客Flink 中文社区美团技术团队书籍推荐《Spark 性能调优实战》《数据仓库工具箱》《流式架构原理与设计》 总结面试核心1. SQL 是基础窗口函数必考 2. 调优是加分项至少准备 3 个案例 3. 项目要量化用数据说话 4. 表达要清晰STAR 法则复习计划时间内容第 1 周SQL 刷题每天 5 道第 2 周Spark/Flink 原理第 3 周项目梳理 模拟面试第 4 周行为面试 薪资谈判 面试是双向选择保持自信展示真实的自己