数工-面试汇总

数据工程师面试四大块Python 算法 SQL重中之重 大数据组件 (Hadoop/Spark/Hive) 数仓理论 八股阶段 1基础恢复期1~2 周・你现在立刻开始Python复习列表、字典、字符串、循环、函数刷题简单数组、字符串、模拟、哈希LeetCode 简单题SQLDDL/DML/DQL 基础多表查询、子查询、分组聚合、排序必会group by、join、limit、distinct大数据入门概念分布式、集群、主从、分片、副本阶段 2核心强化期2~4 周算法主攻双指针、滑动窗口、哈希、栈、简单 BFS不啃难题不刷复杂 DP、困难图论SQL数工最拉分窗口函数row_number、rank、lag、lead分区、分桶、时间函数、数据去重手写 SQL行列转换、连续问题、留存统计大数据组件HadoopHDFS、YARN、MapReduce 原理Hive数仓分层、分区、分桶、数据倾斜SparkRDD、DataFrame、宽窄依赖、缓存阶段 3八股 项目 面试冲刺2 周八股汇总数据库MySQL 索引、事务、隔离级别、主从复制Redis缓存三大问题、持久化、数据结构数仓维度、事实表、SCD、分层 ODS/DWD/DWS/ADS正文一、阶段 1 基础恢复期 知识点面试话术1. Python 核心知识点① 列表 list概念Python 可变动态数组长度不固定可增删改查支持嵌套。作用存储有序数据充当数组、队列、临时数据集。应用算法遍历、批量存储数据、数据清洗临时容器。举例读取多行日志存入列表统一批量处理。② 字典 dict概念键值对哈希结构key 唯一查询效率 O (1)。作用映射关系存储、快速查找、数据统计、字段映射。应用数据维度映射、频次统计、多字段关联匹配。举例用字典存放「城市 - 区域」对应关系快速匹配维度数据。③ 字符串 string概念不可变字符序列提供丰富内置切割、替换、清洗方法。作用日志处理、文本清洗、字段拆分、格式标准化。应用ETL 中清洗脏数据、特殊符号剔除、字符串分割拆分字段。举例split切割日志strip去除首尾空格。④ 循环for /while概念重复执行代码块实现批量遍历与逻辑循环。作用批量处理数据、遍历集合、条件循环处理业务逻辑。应用遍历数据表、循环清洗每条数据、批量计算指标。⑤ 函数概念封装一段重复逻辑可传参、可返回结果提高代码复用。作用简化代码、逻辑解耦、统一处理规则。应用将数据清洗、格式转换、异常处理封装为公共函数。⑥ 简单算法数组 / 字符串 / 模拟 / 哈希概念基础数据结构操作、暴力模拟、哈希快速查找。应用笔试算法、数据去重、统计计数、简单数据筛选。举例利用哈希 set 对爬虫、日志数据快速去重。2. SQL 基础① DDL / DML / DQLDDL 数据定义语言作用定义库、表、结构包含create / alter / drop应用数仓建表、修改字段、分区表创建。DML 数据操纵语言作用操作表里数据包含insert / update / delete应用数据写入、修正脏数据、过期数据删除。DQL 数据查询语言作用查询分析数据核心select应用日常取数、指标统计、报表分析数工使用最多。② 多表查询 子查询多表查询通过关联字段join联合多张表整合多维度数据。子查询查询中嵌套查询把查询结果当作临时条件 / 临时表。应用订单关联用户表、商品表多维度联合分析复杂条件分层筛选。③ 分组聚合 group by概念按照指定维度字段分组配合聚合函数统计。常用count / sum / avg / max / min应用按天 / 按地区 / 按品类统计订单量、交易额。举例group by 日期统计每日销售额。④ 各类高频关键字join多表关联整合不同业务表数据数仓宽表制作核心。limit限制返回行数用于抽样、分页、排查数据。distinct去除重复数据用于数据去重、统计独立用户数。3. 大数据入门概念① 分布式概念把一个大任务、大数据量拆分到多台机器共同协作处理。作用解决单机存储不足、计算性能不足问题。应用PB 级日志、海量订单数据存储与计算。② 集群概念多台服务器组合成一个整体统一管理、协同工作。分类存储集群、计算集群。应用Hadoop 集群、Spark 集群支撑大数据平台。③ 主从架构概念一台主节点负责写入、调度多台从节点负责读取、同步数据。作用读写分离、负载均衡、高可用。举例MySQL 主从、Hive 元数据主从、Redis 主从。④ 分片分区概念将海量数据按规则拆分存储分散压力。作用缩小查询扫描范围提升查询效率。举例按日期分片存储每日日志。⑤ 副本概念同一份数据保存多份拷贝。作用防止数据丢失、保证集群容错性。举例HDFS 默认 3 副本一台机器损坏数据不丢失。二、阶段 2 核心强化期 面试话术1. 进阶算法双指针概念用两个指针一前 / 一左一右遍历数据减少循环次数。适用有序数组、原地去重、回文串、区间求和。优势降低时间复杂度暴力两层循环优化为一层。滑动窗口概念用左右指针维护一个动态区间窗口动态伸缩。应用最长子串、子数组和、连续区间指标、流量统计。举例统计一段时间内连续活跃用户、最长无重复日志片段。栈概念后进先出 LIFO 结构。应用括号匹配、字符串逆序、单调栈做范围筛选。BFS 广度优先概念借助队列按层遍历一圈一圈向外扩散。应用地图遍历、最短路径、岛屿问题、层级数据遍历。2. 高阶 SQL数工核心拉分点① 窗口函数核心作用不压缩行数的前提下分组排序、跨行对比、局部聚合。row_number()分组内连续排名无并列常用于取每日第一条数据。rank()允许并列排名名次会跳号。lag / lead获取上一行、下一行数据用于环比、连续行为分析。② 分区 分桶分区按时间 / 地区等字段拆分目录缩小查询扫描范围优化查询。分桶对字段哈希打散均匀拆分数据优化关联查询、抽样查询。③ 时间函数应用日期格式化、时间差计算、周 / 月 / 季度聚合报表必备。④ 数据去重方式distinct、row_number 分组去重、临时表过滤。场景重复订单、重复日志、重复用户行为清洗。⑤ 手写复杂 SQL行列转换行转列、列转行适配报表展示需求。连续问题结合窗口函数统计连续签到、连续下单。留存统计次日留存、7 日留存互联网核心指标。3. 大数据核心组件① Hadoop 三大核心HDFS 分布式文件系统作用海量大数据分布式存储持久化日志、行为数据、数仓分层数据。特点高容错、大容量、低成本。YARN 资源调度作用集群资源管理、任务调度、分配 CPU 内存管控集群所有计算任务。MapReduce 离线计算框架原理分为 Map 分片处理、Reduce 聚合汇总。应用离线批量计算、早期大数据统计任务。② Hive 数据仓库数仓分层ODS/DWD/DWS/ADS 分层建设数据逐级清洗、聚合。分区时间分区最常用加速查询。分桶优化 join 关联与数据倾斜。数据倾斜部分 key 数据量远超其他 key导致单个任务卡死、计算缓慢解决加盐打散、key 拆分、局部聚合。③ Spark 计算框架RDD弹性分布式数据集底层核心不可变、惰性计算。DataFrame带 Schema 结构化数据类似表优化开发效率。宽窄依赖窄依赖子 RDD 只依赖一个父 RDD容错性高宽依赖shuffle 洗牌多父依赖性能消耗大。缓存缓存中间计算结果减少重复计算大幅提升迭代任务速度。三、阶段 3 八股 项目冲刺 面试话术1. MySQL 数据库八股① 索引概念加快数据查询的目录结构减少全表扫描。作用提升查询效率降低 IO 消耗。举例订单表对 user_id、create_time 建索引快速查用户历史订单。② 事务概念保证一组操作原子执行要么全成功、要么全回滚。ACID原子性、一致性、隔离性、持久性。应用支付、订单、库存等强一致业务。③ 事务隔离级别读未提交、读已提交、可重复读、串行化解决脏读、不可重复读、幻读问题。④ 主从复制概念主库写入从库实时同步数据。作用读写分离、数据备份、高可用。痛点主从复制延迟短暂时间从库数据不一致。2. Redis 八股① 常用数据结构String、Hash、List、Set、ZSet分别用于缓存、对象存储、队列、去重、排行榜。② 缓存三大问题缓存穿透查询不存在数据直接打透到数据库缓存击穿热点 key 过期瞬间大量请求打数据库缓存雪崩大量 key 同时过期 / Redis 宕机集群压力雪崩。③ 持久化RDB定时快照恢复快AOF记录每一条写命令数据更安全。3. 数仓核心八股① 维度表 事实表维度表描述性、静态属性数据如用户、地区、商品事实表业务行为、量化指标数据如订单、支付、浏览日志。② SCD 缓慢变化维度概念维度属性不会频繁变化但会缓慢变更举例用户等级、店铺所属品类、员工部门调整作用保留历史版本保证历史统计数据准确。③ 数仓四层分层ODS 原始层直接同步原始业务数据不清洗DWD 明细层清洗脏数据、字段标准化、明细表DWS 汇总层按维度轻度聚合形成宽表ADS 应用层最终指标报表数据直接给业务、大屏、报表使用。