【数据湖01】一文了解啥是数据湖～

说实话我刚开始听到数据湖这个词也懵以为是多高大上的东西。干了几年数据才发现其实就是个大杂烩仓库。先讲个真事老刘是怎么被数据搞崩溃的我兄弟老刘某电商公司负责人。2022年业务暴涨他天天跟我吐槽三件事第一用户行为日志存不进去。每天500GB的JSON日志字段还不固定今天有设备型号明天又冒出个设备指纹MySQL根本建不了表。第二商品图片往哪塞数仓只收表格数据图片视频这种非结构化的人家不收。第三算法团队要原始数据。但数仓里的数据已经被ETL洗过N遍了原始点击流早没了算法团队气得直拍桌子。老刘的困境就是数据湖要解决的问题。一句话说清数据湖就是个大湖泊我打个比方你就懂了。假设你们公司是个餐厅对应技术里面放的是什么有什么特点主要给谁用数据库(MySQL/Oracle)洗净切好的肉丝、配好的调料*(高度标准化的结构化数据)*极快、空间极小。手一伸就够到放的是当下正炒这盘菜需要的最新鲜食材反映当前状态。炒菜大厨*(业务系统/开发)*数据仓库(Hive/ClickHouse)按固定菜谱提前配好的半成品*(经过清洗、加工、建模的历史数据)*标准、量大。拿取需要走两步去冷库稍慢但拿回来直接下锅就能稳定出标准的硬菜。餐厅经理/质检员*(数据分析师/BI报表)*数据湖(S3/HDFS/Iceberg)带泥的土豆、没杀的整猪、甚至不知道能不能吃的野菜*(全类型、未加工的原始数据)*海量、极低成本。啥都能往里扔不管三七二十一先囤着等以后想做新菜了再去里面翻找处理。研发新菜的主厨*(算法工程师/数据科学家)*核心区别就一句话数据库数仓先收拾干净才能进来大湖泊先倒进来用的时候再收拾Schema-on-Read 是个啥别被术语吓到这是数据湖最本质的特点。我举个例子传统数仓的做法Schema-on-Write-- 先建表字段必须提前定死 CREATE TABLE sales ( order_id INT, amount DECIMAL(10,2) ); -- 数据必须符合这个结构不然滚蛋数据湖的做法Schema-on-Read# 直接扔进来不管结构 {user_id: U123, action: click, extra: {x: 100, y: 200}} # 用的时候再决定取啥字段 df spark.read.json(s3://data-lake/events/) df.select(user_id, action).show() # 今天分析这个 df.select(user_id, extra).show() # 明天分析那个不用改表人话翻译数仓 先装修再入住没装修好的房子不让进数据湖 先入住再装修住进去了按需收拾三种存储到底啥区别对比项数据库数据仓库数据湖给谁用开发小哥写业务代码BI分析师出报表算法工程师搞模型收啥数据规整的表格清洗过的表格啥都收表格、日志、图片、视频啥时候定格式写入时写入时读取时才定存多少钱中等贵专有硬件便宜云存储几分钱/GB查多快毫秒级秒级分钟级看计算引擎典型场景下单、转账月度经营分析机器学习、用户画像、推荐系统一句话定位数据库让业务跑起来数据仓库让老板更加看清楚过去数据湖让算法探索未来可能性数据湖到底好在哪4个真香时刻1. 打破数据孤岛一处存储到处用以前视频团队存OSS、日志团队存ES、业务团队存MySQL各玩各的。数据湖直接统一扔S3上结构化数据 → Spark SQL查文本日志 → Spark NLP分析图片视频 → PyTorch直接读2. 省钱PB级数据也能养得起仅供参考 方案大概啥水平商业数仓Teradata贵得离谱大概是对象存储的几十倍云数仓Snowflake中等偏贵大概是对象存储的5-10倍对象存储S3/OSS便宜到离谱几分钱1GB100TB数据存商业数仓一年烧的钱够在对象存储上存十几年的。如果迁到数据湖存储成本直接砍到原来的十分之一左右3. 原始数据全保留不丢任何信息真实案例某金融公司存了5年交易日志当初只觉得操作耗时这字段没用ETL时给扔了。结果两年后风控团队发现这个字段能训练反欺诈模型识别异常操作模式。早扔早后悔数据湖全量保存就没这问题。4. AI时代的刚需搞机器学习需要原始特征数仓给的是聚合指标比如用户平均停留时长算法要的是原始行为几点几分暂停了、快进到哪里。只有数据湖能低成本存这些细粒度数据。某视频平台直接用原始观看行为训练推荐模型点击率比用数仓聚合数据提升了23%。数据湖最适合干啥3个典型场景场景1推荐系统多模态数据混存短视频平台要分析用户画像表格 点击日志JSON 视频内容文件 背景音乐音频。传统做法拆4个系统存联合分析头大。数据湖做法统一扔Iceberg格式Spark一站式处理算法团队直接在上面跑PyTorch。App埋点 → Kafka → Flink实时写入 → 数据湖 ↓ 离线Spark SQL分析 实时Flink特征工程 → 在线模型场景2物联网监控海量时序数据10万辆车每秒上报传感器数据PB级爆发。分层存储策略热数据7天内SSD加速实时监控温数据7-90天标准存储趋势分析冷数据90天归档存储成本再降80%故障时追溯用场景3合规审计长期归档金融监管要求存5-10年流水平时没人查但不敢删。存数仓太贵扔数据湖归档成本降90%审计时随时调取。数据湖的3个大坑踩过才知道疼坑1数据沼泽Data Swamp症状湖里有几PB数据但没人知道有啥、质量咋样、找谁申请。最后变成垃圾场不敢用、不敢删。怎么避入湖必须登记owner是谁、干啥用的、多久更新上元数据管理工具Apache Atlas、DataHub定期清理僵尸数据没owner、半年具体参考公司实际情况没人访问的行业数据67%的企业搞数据湖都遇到过治理问题别觉得自己能幸免。坑2查询慢得要死症状业务方说查个数等10分钟还不如用数仓。优化方法文件格式换成Parquet/ORC列式存储查得快热数据预聚合冷数据保持原始上Iceberg/Delta Lake/Hudi查询速度能快3-5倍坑3技术栈太复杂Spark、Flink、Presto、Hive一堆组件小公司根本养不起运维团队。解法直接用托管服务AWS Lake Formation阿里云数据湖构建DLFDatabricks免运维但贵点Lakehouse现在的主流玩法简单说数据湖 数仓的能力 Lakehouse湖仓一体以前数据湖缺啥事务支持ACID、数据质量、查询性能。现在有了开放表格式补齐了这些短板。表格式特点适合谁Apache Iceberg生态最开放Flink/Spark/Trino都能用不想被厂商绑定的Delta LakeSpark生态最强Databricks深度集成已经用Spark的Apache Hudi实时更新最强CDC场景首选要实时同步MySQL变更的选型建议初创公司/技术栈杂 → IcebergSpark重度用户 → Delta Lake实时数仓场景 → Hudi那么你的场景该用啥搞数据架构别想太复杂问自己这几个问题就行1. 你的数据都是规规矩矩的表格吗字段固定不变是 → 直接用传统数仓MySQL/ClickHouse简单省事不是 → 往下看2. 有没有图片、视频、日志这些乱七八糟的数据有 → 必须上数据湖数仓不收这些没有 → 往下看3. 数据量多大超过10TB → 数据湖或Lakehouse成本低没超过 → 往下看4. 主要干啥用每天固定报表 → 数仓开发快性能好探索性分析、搞机器学习 → 数据湖灵活5. 需要实时更新还要强一致性吗要 → LakehouseIceberg/Delta/Hudi不要 → 普通数据湖就行更简单粗暴的版本你的情况选啥就几张表每天跑报表MySQL/ClickHouse数据杂、量大、要搞AI数据湖既要报表又要AI还要实时Lakehouse不知道以后要干啥数据湖先囤着总没错老刘最后怎么选的用户行为日志JSON量大→ 扔数据湖实时推荐要原始数据 → 数据湖直接读固定经营报表 → 从数据湖抽数到ClickHouse出报表湖仓并存各干各的。说点实在的数据湖不是来取代数仓的是填补空白热数据、固定报表 → 数仓冷数据、探索分析、AI训练 → 数据湖现代架构趋势是湖仓并存通过Lakehouse技术逐渐融合。理解区别比盲目追新重要。想动手试试本地玩Docker搭MinIO Spark Iceberg云上玩AWS S3 Athena无服务器按查询付费托管玩Databricks Community Edition免费最后欢迎各位大佬批评指正