【大数据】大数据学习路线

职位选择

首先明确一点：大数据涉及的知识面广度还是有的，需要学习的组件繁多，想要每一项精通几乎不可能，所以企业在招聘的时候会进行细分，基于某个方向进行招聘，比如关键字，数据仓库工程师、数据治理工程师、大数据开发工程师、大数据算法工程师、ETL工程师等。我们在学习的时候也要有所侧重，保证自己兴趣所致并重点关注。
方向1：ETL工程师
ETL：数据抽取、转换、加载
ETL工作属于业务与数据的交点、需要处理上下游的关系，首先，需要对业务层面非常熟悉，其次，需要对接数据开发工程师、数据科学家，整理并准备数据、进行数据清洗、整理、融合。

方向2：数据仓库工程师
数仓会细化离线数仓和实时数仓、目前离线数仓方向发展的已经很成熟了，实时数仓是未来趋势和方向。

方向3：数据治理工程师（国企岗位居多）
数据治理的工作内容主要是对数据进行分类处理、指标整理、熟悉业务流程。
基

方向4：大数据开发工程师
大数据开发需要有良好的Java后端开发能力以及不错的源码阅读能力

大数据学习路线

系统的学习大数据相关的课程，可按照如下顺序学习
需要先掌握 Java SE 阶段，Linux 基础命令，MySQL数据库
如果上述基础技能没有掌握，可网上搜索相关课程进行学习（这类基础课程网上免费的特别多）
Java可以先学习 Java SE
会在虚拟机中安装Linux发行版本（建议安装 CentOS），学完Linux基础即可。
MySQL需要学习 sql 语法，范式，事务等。（Sql能力是必备的，没有上限）
如果以上技能你都掌握的话，接下来就进入大数据框架
可按照如下顺序进行学习（涵盖ETL、数仓、开发等岗位）
Hadoop -> Zookeeper -> Hive -> Flume && Sqoop && DataX-> Azkaban && DolphinScheduler -> 数仓建模理论+实践 ->离线数仓项目 ->Kafka -> Hbase -> Spark -> Doris-> Flink -> 实时数仓项目 ->数据治理相关知识 ->数据湖（Hudi,Iceberg）

注1.橙色为优先学习组件
** 2.大家一定要重视自己的后端开发能力，要至少做到不比后端同学差，不要让这方面的能力成为制约你职业发展的束缚。**

学习视频推荐

编程语言

关于编程语言这部分，大部分同学都是Java附带Scala技能加点，当然如果你学了一点Python的东西也是一个加分项。那么关于Java语言你可以参考下面这个视频，尤其是如果你的语言基础极差，都没有用过Java语言。

《Java基础到高级-宋红康》
https://www.bilibili.com/video/BV1Qb411g7cz

数据结构

《数据结构-浙江大学》
https://www.bilibili.com/video/BV1JW411i731

Linux基础

Linux基础这块对于数据开发非常重要，因为大家平时接触过的数据框架的搭建过程涉及大量的Linux命令操作，并且在系统级别的调优还会接触atime、ulimit这种比较高级的命令。

《史上最牛的Linux视频教程—兄弟连》
https://www.bilibili.com/video/av18156598

数据库入门

基于MySQL了解常见的SQL语法，大数据领域SQL化是未来的发展方向。

MySQL数据库教程天花板
https://www.bilibili.com/video/BV1Kb411W75N

Hadoop

尚硅谷大数据Hadoop教程（Hadoop 3.x安装搭建到集群调优）
https://www.bilibili.com/video/BV1Qp4y1n7EN/

Hive

尚硅谷大数据Hive 3.x教程
https://www.bilibili.com/video/BV1g84y147sX/?

Kafka

尚硅谷Kakfa3.X教程
https://www.bilibili.com/video/BV1vr4y1677k/

Spark

尚硅谷大数据Spark教程从入门到精通
https://www.bilibili.com/video/BV11A411L7CK

Flink

【尚硅谷】Flink1.13实战教程(Java)
https://www.bilibili.com/video/BV133411s7Sa/
【尚硅谷】Flink1.13实战教程(Scala)
https://www.bilibili.com/video/BV1zr4y157XV/

Hudi

Hudi数据湖
https://www.bilibili.com/video/BV1ue4y1i7n

Doris

【尚硅谷】大数据Apache Doris教程
https://www.bilibili.com/video/BV15S4y1h7Kt

Sqoop

尚硅谷Sqoop教程(sqoop大数据开发标配)
https://www.bilibili.com/video/BV1jb411A7tc/

Flume

【尚硅谷】大数据技术之Flume教程从入门到实战

https://www.bilibili.com/video/BV1wf4y1G7EQ

DataX

【尚硅谷】Alibaba开源数据同步工具DataX技术教程

https://www.bilibili.com/video/BV1H44y1x76X

Atlas

【尚硅谷】大数据技术之Atlas数据治理
https://www.bilibili.com/video/BV1jA411F76d/

项目学习

离线数仓

尚硅谷大数据项目【电商数仓5.0】

https://www.bilibili.com/video/BV1AT411j7hu

实时数仓

尚硅谷大数据之Flink实时数仓3.0
https://www.bilibili.com/video/BV1TG411a7nL

数据中台

大数据九章云台项目
https://www.bilibili.com/video/BV1vR4y1z79G

注：电商数仓项目早已烂大街，尽量不要把这两个项目写到自己的简历上。