Spark/Kafka

---

---

项目地址

• 教程作者：
• 教程地址：

• 代码仓库地址：

• 所用到的框架和插件：

dbt 
airflow

一、Spark

1. RDD

1.最小计算单元，读取数据时，进行了分区partition，然后将partion交给task 执行

• 弹性存储：内存和磁盘自动切换
• 容错：丢失数据自动恢复
• 计算：计算出错重试
• 分片：根据需要重新分片

1.1 五大核心属性

1. 分区列表：RDD数据结构存在分区列表，用于执行并行计算，实现分布式计算的重要
2. 分区计算函数：使用同一个计算函数，对每一个分区进行计算
3. RDD依赖关系：多个RDD形成的依赖关系，通过依赖关系形成列表
4. 分区器：将数据进行分区处理
5. 首选位置:

1.2 执行原理

• Spark 框架在执行时，先申请资源，创建调度节点和计算节点，然后将应用程序的数据处理逻辑分解成一个一个的计算任务。然后将任务发到已经分配资源的计算节点上，按照指定的计算模型进行数据计算。最后得到计算结果。
  

1.3 四种创建方式

1. 从集合（内存）创建
2. 从外部存储（文件）创建RDD
3. 从其他的RDD创建
4. 直接创建RDD（NEW）

二、Kafka

• 教程地址
• 整体架构
  
• kafka功能：

1. 缓存消峰
2. 解耦
3. 异步通讯

• 消息模式：
<