Flink架构的核心组件：Task、Job、TaskManager与JobManager

文章目录前言一、整体架构概览二、JobManager — 集群的“大脑”2.1 定义与职责2.2 核心职责2.3 内部组件2.4 代码示例提交作业到JobManager三、TaskManager — 真正的“执行者”3.1 定义与职责3.2 核心职责3.3 Slot — 资源的最小单位3.4 TaskManager配置示例四、Job — 用户提交的“作业”4.1 定义4.2 从代码到执行4.3 Job的并行度五、Task — 最小的执行单元5.1 定义5.2 Subtask与并行度5.3 算子链Operator Chain六、四者关系图解关系总结表七、常见面试题Q1JobManager挂了怎么办Q2TaskManager和Slot的关系是什么Q3一个TaskManager宕机会有什么影响Q4并行度大于Slot总数会怎样八、总结前言在学习和使用Apache Flink的过程中很多初学者常常会被几个核心概念搞混Task、Job、TaskManager、JobManager。它们之间到底是什么关系各自扮演什么角色今天这篇文章就来彻底讲清楚这四个Flink中的核心概念。一、整体架构概览首先让我们从Flink的运行时架构说起。一个Flink集群通常遵循**主从架构Master-Worker**模式Master角色JobManagerWorker角色TaskManager而Job和Task则是运行在这套架构上的逻辑单元。简单来说JobManager管“调度”TaskManager干“苦力”Job是“任务单”Task是“具体活”下面我们逐一深入分析。二、JobManager — 集群的“大脑”2.1 定义与职责JobManager是整个Flink集群的控制中心负责协调和管理分布式任务的执行。每个Flink集群至少有一个JobManager高可用模式下可以有多个通过Leader选举确定主节点。2.2 核心职责职责说明作业管理接收用户提交的Job生成执行计划ExecutionGraph资源管理向TaskManager分配slot协调资源任务调度将ExecutionGraph中的任务分发给TaskManager执行Checkpoint协调触发和管理分布式Checkpoint容错机制核心故障恢复检测Task失败并重新调度2.3 内部组件JobManager内部主要包含三个重要组件ResourceManager负责管理TaskManager的slot资源Dispatcher提供REST接口接收作业提交启动JobMasterJobMaster负责单个作业的执行管理每个作业对应一个JobMaster2.4 代码示例提交作业到JobManager// 创建Flink环境连接到JobManagerStreamExecutionEnvironmentenvStreamExecutionEnvironment.getExecutionEnvironment();// 定义数据处理逻辑DataStreamStringtextenv.socketTextStream(localhost,9999);DataStreamLongcountstext.flatMap((line,out)-{for(Stringword:line.split( )){out.collect(word);}}).returns(String.class).map(word-1L).keyBy(value-value.f0).sum(1);// 提交作业到JobManager执行counts.print();env.execute(My Flink Job);三、TaskManager — 真正的“执行者”3.1 定义与职责TaskManager是Flink集群中的工作节点真正执行计算任务的Worker进程。每个TaskManager是一个独立的JVM进程负责管理自己内部的资源以Slot为单位并执行具体任务。3.2 核心职责职责说明任务执行执行JobManager分配给它的Task数据交换负责不同Task之间的网络数据传输Shuffle内存管理管理托管内存Managed Memory用于排序、缓存等心跳上报定期向JobManager发送心跳报告状态和资源使用情况Checkpoint执行参与状态快照的创建与存储3.3 Slot — 资源的最小单位每个TaskManager内部会划分出多个Task Slot这是Flink中资源分配的最小单位。TaskManager JVM ┌─────────────────────────────────────┐ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ Slot 1 │ │ Slot 2 │ │ Slot 3 │ │ │ │ Task A │ │ Task B │ │ Task C │ │ │ └─────────┘ └─────────┘ └─────────┘ │ └─────────────────────────────────────┘Slot的特点一个Slot可以运行一个任务的并行子任务Subtask同一个TaskManager中的Slot共享JVM资源内存、TCP连接等默认情况下同一个TaskManager的不同Slot之间是隔离的但可以复用网络连接3.4 TaskManager配置示例# flink-conf.yaml 配置taskmanager.numberOfTaskSlots:4# 每个TaskManager的slot数量taskmanager.memory.process.size:2048m# TaskManager进程总内存taskmanager.memory.managed.size:512m# 托管内存大小taskmanager.memory.network.min:128m# 网络缓冲区最小内存四、Job — 用户提交的“作业”4.1 定义Job是用户通过Flink API编写的一个完整的数据处理应用程序。它包含了数据源Source、数据转换Transformation、数据输出Sink的完整拓扑结构。4.2 从代码到执行一个Job的生命周期如下用户代码 → StreamGraph → JobGraph → ExecutionGraph → 物理执行阶段说明StreamGraph根据代码生成的初始逻辑执行计划包含算子JobGraph经过优化如算子链合并后的逻辑执行计划ExecutionGraphJobManager将JobGraph并行化后的物理执行计划物理执行TaskManager执行具体的Subtask4.3 Job的并行度一个Job可以被拆分为多个并行的Subtask并行度Parallelism决定了Subtask的数量。// 设置全局并行度env.setParallelism(4);// 为特定算子设置并行度dataStream.map(x-x*2).setParallelism(8);五、Task — 最小的执行单元5.1 定义Task是Flink中最小的执行单元。当JobManager将Job提交给TaskManager执行时Job会被拆分成多个Task每个Task在TaskManager的Slot中独立运行。5.2 Subtask与并行度每个Task实际上是Job中某个算子的一个并行子任务Subtask。Job (Parallelism 3) ┌─────────────────────────────────────────┐ │ Source Task │ │ ├── Subtask 1 (Slot 1) │ │ ├── Subtask 2 (Slot 2) │ │ └── Subtask 3 (Slot 3) │ │ │ │ Map Task │ │ ├── Subtask 1 (Slot 1) │ │ ├── Subtask 2 (Slot 2) │ │ └── Subtask 3 (Slot 3) │ └─────────────────────────────────────────┘5.3 算子链Operator Chain为了优化性能Flink会将多个算子合并成一个Task这称为算子链。合并的条件是上下游并行度相同是一对一One-to-One的数据传输模式// 禁用算子链用于调试或特殊场景dataStream.map(x-x*2).disableChaining();// 开启新链dataStream.map(x-x*2).startNewChain();六、四者关系图解下面这张图清晰地展示了四者之间的关系┌─────────────────────────────────────────────────────────────────┐ │ Flink Cluster │ │ ┌───────────────────────────────────────────────────────────┐ │ │ │ JobManager │ │ │ │ ┌─────────┐ ┌─────────┐ ┌─────────┐ │ │ │ │ │JobMaster│ │Resource │ │Dispat- │ │ │ │ │ │ │ │Manager │ │atcher │ │ │ │ │ └─────────┘ └─────────┘ └─────────┘ │ │ │ │ ↑ ↑ ↑ │ │ │ │ │ 调度Job │ 管理Slot │ 接收提交 │ │ │ └───────┼────────────┼────────────┼──────────────────────────┘ │ │ │ │ │ │ │ ▼ ▼ ▼ │ │ ┌───────────────────────────────────────────────────────────┐ │ │ │ TaskManager │ │ │ │ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ │ │ │ │ Slot 1 │ │ Slot 2 │ │ Slot 3 │ │ │ │ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ ┌─────────┐ │ │ │ │ │ │ │ SubTask │ │ │ │ SubTask │ │ │ │ SubTask │ │ │ │ │ │ │ │ (Task) │ │ │ │ (Task) │ │ │ │ (Task) │ │ │ │ │ │ │ └─────────┘ │ │ └─────────┘ │ │ └─────────┘ │ │ │ │ │ └─────────────┘ └─────────────┘ └─────────────┘ │ │ │ └───────────────────────────────────────────────────────────┘ │ └─────────────────────────────────────────────────────────────────┘ Job (逻辑层面) ┌─────────────────────┐ │ Source → Map → Sink │ └─────────────────────┘关系总结表概念类型层级生命周期举例JobManager进程集群主节点随集群启动1个集群有1~N个TaskManager进程集群工作节点随集群启动1个集群有M个Job逻辑单元应用层提交→完成每个作业1个Task执行单元物理层作业执行期间1个Job有K个七、常见面试题Q1JobManager挂了怎么办A如果开启了高可用HA模式Flink会使用ZooKeeper进行Leader选举备用JobManager会自动接管。作业可以从最近的Checkpoint恢复。如果没有HA作业会失败。Q2TaskManager和Slot的关系是什么A一个TaskManager是一个JVM进程包含多个Slot。Slot是资源分配的最小单位每个Slot可以运行一个Subtask。Slot之间共享JVM资源但任务执行是隔离的。Q3一个TaskManager宕机会有什么影响A该TaskManager上运行的所有Subtask会失败。JobManager会检测到心跳超时然后根据Checkpoint将这些Subtask重新调度到其他可用的TaskManager上执行。Q4并行度大于Slot总数会怎样A如果作业的并行度大于所有TaskManager的Slot总数作业会处于等待状态直到有足够的Slot资源可用。八、总结组件一句话总结JobManager集群的“大脑”负责调度和协调TaskManager集群的“手脚”负责真正执行计算Job用户提交的“作业蓝图”描述数据处理逻辑Task执行的最小单元是Job并行化后的实际工作负载理解这四个核心概念是掌握Flink架构设计的基石。希望这篇文章能帮助你理清它们之间的关系在实际开发和调优中更加得心应手。如需获取更多关于 Flink流处理核心机制、状态管理与容错、实时数仓架构 等深度解析请持续关注本专栏《Flink核心技术深度与实践》系列文章。