Flink集成资源管理器

Flink集成资源管理器

Apache Flink 支持多种资源管理器，主要包括以下几种‌：

• YARN ResourceManager ‌：适用于使用 Hadoop YARN 作为资源管理器的环境。YARN ResourceManager 负责管理集群中的资源，包括 CPU、内存等，并根据 Flink 的需求动态申请和释放资源‌。
• Kubernetes ResourceManager ‌：适用于使用 Kubernetes 作为资源管理器的环境。Kubernetes ResourceManager 能够根据 Flink 作业的需求，动态启动和停止 TaskManager 容器，从而实现资源的灵活管理和高效利用‌。
• Mesos ResourceManager ‌‌：适用于使用 Mesos 作为资源管理器的环境。Mesos ResourceManager 提供跨应用的资源隔离和共享，能够根据 Flink 作业的需求分配资源‌。
• Standalone ResourceManager ‌ ‌：适用于独立部署的 Flink 集群。Standalone ResourceManager 不依赖于外部资源管理器，能够独立管理集群内的资源‌。

资源管理器的作用和重要性
资源管理器在 Flink 中扮演着至关重要的角色，主要负责以下功能：

• ‌资源分配‌ ‌：根据 Flink 作业的需求，动态申请和分配计算资源，如 CPU、内存等‌。
• 任务调度 ‌‌：管理 TaskManager 的启动和停止，确保作业能够高效运行‌。
• ‌ ‌故障恢复‌ ‌：在任务失败时，能够快速重新调度和恢复任务，保证系统的稳定性和可靠性‌。
• 高可用性‌ ‌：支持高可用设置，确保在主 JobManager 失败时，备用 JobManager 能够接管，保证服务的连续性‌。

Flink集成YARN

有两种方式，环境变量法和jar法：

1. 环境变量

在 Flink 的配置文件中设置 Hadoop 的环境变量，让 Flink 能够访问 Hadoop 的配置和文件系统。例如，可以通过设置 HADOOP_CLASSPATH 环境变量来实现。

# 新建文件vim /etc/profile.d/bigdata_enb.sh # Hadoop环境变量
export HADOOP_HOME=/opt/module/hadoop/hadoop-3.3.4
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin# Flink集成Hadoop环境, 其中 ` 是执行 hadoop classpath命令，非文本
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

2. jar 法

将 Hadoop 的依赖打包到 Flink 的 uber jar 包中，这样 Flink 就能够直接访问 Hadoop 的 API 和文件系统。例如，hadoop3.0+可以下载 flink-shaded-hadoop-3-uber.jar、hadoop2.0+下载flink-shaded-hadoop-2-uber.jar 包并将其放在 Flink 的 lib 目录中。