Flink History Server配置

目录

问题复现

History Server配置

HADOOP_CLASSPATH配置

History Server配置

问题修复

启动flink集群

启动Histroty Server

---

问题复现

在bigdata111上执行如下命令开启socket：

nc -lk 9999

 如图：

在bigdata111上执行如下命令运行flink应用程序 

flink run -c com.leboop.SocketStreamingWordCount /root/jars/flink-1.0-SNAPSHOT.jar --host bigdata111 --port 9999

 运行成功后，登录http://bigdata111:8081/#/overview

 打开flink web ui页面，如图：

此时点击Cancel Job取消任务，如图：

 可以在Completed Job List中看到刚刚被取消的任务，如图：

 此时重启flink集群，如图：

 再次登录flink web ui，如图：

刚被取消的任务已经不显示。 重启集群后不显示历史任务。

---

History Server配置

        集群现有的角色分布如下：

IP地址	主机名称	Flink角色
192.168.128.111	bigdata111	master
192.168.128.112	bigdata112	worker
192.168.128.113	bigdata113	worker

可以选择任意一条服务器作为History Server节点，这里选择bigdata112作为History Server节点。

HADOOP_CLASSPATH配置

在三台服务器上配置HADOOP_CLASSPATH，配置步骤如下：

执行如下命令，打开配置文件：

vi /etc/profile

在文件末尾添加如下配置内容：

# historyserver
export HADOOP_CLASSPATH=`hadoop classpath`

 执行如下命令，生效配置文件：

source /etc/profile

如图： 

History Server配置

        三台服务器上同时配置。执行如下命令，打开bigdata111服务器flink安装目录下的flink-conf.yaml配置文件

vi /opt/flink-1.9.3/conf/flink-conf.yaml

 默认配置如下：

改为如下配置：

#==============================================================================
# HistoryServer
#==============================================================================# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
jobmanager.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/# The address under which the web-based HistoryServer listens.
historyserver.web.address: bigdata112# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8082# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 10000

 将配置好flink-conf.yaml复制到其它节点（bigdata112、bigdata113），命令如下：

scp -r flink-conf.yaml bigdata112:`pwd`
scp -r flink-conf.yaml bigdata113:`pwd`

问题修复

启动flink集群

        执行start-cluster.sh启动flink集群，如图：

启动成功后，JobManager和TaskManager进程如图： 

启动Histroty Server

        在bigdata112上，执行如下命令启动historyserver

historyserver.sh start

启动成功后，如图： 

登录如下地址，访问history server的web ui页面

http://bigdata112:8082/#/overview

如图：

暂时什么还没有。在bigdata111上打开socket，并运行flink应用程序，如图：

此时在hdfs上并未创建存储已完成Job数据的目录（ hdfs:///flink-cluster/standalone/completed-jobs/），如图：

同样History Server web ui页面也不显示job信息。可以在JobManager web ui界面看到运行的任务，如图：

 现在取消任务，任务取消后，在HDFS上生成存储已完成Job的数据目录，如图：

同时在History Server web ui已完成Job列表中会显示该作业，如图：

现在重启flink集群和History Server，如图：

重启以后在History Server  web ui页面会显示该Job（JobManager Server依然不显示）。