历史服务器

二、配置历史服务器
在spark-3.1.1-bin-hadoop2.7/conf/spark-defaults.conf添加以下配置，其中d:/log/spark为日志保存位置
spark.eventLog.enabled true
spark.eventLog.dir file:///d:/log/spark
spark.eventLog.compress true
spark.history.fs.logDirectory file:///d:/log/spark
使用命令启动历史服务器，可以看到启动的端口号，通过 http://localhost:端口号 访问历史服务器
Spark-class org.apache.spark.deploy.history.HistoryServer

在scala代码中的SparkSession添加以下配置
.config(“spark.eventLog.enabled”, value = true)
.config(“spark.eventLog.dir”, “file:///D:/log/spark”)
.config(“spark.history.fs.logDirectory”, “file:///D:/log/spark”)