spark集群问题汇总

一、 磁盘问题

问题描述	可能原因	解决措施
core节点磁盘不足, 并且持续增加	未开启spark-history的日志清理	打开日志清理:  spark.history.fs.cleaner.enabled
task节点磁盘不足	APP应用使用磁盘过大: 1. 严重的数据倾斜 2. 应用本身数据量大	1. 解决数据倾斜 2. 加大资源, 增加excutor的数量, 分散压力

二、spark-history问题 

1. CPU报警

historyserver由于内存不足(大量fullgc)导致CPU使用上涨, 处理方法如下:

1. 开启日志清理;
2. 缩短日志生命周期;
3. 开启日志压缩;
4. 调高日志的输出级别;
5. 增加服务的资源;
6. 调高日志合并频次;

-

三、参数未生效

保存失败;

参数错误;

时间未到;

没有重启;