Spark资源规划-资源上线评估

1、总体原则

以单台服务器 128G 内存，32 线程为例。
先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节点的 yarn 内存/每个节点数量=单个节点的数量
总的 executor 数=单节点数量*节点数。

2、具体提交参数

1）executor-cores
每个 executor 的最大核数。根据经验实践，设定在 3~6 之间比较合理。
2）num-executors
该参数值=每个节点的 executor 数 * work 节点数
每个 node 的 executor 数 = 单节点 yarn 总核数 / 每个 executor 的最大 cpu 核数考虑到系统基础服务和 HDFS 等组件的余量，yarn.nodemanager.resource.cpu-vcores 配 置为： 28，参数 executor-cores 的值为：4，那么每个 node 的 executor 数 = 28/4 = 7,假设集
群节点为 10，那么 num-executors = 7 * 10 = 70
3）executor-memory
该参数值=yarn-nodemanager.resource.memory-mb / 每个节点的 executor 数量
如果 yarn 的参数配置为 100G，那么每个 Executor 大概就是 100G/7≈14G, 同时要注意yarn 配置中每个容器允许的最大内存是否匹配。

Spark的提交参数

		spark-submit常用参数--master 指定任务提交到哪个资源调度器中--executor-memory 指定每个executor的内存大小--executor-cores 指定每个executor的cpu核数--total-executor-cores 指定所有executor的cpu总核数[仅限于standalone模式使用]--num-executors 指定任务需要的executor个数[仅限于yarn模式使用]--queue 指定任务提交到哪个资源队列中[仅限于yarn模式使用]--deploy-mode 指定任务的部署模式[client/cluster]--driver-memory 指定driver的内存大小--class 指定待运行的带有main方法object的全类名