Spark on k8s 源码解析执行流程

Spark on k8s 源码解析执行流程

1.通过spark-submit脚本提交spark程序
在spark-submit脚本里面执行了SparkSubmit类的main方法

2.运行SparkSubmit类的main方法，解析spark参数，调用submit方法

3.在submit方法里调用doRunMain方法，最终调用runMain方法

4.在runMain方法里面获取mainClass，再去执行start方法
1、准备提交环境

2、获取类加载器

3、判断是否是sparkApplication

4、执行sparkApplication的start方法

5.在start方法里面去调用KubernetesClientApplication的start方法

1、获取k8s的集群域名，调用k8s的客户端，传入spark相关配置参数

6.调用Client的run方法,通过k8s的apiserver创建Container pod 然后在container中创建driver pod
1、创建configmap

2、创建driver pod

7 Driver的启动

上面通过KubernetesClientApplication创建driver之后，会在docker的run的时候，触发ENTRYPOINT或者CMD的命令，作为容器运行的主进程。Spark镜像的ENTRYPOINT是/opt/entrypoint.sh，driver模式下里面的内容基本就是把arg参数传递给/bin/spark-submit，然后指定以client模式再次启动一个SparkSubmit进程。

创建driver的command

执行driver命令的shell文件

启动SparkSubmit的源码，和上面分析的一样，只不过这次是以client模式提交的，所以不再会调用到org.apache.spark.deploy.k8s.submit.KubernetesClientApplication，而是直接调用–class后面的作业Class的main方法，在我们的例子中就是直接执行org.apache.spark.examples.SparkPi。

SparkContext创建过程，重点是
1、创建了TaskScheduler（taskSet的调度执行）

2、DagScheduler（根据宽窄依赖划分Stage），
3、HeartbeatReceiver（executor向driver定时发送心跳）。