【云原生kubernetes】k8s中job与cronjob使用详解

一、前言

job，顾名思义就是任务，job的概念在很多框架中都有，而且实际业务场景中也使用非常广泛，比如大家熟悉的hadoop，客户端可以向集群提交一个job，然后集群根据一定的调度策略来处理这个job；

k8s中的job，主要用于批量处理的业务场景，比如像那种短暂的一次性任务(每个任务仅运行一次就结束)；

二、k8s中job特点

• 当Job创建的pod执行成功结束时，Job将记录成功结束的pod数量；
• 当成功结束的pod达到指定的数量时，Job将完成执行；

job与pod的关系如下图

三、Job模板配置文件核心配置参数

如下为job的一个模板配置yaml文件中的部分核心配置参数

apiVersion: batch/v1 # 版本号
kind: Job # 类型       
metadata: # 元数据name: # rs名称 namespace: # 命名空间 labels: controller: job
spec: completions: 6 # 指定job需要成功运行Pods的次数。默认值: 1parallelism: 3 # 指定job在任一时刻应该并发运行Pods的数量。默认值: 1ttlSecondsAfterFinished: 5activeDeadlineSeconds: 30 # 指定job可运行的时间期限，超过时间还未结束，系统将会尝试进行终止。backoffLimit: 5 # 指定job失败后进行重试的次数。默认是6manualSelector: true # 是否可以使用selector选择器选择pod，默认是falseselector: # 选择器，通过它指定该控制器管理哪些podmatchLabels:      # Labels匹配规则app: counter-podmatchExpressions: # Expressions匹配规则- {key: app, operator: In, values: [counter-pod]}template: # 模板，当副本数量不足时，会根据下面的模板创建pod副本metadata:labels:app: counter-podspec:restartPolicy: Never # 重启策略只能设置为Never或者OnFailurecontainers:- name: counterimage: busybox:1.30command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

可以参照各个参数的备注加以理解，下面对其中部分参数做补充说明；

3.1 ttlSecondsAfterFinished

• 当设置了ttlSecondsAfterFinished参数，job完成或者失败后都会在ttlSecondsAfterFinished所设置的时间后被清理；
• 假设ttlSecondsAfterFinished 设置成30。在job完成或者失败后30s，job就会被自动清除，包括job和job所管理的pod都会被清除；
• 假设没有设置，job和job所管理的pod会一直存在，不管是失败还是成功，不过好像有些k8s的版本ttlSecondsAfterFinished是不生效的，建议使用1.20以上的版本；

3.2 activeDeadlineSeconds

• Job的超时时间，一旦一个Job运行的时间超出该限制，则Job失败，所有运行中的Pod会被结束并删除；
• 该配置指定的值必须是个正整数，不指定则不会超时；
• 但是经过实验，job pod并不会自动删除，所以如果希望超时后pod会自动删除还是设置一下ttlSecondsAfterFinished；

3.3 backoffLimit

• 允许执行失败的次数，默认值是6，0表示不允许执行失败；
• 如果Pod是restartPolicy为Nerver，则失败后会创建新的Pod，如果是OnFailed，则会重启Pod，不管是哪种情况，只要Pod失败一次就计算一次，而不是等整个Pod失败后再计算一个；
• 当失败的次数达到该限制时，整个Job随即结束，所有正在运行中的Pod都会被删除；
• 但是经过实验，jobpod并不会自动删除，所以如果希望超时后pod会自动删除还是设置一下ttlSecondsAfterFinished；

3.4 parallelism

并行运行的Pod的个数，默认值为1，假如设置为3，就会同时开启3个pod去执行任务

3.5 completions

• 完成该Job需要执行成功的Pod数；
• 指定需要完成的数量，默认值为1，假设设置为3，需要有三个pod成功完成任务，这个job才算是完成；

四、job案例操作演示

在当前目录下创建一个jod-pod.yaml文件，配置如下内容

apiVersion: batch/v1
kind: Job      
metadata:name: test-jobnamespace: default
spec:manualSelector: trueselector:matchLabels:app: counter-podtemplate:metadata:labels:app: counter-podspec:restartPolicy: Nevercontainers:- name: counterimage: busybox:1.30command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply创建pod

在另外的两个窗口，我们提前打开监控pod和job的执行情况，可以看到下面的完整执行过程；

从job的执行过程来看，经历了从无到有以及到最终的STATUS状态为Completed的过程，这个也和上文提到的job的生命周期描述吻合；

 

对于Pod的执行过程来看，从下面这张图可以清晰看到STATUS的各个阶段变化的完整过程；

 其他的模板中的参数可以直接往里面添加即可在job运行过程中看到效果，比如我们在该模板文件中补充两个参数；

再次运行这个job，通过job和pod的监控信息，看到如下的效果；

 

五、cronjob 理论

CronJob其实就是在Job的基础上加上了时间调度，我们可以：在给定的时间点运行一个任务，也可以周期性地在给定时间点运行。这个实际上和我们Linux中的crontab就非常类似了。

CronJob控制器以 Job控制器资源为其管控对象，并借助它管理pod资源对象，Job控制器定义的作业任务在其控制器资源创建之后便会立即执行，但CronJob可以以类似于Linux操作系统的周期性任务作业计划的方式控制其运行时间点及重复运行的方式。也就是说，CronJob可以在特定的时间点(反复的)去运行job任务。

cronjob 运行原理图

六、cronjob 模板配置文件核心配置参数

如下为cronjob模板配置文件中核心参数；

apiVersion: batch/v1beta1 # 版本号
kind: CronJob # 类型       
metadata: # 元数据name: # rs名称 namespace: # 命名空间 labels: #标签controller: cronjob
spec: # 详情描述schedule: # cron格式的作业调度运行时间点,用于控制任务在什么时间执行concurrencyPolicy: # 并发执行策略，用于定义前一次作业运行尚未完成时是否以及如何运行后一次的作业failedJobHistoryLimit: # 为失败的任务执行保留的历史记录数，默认为1successfulJobHistoryLimit: # 为成功的任务执行保留的历史记录数，默认为3startingDeadlineSeconds: # 启动作业错误的超时时长jobTemplate: # job控制器模板，用于为cronjob控制器生成job对象;下面其实就是job的定义metadata:spec:completions: 1parallelism: 1activeDeadlineSeconds: 30backoffLimit: 6manualSelector: trueselector:matchLabels:app: counter-podmatchExpressions: 规则- {key: app, operator: In, values: [counter-pod]}template:metadata:labels:app: counter-podspec:restartPolicy: Never containers:- name: counterimage: busybox:1.30command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]

关于配置文件中的补充参数说明

concurrencyPolicy

concurrencyPolicy 配置策略

• Allow:   允许Jobs并发运行(默认)；
• Forbid:  禁止并发运行，如果上一次运行尚未完成，则跳过下一次运行；
• Replace: 替换，取消当前正在运行的作业并用新作业替它；

Cron调度语法

注意K8S的定时任务仅支持5位，从minute开始

    # ┌───────────── minute (0 - 59)
    # │ ┌───────────── hour (0 - 23)
    # │ │ ┌───────────── day of the month (1 - 31)
    # │ │ │ ┌───────────── month (1 - 12)
    # │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
    # │ │ │ │ │                                   7 is also Sunday on some systems)
    # │ │ │ │ │
    # │ │ │ │ │
    # *  *  *  *  *

七、cronjob 案例操作演示

在当前目录创建一个cron-job.yaml的配置文件，配置内容如下：

apiVersion: batch/v1beta1
kind: CronJob
metadata:name: test-cronjobnamespace: defaultlabels:controller: cronjob
spec:schedule: "*/1 * * * *"jobTemplate:metadata:spec:template:spec:restartPolicy: Nevercontainers:- name: counterimage: busybox:1.30command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply（或create命令）创建cronjob

通过开启其他客户端窗口，可以监控cronjob，job以及pod的运行过程中的状态；

cronjob的运行状态

上面的配置策略是每分钟执行，从下图的运行效果中也可以看出来；

job的运行状态

pod的运行状态

cronjob使用场景

Cron 作业对于创建周期性和重复性任务很有用，例如运行备份或发送电子邮件。Cron 作业还可以将单个任务安排在特定时间，例如，你想将作业安排在业务低峰期执行。