介绍
job,主要用于负责批量处理(一次要处理指定数量任务)短暂的一次性(每个任务仅运行一次就结束)任务,job 特点如下
- 当 job 创建的 pod 执行成功结束时,job 将记录成功结束的 pod 数量
- 当成功结束的 pod 达到指定的数量时,job 将完成执行
Job的资源清单文件:
apiVersion: batch/v1 # 版本号 kind: Job # 类型 metadata: # 元数据 name: # job 名称 namespace: # 所属命名空间 labels: #标签 controller: job spec: # 详情描述 completions: 1 # 指定 job 需要成功运行 Pods 的次数。默认值: 1 parallelism: 1 # 指定 job 在任一时刻应该并发运行 Pods 的数量。默认值: 1,如果上面的 completions 为 6 ,这个参数为 3 ,表示有 6 个 pod,允许有 3 个 pod 并发运行 activeDeadlineSeconds: 30 # 指定 job 可运行的时间期限,超过时间还未结束,系统将会尝试进行终止。 backoffLimit: 6 # 指定 job 失败后进行重试的次数。默认是 6 manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是 false selector: # 选择器,通过它指定该控制器管理哪些 pod matchLabels: # Labels 匹配规则 app: counter-pod matchExpressions: # Expressions 匹配规则 - {key: app, operator: In, values: [counter-pod]} template: # 模板,当副本数量不足时,会根据下面的模板创建 pod 副本 metadata: labels: app: counter-pod spec: restartPolicy: Never # 重启策略只能设置为 Never 或者 OnFailure containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]
关于重启策略设置的说明
- 如果指定为 OnFailure,则 job 会在 pod 出现故障时重启容器,而不是创建 pod,failed 次数不变
- 如果指定为 Never,则 job 会在 pod 出现故障时创建新的 pod,并且故障 pod 不会消失,也不会重启,failed 次数加 1
- 如果指定为 Always 的话,就意味着一直重启,意味着 job 任务会重复去执行了,当然不对,所以不能设置为 Always
job 的使用
创建 pc-job.yaml,内容如下:
apiVersion: batch/v1 kind: Job # 类型为 job metadata: name: pc-job namespace: zouzou spec: manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是false selector: matchLabels: app: counter-pod template: metadata: labels: app: counter-pod spec: restartPolicy: Never # 设置重启策略 containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]
上面 job 要完成的任务是,循环输入 9、8、7、6、5、4、3、2、1,每输入一个就等待 3 s
为了更好的查看效果,我们这里在开两个窗口,分别监听 job 和 pod
创建 job
# 创建 job kubectl create -f pc-job.yaml
查看上面动态监听的数据
从上面的结果可以看到,只有一个 job 在运行,而且最后 pod 完成之后, READY 的可提供服务的变为了 0
通过观察 pod 状态可以看到,pod 在运行完毕任务后,就会变成 Completed 状态
任务执行完成之后在来看下 job 和 pod
# job,COMPLETIONS / 前面的表示完成的数量,/ 后面的表示总的数量 [root@dce-10-6-215-215 ~]# kubectl get job -n zouzou -o wide NAME COMPLETIONS DURATION AGE CONTAINERS IMAGES SELECTOR pc-job 1/1 33s 5m53s counter busybox:1.30 app=counter-pod # pod [root@dce-10-6-215-215 ~]# kubectl get job -n zouzou -o wide NAME COMPLETIONS DURATION AGE CONTAINERS IMAGES SELECTOR pc-job 1/1 33s 5m53s counter busybox:1.30 app=counter-pod
并发执行 job
接下来,调整下 pod 运行的总数量和并行数量 即:在 spec 下设置下面两个选项 :
- completions: 6 指定 job 需要成功运行 Pods 的次数为 6
- parallelism: 3 指定 job 并发运行 Pods 的数量为 3
然后重新运行 job,观察效果,此时会发现,job 会每次运行 3 个 pod,总共执行了 6 个 pod
先删除之前的 job
kubectl delete -f pc-job.yaml
修改 pc-job.yaml 文件,内容如下
apiVersion: batch/v1 kind: Job # 类型为 job metadata: name: pc-job namespace: zouzou spec: completions: 6 # 指定 job 需要成功运行 Pods 的次数。默认值: 1 parallelism: 3 # 指定并发数 manualSelector: true # 是否可以使用 selector 选择器选择 pod,默认是false selector: matchLabels: app: counter-pod template: metadata: labels: app: counter-pod spec: restartPolicy: Never # 设置重启策略 containers: - name: counter image: busybox:1.30 command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]
为了更好的查看效果,我们这里在开两个窗口,分别监听 job 和 pod
创建 job
kubectl create -f pc-job.yaml
查看 job
查看 pod
[root@dce-10-6-215-215 ~]# kubectl get pod -n zouzou -w NAME READY STATUS RESTARTS AGE nginx3-c5d7c9466-vnt9c 1/1 Running 0 22h pc-job-4xhlp 0/1 Pending 0 0s pc-job-ls4wr 0/1 Pending 0 0s pc-job-l48z9 0/1 Pending 0 0s pc-job-4xhlp 0/1 Pending 0 0s pc-job-ls4wr 0/1 Pending 0 0s pc-job-l48z9 0/1 Pending 0 0s pc-job-4xhlp 0/1 ContainerCreating 0 0s pc-job-ls4wr 0/1 ContainerCreating 0 0s pc-job-l48z9 0/1 ContainerCreating 0 0s pc-job-l48z9 0/1 ContainerCreating 0 2s pc-job-ls4wr 0/1 ContainerCreating 0 2s pc-job-4xhlp 0/1 ContainerCreating 0 3s pc-job-l48z9 0/1 ContainerCreating 0 3s pc-job-ls4wr 0/1 ContainerCreating 0 3s pc-job-4xhlp 0/1 ContainerCreating 0 3s pc-job-ls4wr 1/1 Running 0 4s pc-job-4xhlp 1/1 Running 0 4s pc-job-l48z9 1/1 Running 0 4s pc-job-l48z9 0/1 Completed 0 32s pc-job-vhg2h 0/1 Pending 0 0s pc-job-4xhlp 0/1 Completed 0 32s pc-job-t8nkh 0/1 Pending 0 0s pc-job-ls4wr 0/1 Completed 0 32s pc-job-vhg2h 0/1 Pending 0 0s pc-job-t8nkh 0/1 Pending 0 0s pc-job-rr4md 0/1 Pending 0 0s pc-job-rr4md 0/1 Pending 0 0s pc-job-vhg2h 0/1 ContainerCreating 0 0s pc-job-t8nkh 0/1 ContainerCreating 0 0s pc-job-rr4md 0/1 ContainerCreating 0 0s pc-job-vhg2h 0/1 ContainerCreating 0 3s pc-job-t8nkh 0/1 ContainerCreating 0 3s pc-job-vhg2h 0/1 ContainerCreating 0 3s pc-job-rr4md 0/1 ContainerCreating 0 3s pc-job-t8nkh 0/1 ContainerCreating 0 3s pc-job-rr4md 0/1 ContainerCreating 0 3s pc-job-vhg2h 1/1 Running 0 4s pc-job-rr4md 1/1 Running 0 5s pc-job-t8nkh 1/1 Running 0 5s pc-job-vhg2h 0/1 Completed 0 32s pc-job-rr4md 0/1 Completed 0 32s pc-job-t8nkh 0/1 Completed 0 32s
可以从上面结果看到,在 0-3s 的时候,有三个 pod 在创建,在 4s 的时候,有三个 pod 在 Running,说明是并发了 3 个 pod。
在 32s 的时候,之前创建的三个 pod 已经完成了,状态为 Completed。这时候,又有三个 pod 在创建,因为是新创建的 pod,所以 AGE 为 0
等到 4s 的时候,三个 pod 已经创建完成了,开始运行。在 32s 的时候,三个 pod 运行完成了,状态为 Completed
删除 job
删除 job 也有两种方式,一种是通过 yaml 文件,如下
kubectl delete -f pc-job.yaml
还有一种是通过 job 名称进行删除
kubectl delete job pc-job -n zouzou