k8s中job與cronjob如何使用

本篇內容介紹了“k8s中job與cronjob如何使用”的有關知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領大家學習一下如何處理這些情況吧！希望大家仔細閱讀，能夠學有所成！

一、前言

job，顧名思義就是任務，job的概念在很多框架中都有，而且實際業務場景中也使用非常廣泛，比如大家熟悉的hadoop，客戶端可以向集群提交一個job，然后集群根據一定的調度策略來處理這個job；

k8s中的job，主要用于批量處理的業務場景，比如像那種短暫的一次性任務(每個任務僅運行一次就結束)；

二、k8s中job特點

• 當Job創建的pod執行成功結束時，Job將記錄成功結束的pod數量；

• 當成功結束的pod達到指定的數量時，Job將完成執行；

job與pod的關系如下圖

三、Job模板配置文件核心配置參數

如下為job的一個模板配置yaml文件中的部分核心配置參數

apiVersion: batch/v1 # 版本號
kind: Job # 類型       
metadata: # 元數據
  name: # rs名稱 
  namespace: # 命名空間 
  labels: 
    controller: job
spec: 
  completions: 6 # 指定job需要成功運行Pods的次數。默認值: 1
  parallelism: 3 # 指定job在任一時刻應該并發運行Pods的數量。默認值: 1
  ttlSecondsAfterFinished: 5
  activeDeadlineSeconds: 30 # 指定job可運行的時間期限，超過時間還未結束，系統將會嘗試進行終止。
  backoffLimit: 5 # 指定job失敗后進行重試的次數。默認是6
  manualSelector: true # 是否可以使用selector選擇器選擇pod，默認是false
  selector: # 選擇器，通過它指定該控制器管理哪些pod
    matchLabels:      # Labels匹配規則
      app: counter-pod
    matchExpressions: # Expressions匹配規則
      - {key: app, operator: In, values: [counter-pod]}
  template: # 模板，當副本數量不足時，會根據下面的模板創建pod副本
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never # 重啟策略只能設置為Never或者OnFailure
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 2;done"]

可以參照各個參數的備注加以理解，下面對其中部分參數做補充說明；

3.1 ttlSecondsAfterFinished

• 當設置了ttlSecondsAfterFinished參數，job完成或者失敗后都會在ttlSecondsAfterFinished所設置的時間后被清理；

• 假設ttlSecondsAfterFinished 設置成30。在job完成或者失敗后30s，job就會被自動清除，包括job和job所管理的pod都會被清除；

• 假設沒有設置，job和job所管理的pod會一直存在，不管是失敗還是成功，不過好像有些k8s的版本ttlSecondsAfterFinished是不生效的，建議使用1.20以上的版本；

3.2 activeDeadlineSeconds

• Job的超時時間，一旦一個Job運行的時間超出該限制，則Job失敗，所有運行中的Pod會被結束并刪除；

• 該配置指定的值必須是個正整數，不指定則不會超時；

• 但是經過實驗，job pod并不會自動刪除，所以如果希望超時后pod會自動刪除還是設置一下ttlSecondsAfterFinished；

3.3 backoffLimit

• 允許執行失敗的次數，默認值是6，0表示不允許執行失敗；

• 如果Pod是restartPolicy為Nerver，則失敗后會創建新的Pod，如果是OnFailed，則會重啟Pod，不管是哪種情況，只要Pod失敗一次就計算一次，而不是等整個Pod失敗后再計算一個；

• 當失敗的次數達到該限制時，整個Job隨即結束，所有正在運行中的Pod都會被刪除；

• 但是經過實驗，jobpod并不會自動刪除，所以如果希望超時后pod會自動刪除還是設置一下ttlSecondsAfterFinished；

3.4 parallelism

并行運行的Pod的個數，默認值為1，假如設置為3，就會同時開啟3個pod去執行任務

3.5 completions

• 完成該Job需要執行成功的Pod數；

• 指定需要完成的數量，默認值為1，假設設置為3，需要有三個pod成功完成任務，這個job才算是完成；

四、job案例操作演示

在當前目錄下創建一個jod-pod.yaml文件，配置如下內容

apiVersion: batch/v1
kind: Job      
metadata:
  name: test-job
  namespace: default
spec:
  manualSelector: true
  selector:
    matchLabels:
      app: counter-pod
  template:
    metadata:
      labels:
        app: counter-pod
    spec:
      restartPolicy: Never
      containers:
      - name: counter
        image: busybox:1.30
        command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply創建pod

在另外的兩個窗口，我們提前打開監控pod和job的執行情況，可以看到下面的完整執行過程；

從job的執行過程來看，經歷了從無到有以及到最終的STATUS狀態為Completed的過程，這個也和上文提到的job的生命周期描述吻合；

對于Pod的執行過程來看，從下面這張圖可以清晰看到STATUS的各個階段變化的完整過程；

其他的模板中的參數可以直接往里面添加即可在job運行過程中看到效果，比如我們在該模板文件中補充兩個參數；

再次運行這個job，通過job和pod的監控信息，看到如下的效果；

五、cronjob 理論

CronJob其實就是在Job的基礎上加上了時間調度，我們可以：在給定的時間點運行一個任務，也可以周期性地在給定時間點運行。這個實際上和我們Linux中的crontab就非常類似了。

CronJob控制器以 Job控制器資源為其管控對象，并借助它管理pod資源對象，Job控制器定義的作業任務在其控制器資源創建之后便會立即執行，但CronJob可以以類似于Linux操作系統的周期性任務作業計劃的方式控制其運行時間點及重復運行的方式。也就是說，CronJob可以在特定的時間點(反復的)去運行job任務。

cronjob 運行原理圖

六、cronjob 模板配置文件核心配置參數

如下為cronjob模板配置文件中核心參數；

apiVersion: batch/v1beta1 # 版本號
kind: CronJob # 類型       
metadata: # 元數據
  name: # rs名稱 
  namespace: # 命名空間 
  labels: #標簽
    controller: cronjob
spec: # 詳情描述
  schedule: # cron格式的作業調度運行時間點,用于控制任務在什么時間執行
  concurrencyPolicy: # 并發執行策略，用于定義前一次作業運行尚未完成時是否以及如何運行后一次的作業
  failedJobHistoryLimit: # 為失敗的任務執行保留的歷史記錄數，默認為1
  successfulJobHistoryLimit: # 為成功的任務執行保留的歷史記錄數，默認為3
  startingDeadlineSeconds: # 啟動作業錯誤的超時時長
  jobTemplate: # job控制器模板，用于為cronjob控制器生成job對象;下面其實就是job的定義
    metadata:
    spec:
      completions: 1
      parallelism: 1
      activeDeadlineSeconds: 30
      backoffLimit: 6
      manualSelector: true
      selector:
        matchLabels:
          app: counter-pod
        matchExpressions: 規則
          - {key: app, operator: In, values: [counter-pod]}
      template:
        metadata:
          labels:
            app: counter-pod
        spec:
          restartPolicy: Never 
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 20;done"]

關于配置文件中的補充參數說明

concurrencyPolicy

concurrencyPolicy 配置策略

• Allow: 允許Jobs并發運行(默認)；

• Forbid: 禁止并發運行，如果上一次運行尚未完成，則跳過下一次運行；

• Replace: 替換，取消當前正在運行的作業并用新作業替它；

Cron調度語法

注意K8S的定時任務僅支持5位，從minute開始

# ┌───────────── minute (0 - 59)
# │ ┌───────────── hour (0 - 23)
# │ │ ┌───────────── day of the month (1 - 31)
# │ │ │ ┌───────────── month (1 - 12)
# │ │ │ │ ┌───────────── day of the week (0 - 6) (Sunday to Saturday;
# │ │ │ │ │ 7 is also Sunday on some systems)
# │ │ │ │ │
# │ │ │ │ │
#* * * * *

七、cronjob 案例操作演示

在當前目錄創建一個cron-job.yaml的配置文件，配置內容如下：

apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: test-cronjob
  namespace: default
  labels:
    controller: cronjob
spec:
  schedule: "*/1 * * * *"
  jobTemplate:
    metadata:
    spec:
      template:
        spec:
          restartPolicy: Never
          containers:
          - name: counter
            image: busybox:1.30
            command: ["bin/sh","-c","for i in 9 8 7 6 5 4 3 2 1; do echo $i;sleep 3;done"]

使用apply（或create命令）創建cronjob

通過開啟其他客戶端窗口，可以監控cronjob，job以及pod的運行過程中的狀態；

cronjob的運行狀態

上面的配置策略是每分鐘執行，從下圖的運行效果中也可以看出來；

job的運行狀態

pod的運行狀態

cronjob使用場景

Cron 作業對于創建周期性和重復性任務很有用，例如運行備份或發送電子郵件。Cron 作業還可以將單個任務安排在特定時間，例如，你想將作業安排在業務低峰期執行。

“k8s中job與cronjob如何使用”的內容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站，小編將為大家輸出更多高質量的實用文章！