Container Service for Kubernetes：遷移Batch批次運算到分布式工作流程Argo叢集

作業（Jobs）

一個任務單元（例如Shell指令碼、Linux可執行檔或Docker容器鏡像），可以提交給Batch批次運算系統，批次運算系統會在計算環境中分配計算資源並運行作業。

Array Jobs

Array Job是指一系列相似或相同的作業，這些作業作為一個數組批量提交並運行。同一Array Job下的作業都有相同的工作定義，但可以通過索引來區分，每個工作執行個體會處理不同的資料集或執行稍有差異的任務。

工作定義（Job Definitions）

工作定義指定了作業的運行方式，運行作業前需要先建立工作定義。

工作定義一般包含：作業運行所使用的鏡像、具體命令與參數、需要的CPU/Memory資源、環境變數、磁碟儲存等。

作業隊列（Job Queues）

向Batch批次運算系統提交作業時，會提交到指定的作業隊列中排隊，直到作業被調度運行。作業隊列可以設定優先權，並指定關聯的計算環境。

計算環境（Compute Environment）

計算環境是一組計算資源，可以運行作業。計算環境需要指定虛擬機器的機型、環境的最小和最大vCPU數量、以及Spot競價執行個體的價格。

模板（Templates）

模板定義了一個任務（作業），是工作流程的組成部分，一個工作流程至少要包含一個模板。模板中包含要啟動並執行Kubernetes容器和相應的輸入輸出參數。

工作流程（Workflows）

工作流程包含一個或者多個任務（模板），並可以編排多個任務，支援定義複雜的任務流程，如序列化、並行化任務，以及在條件滿足時執行特定的任務。建立工作流程後，工作流程中的任務會在Kubernetes叢集中以Pod形式運行。

工作流程範本（Workflow Templates）

工作流程範本是可複用的工作流程的靜態定義，類似於函數，可以在多個工作流程中被引用並運行。在定義複雜工作流程時可以複用已有的工作流程範本，減少重複性定義。

Serverless Kubernetes叢集

分布式工作流程Argo叢集內建計算環境，不需要手動建立和管理。工作流程提交後，使用阿里雲彈性容器ECI，以Serverless方式運行工作流程中的任務，不需要維護Kubernetes節點。利用阿里雲的彈效能力，可以運行大規模工作流程（數萬任務Pod），同時使用數十萬核CPU的算力資源，在工作流程運行完成後自動釋放資源。加快工作流程運行速度，並節省計算成本。

Batch批次運算

• 使用者需要學習Batch批次運算工作定義規範與用法，有廠商綁定風險。

• 還需要管理計算環境，設定機型和規模等，非Serverless方式，營運成本比較高。

• 由於計算環境規模的限制，需要管理作業隊列以設定作業的優先順序，複雜度比較高。

Argo工作流程

• 基於Kubernetes叢集和開源Argo Workflows構建，以雲原生的方式編排運行工作流程，無廠商綁定風險。

• 支援複雜工作流程工作的編排，可以應對資料處理、模擬計算、科學計算等複雜業務情境。

• 計算環境採用阿里雲彈性容器ECI，無需維護節點。

• 大規模算力的按需使用，隨用隨付，避免工作流程排隊等待，提高效率，節省計算成本。

功能映射

簡單工作流程

以下樣本表示：啟動了一個任務Pod，使用alpine鏡像，運行Shell命令echo helloworld。

在此工作流程基礎上，可以在args中指定多個Shell命令並執行，也可以使用自訂鏡像運行鏡像中的命令。

cat > helloworld.yaml << EOF
apiVersion: argoproj.io/v1alpha1
kind: Workflow                  # new type of k8s spec
metadata:
  generateName: hello-world-    # name of the workflow spec
spec:
  entrypoint: main         # invoke the main template
  templates:
    - name: main              # name of the template
      container:
        image: registry.cn-hangzhou.aliyuncs.com/acs/alpine:3.18-update
        command: [ "sh", "-c" ]
        args: [ "echo helloworld" ]
EOF
argo submit helloworld.yaml

Loops工作流程

以下樣本表示：在鏡像print-pet中打包了pets.input文字檔和print-pet.sh指令檔，print-pet.sh以job-index為輸入參數，列印pets.input檔案行號為job-index的pet。具體檔案內容請訪問GitHub倉庫。

在工作流程中，會同時啟動5個Pod，並分別傳入參數job-index 1到job-index 5，每個Pod根據輸入的job-index的值，列印相應行的pet。

通過Loops工作流程可以實現資料分區和平行處理，加快海量資料的處理速度。更多Loops樣本，請參見工作流程（Workflows）Loops。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: loops-
spec:
  entrypoint: loop-example
  templates:
  - name: loop-example
    steps:
    - - name: print-pet
        template: print-pet
        arguments:
          parameters:
          - name: job-index
            value: "{{item}}"
        withSequence:  # loop to run print-pet template with parameter job-index 1 ~ 5 respectively.
          start: "1"
          end: "5"
  - name: print-pet
    inputs:
      parameters:
      - name: job-index
    container:
      image: acr-multiple-clusters-registry.cn-hangzhou.cr.aliyuncs.com/ack-multiple-clusters/print-pet
      command: [/tmp/print-pet.sh]
      args: ["{{inputs.parameters.job-index}}"] # input parameter job-index as args of container

DAG工作流程（MapReduce）

真實的批處理情境中，往往需要多個Job配合完成，所以需要指定Job間的依賴關係，DAG是指定依賴關係的最佳方式。

但主流的Batch批處理系統，需要通過Job ID指定Job依賴，由於Job ID需要在Job提交後才能擷取，因此需要編寫指令碼實現Job間依賴（虛擬碼如下），Job較多時，依賴關係不夠直觀，維護成本較高。

//Batch批處理系統Job間依賴，JobB依賴JobA，在JobA完成後運行。
batch submit JobA | get job-id
batch submit JobB --dependency job-id (JobA)

Argo工作流程可以通過DAG定義子任務之間的依賴關係，樣本如下：

• Task B和Task C依賴Task A運行

• Task D依賴Task B和Task C運行

# The following workflow executes a diamond workflow
apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: dag-diamond-
spec:
  entrypoint: diamond
  templates:
  - name: diamond
    dag:
      tasks:
      - name: A
        template: echo
        arguments:
          parameters: [{name: message, value: A}]
      - name: B
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: B}]
      - name: C
        depends: "A"
        template: echo
        arguments:
          parameters: [{name: message, value: C}]
      - name: D
        depends: "B && C"
        template: echo
        arguments:
          parameters: [{name: message, value: D}]
  - name: echo
    inputs:
      parameters:
      - name: message
    container:
      image: alpine:3.7
      command: [echo, "{{inputs.parameters.message}}"]

在Git倉庫中，還為您提供了一個MapReduce工作流程樣本，支援對資料進行分區處理，並對計算結果進行彙總。具體樣本，請參見map-reduce。