Container Service for Kubernetes:ack-kube-queue ジョブキューを使用した AI/ML ワークロードの管理

制限事項

TensorFlow ジョブ、PyTorch ジョブ、および MPI ジョブ

ジョブマニフェストにアノテーション scheduling.x-k8s.io/suspend: "true" を追加します。

次の例は、TensorFlow ジョブをキューに送信します。

apiVersion: "kubeflow.org/v1"
kind: "TFJob"
metadata:
  name: "job1"
  annotations:
    scheduling.x-k8s.io/suspend: "true"
spec:
...

ジョブがキューに登録されていることを確認するには、以下を実行します。

kubectl describe tfjob job1

ジョブがキューに登録されている間、ステータス出力には Suspended 条件が含まれます。

Kubernetes ネイティブジョブ

spec.suspend を true に設定します。ジョブがキューから削除されると、ack-kube-queue はこのフィールドを false に変更し、ジョブは実行を開始します。

apiVersion: batch/v1
kind: Job
metadata:
  generateName: pi-
spec:
  suspend: true
...

ジョブがキューに登録されていることを確認するには、以下を実行します。

kubectl get job <job-name>

キューに登録されたジョブは、出力に SUSPENDED と表示されます。ack-kube-queue がジョブを受け入れると、SUSPENDED がクリアされ、ジョブは実行を開始します。

Argo Workflows

前提条件： ACK コンソールの [マーケットプレイス] ページから Argo Workflows コンポーネントをインストールします。手順については、「Argo Workflows のインストール」をご参照ください。

kube-queue-suspend という名前の suspend タイプのカスタムテンプレートを追加し、ワークフローを送信する際に spec.suspend を true に設定します。ワークフローのリソース要件を宣言するには、kube-queue/min-resources アノテーションを追加します。

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: <workflow-name>-
  annotations:
    kube-queue/min-resources: |
      cpu: 5
      memory: 5G
spec:
  suspend: true
  entrypoint: <entrypoint-template>
  templates:
  # Required: add a suspend template named kube-queue-suspend
  - name: kube-queue-suspend
    suspend: {}
  - name: <entrypoint-template>
    # ... your workflow steps

Spark アプリケーション

前提条件: ACK コンソールの [マーケットプレイス] ページから ack-spark-operator をインストールします。手順については、「ack-spark-operator のインストール」をご参照ください。

SparkApplication マニフェストにアノテーション scheduling.x-k8s.io/suspend: "true" を追加します。

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  generateName: spark-pi-suspend-
  namespace: spark-operator
  annotations:
    scheduling.x-k8s.io/suspend: "true"
spec:
...

Ray ジョブ

前提条件: ACK コンソールの [アドオン] ページから Kuberay-Operator をインストールします。詳細については、「コンポーネントの管理」をご参照ください。

spec.suspend を true に設定します。

apiVersion: ray.io/v1
kind: RayJob
metadata:
  name: rayjob-sample
spec:
  # Suspend specifies whether the RayJob controller should create a RayCluster instance.
  # If a job is applied with the suspend field set to true, the RayCluster will not be created and we will wait for the transition to false.
  # If the RayCluster is already created, it will be deleted. In the case of transition to false, a new RayCluster will be created.
  suspend: true
...