Container Service for Kubernetes:ack-kube-queue を使用した AI/ML ワークロードの管理

仕組み

ack-kube-queue は、Kubernetes ネイティブの suspend メカニズムを使用します。フィールドまたはアノテーションで suspend を true に設定してジョブを投入すると、そのジョブはキューに入ります。ack-kube-queue はリソースの可用性を監視し、リソースが十分になると suspend を false に設定してジョブを開始します。

サポートされるクラスタータイプ

ack-kube-queue は以下をサポートします。

• Kubernetes 1.22 以降を実行している ACK マネージドクラスター

• Kubernetes 1.22 以降を実行している ACK Edge クラスター

• Kubernetes 1.22 以降を実行している ACK Lingjun クラスター

ack-kube-queue のインストール

インストール手順はクラスタータイプによって異なります。

追加のジョブタイプの有効化

デフォルトでは、ack-kube-queue は Kubernetes ネイティブのジョブのキューイングのみを有効にします。TensorFlow ジョブ、PyTorch ジョブ、MPI ジョブ、Argo ワークフロー、Ray ジョブ、または Spark アプリケーションをキューに入れるには、各タイプを個別に有効にする必要があります。

1. ACK コンソールにログインします。左側メニューで、[Clusters] をクリックします。

2. [Clusters] ページで、対象クラスターの名前をクリックします。左側メニューで、[Applications] > [Helm] を選択します。

3. ack-kube-queue を見つけ、[操作] 列の [Update] をクリックします。

4. YAML テンプレートで、有効にするジョブタイプのパラメーターを設定します。

   パラメーター	効果
   extension.argo.enable: true	Argo ワークフローの有効化
   extension.mpi.enable: true	MPI ジョブの有効化
   extension.ray.enable: true	Ray ジョブの有効化
   extension.spark.enable: true	Spark アプリケーションの有効化
   extension.tf.enable: true	TensorFlow ジョブの有効化
   extension.pytorch.enable: true	PyTorch ジョブの有効化

5. [OK] をクリックします。

ジョブの投入

サポートされている各ジョブタイプをキューに投入し、キューイングされていることを確認します。

apiVersion: "kubeflow.org/v1"
kind: "TFJob"
metadata:
  name: "job1"
  annotations:
    scheduling.x-k8s.io/suspend: "true"
spec:
...

kubectl describe tfjob job1

apiVersion: batch/v1
kind: Job
metadata:
  generateName: pi-
spec:
  suspend: true
...

kubectl get job <job-name>

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: <workflow-name>-
  annotations:
    kube-queue/min-resources: |
      cpu: 5
      memory: 5 G
spec:
  suspend: true
  entrypoint: <entrypoint-template>
  templates:
  # 必須：kube-queue-suspend という名前の一時停止テンプレートを追加
  - name: kube-queue-suspend
    suspend: {}
  - name: <entrypoint-template>
    # ... ワークフローステップ

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  generateName: spark-pi-suspend-
  namespace: spark-operator
  annotations:
    scheduling.x-k8s.io/suspend: "true"
spec:
...

apiVersion: ray.io/v1
kind: RayJob
metadata:
  name: rayjob-sample
spec:
  # Suspend は、RayJob コントローラーが RayCluster インスタンスを作成するかどうかを指定します。
  # suspend フィールドを true に設定してジョブが適用された場合、RayCluster は作成されず、false への移行を待ちます。
  # RayCluster がすでに作成されている場合は削除されます。false に移行した場合、新しい RayCluster が作成されます。
  suspend: true
...

関連ドキュメント

• コンポーネントの管理

• Argo Workflows のインストール

• ack-spark-operator のインストール