Container Service for Kubernetes:ACK クラスターにおける RayJob 実行の自動化

ElasticQuotaTree は、クラスターのクォータ階層を定義します。ツリー内の各ノードは以下を指定します。

• min：そのチームまたは部門に保証される最小リソース

• max：使用できる最大リソース (利用可能な場合は兄弟ノードから借用)

ジョブの最小保証を満たせない場合、スケジューラは現在保証されている最小値を超えて使用しているクォータからリソースを回収し、優先度の高いジョブのプリエンプションを可能にします。

クラスターごとにサポートされる ElasticQuotaTree は 1 つだけであり、kube-system 名前空間に作成する必要があります。

1. ElasticQuotaTree 構成を適用して、組織のクォータ階層を定義します。次の例では、root → algorithm 部門 → video チームという 3 階層を作成します。video チームは video 名前空間にバインドされます。

   ---
   apiVersion: v1
   kind: Namespace
   metadata:
     name: video
   
   ---
   apiVersion: scheduling.sigs.k8s.io/v1beta1
   kind: ElasticQuotaTree
   metadata:
     name: elasticquotatree        # クラスターごとにサポートされる ElasticQuotaTree は 1 つだけです
     namespace: kube-system        # 有効にするには kube-system に作成する必要があります
   spec:
     root:
       name: root
       min:
         cpu: 100
         memory: 50Gi
         nvidia.com/gpu: 16
       max:
         cpu: 100
         memory: 50Gi
         nvidia.com/gpu: 16
       children:
       - name: algorithm
         min:
           cpu: 50
           memory: 25Gi
           nvidia.com/gpu: 10
         max:
           cpu: 80
           memory: 50Gi
           nvidia.com/gpu: 14
         children:
         - name: video
           min:
             cpu: 12
             memory: 12Gi
             nvidia.com/gpu: 2
           max:
             cpu: 14
             memory: 14Gi
             nvidia.com/gpu: 4
           namespaces:
           - video                 # この名前空間のジョブは video クォータに対してカウントされます

   intern-text または intern-video とマークされたジョブの保証最小値は 0 です。これは、algorithm チームからの優先度の高いジョブがリソースを必要とするときに、スケジューラがそれらのリソースをプリエンプトできることを意味します。

2. ElasticQuotaTree が kube-system でアクティブであることを確認します。

   kubectl -n kube-system get elasticquotatree elasticquotatree -o yaml

ギャングスケジューリングは、分散ジョブ内のすべての Pod が同時にスケジュールされることを保証します。これがないと、部分的なスケジューリングによって、ジョブが残りのリソースを無期限に待機する可能性があります。

ワークロードですべてのノードが同時に起動する必要がある場合は、ギャングスケジューリングを使用します。

• 大規模な ML トレーニング：すべてのワーカーが一緒に起動する必要があるマルチノードトレーニングジョブ

• MPI ジョブ：起動時から通信するマスタープロセスとワーカープロセス

• ストリーミングと分析：多くのノードでデータを並行して処理するジョブ

• カスタム分散アプリケーション：ゲームのマッチメイキングサービス、IoT データ収集パイプライン

ギャングスケジューリングを有効にするには、RayJob のメタデータに ray.io/scheduler-name: kube-scheduler ラベルを追加します。KubeRay Operator は、作成するすべての Pod に必要なギャングスケジューリングラベルを自動的に挿入します。

apiVersion: ray.io/v1
kind: RayJob
metadata:
  generateName: rayjob-sample-
  namespace: algorithm-text
  labels:
    ray.io/scheduler-name: kube-scheduler          # ギャングスケジューリングを有効化
    quota.scheduling.alibabacloud.com/name: algorithm-video  # このクォータにバインド
spec:
  entrypoint: python /home/ray/samples/sample_code.py
  runtimeEnvYAML: |
    pip:
      - requests==2.26.0
      - pendulum==2.1.2
    env_vars:
      counter_name: "test_counter"
  shutdownAfterJobFinishes: true
  suspend: true

  rayClusterSpec:
    rayVersion: '2.9.0'
    headGroupSpec:
      rayStartParams:
        dashboard-host: '0.0.0.0'
      template:
        spec:
          containers:
            - name: ray-head
              image: rayproject/ray:2.9.0
              ports:
                - containerPort: 6379
                  name: gcs-server
                - containerPort: 8265
                  name: dashboard
                - containerPort: 10001
                  name: client
              resources:
                limits:
                  cpu: "1"
                requests:
                  cpu: "1"
              volumeMounts:
                - mountPath: /home/ray/samples
                  name: code-sample
          volumes:
            - name: code-sample
              configMap:
                name: ray-job-code-sample
                items:
                  - key: sample_code.py
                    path: sample_code.py
    workerGroupSpecs:
      - replicas: 30
        groupName: small-group
        rayStartParams: {}
        template:
          spec:
            containers:
              - name: ray-worker
                image: rayproject/ray:2.9.0
                lifecycle:
                  preStop:
                    exec:
                      command: ["/bin/sh", "-c", "ray stop"]
                resources:
                  limits:
                    cpu: "1"
                  requests:
                    cpu: "1"
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: ray-job-code-sample
  namespace: algorithm-text
data:
  sample_code.py: |
    import ray
    import os
    import requests

    ray.init()

    @ray.remote
    class Counter:
        def __init__(self):
            self.name = os.getenv("counter_name")
            assert self.name == "test_counter"
            self.counter = 0

        def inc(self):
            self.counter += 1

        def get_counter(self):
            return "{} got {}".format(self.name, self.counter)

    counter = Counter.remote()

    for _ in range(5):
        ray.get(counter.inc.remote())
        print(ray.get(counter.get_counter.remote()))

    assert requests.__version__ == "2.26.0"

    import time
    time.sleep(30)

KubeRay Operator がこのジョブの Pod を作成すると、ギャングスケジューリングを有効にするために次のラベルを挿入します。