Container Service for Kubernetes:ack-co-scheduler コンポーネントを用いたコスケジューリングの有効化

以下のテンプレートを使用して、TensorFlow 分散ジョブをクラスターに送信します。分散 TensorFlow ジョブの実行に関する詳細については、「Gang スケジューリングの使用」をご参照ください。

apiVersion: "kubeflow.org/v1"
kind: "TFJob"
metadata:
  name: "tf-smoke-gpu"
spec:
  tfReplicaSpecs:
    PS:
      replicas: 1
      template:
        metadata:
          creationTimestamp: null
          labels:
            pod-group.scheduling.sigs.k8s.io/name: tf-smoke-gpu
            pod-group.scheduling.sigs.k8s.io/min-available: "2"
        spec:
          schedulerName: ack-co-scheduler   # スケジューラ名を ack-co-scheduler に設定します。
          containers:
          - args:
            - python
            - tf_cnn_benchmarks.py
            - --batch_size=32
            - --model=resnet50
            - --variable_update=parameter_server
            - --flush_stdout=true
            - --num_gpus=1
            - --local_parameter_device=cpu
            - --device=cpu
            - --data_format=NHWC
            image: registry.cn-hangzhou.aliyuncs.com/kubeflow-images-public/tf-benchmarks-cpu:v20171202-bdab599-dirty-284af3
            name: tensorflow
            ports:
            - containerPort: 2222
              name: tfjob-port
            resources:
              limits:
                cpu: '10'
            workingDir: /opt/tf-benchmarks/scripts/tf_cnn_benchmarks
          restartPolicy: OnFailure
    Worker:
      replicas: 4
      template:
        metadata:
          creationTimestamp: null
          labels:
            pod-group.scheduling.sigs.k8s.io/name: tf-smoke-gpu
            pod-group.scheduling.sigs.k8s.io/min-available: "2"
        spec:
          schedulerName: ack-co-scheduler
          containers:
          - args:
            - python
            - tf_cnn_benchmarks.py
            - --batch_size=32
            - --model=resnet50
            - --variable_update=parameter_server
            - --flush_stdout=true
            - --num_gpus=1
            - --local_parameter_device=cpu
            - --device=gpu
            - --data_format=NHWC
            image: registry.cn-hangzhou.aliyuncs.com/kubeflow-images-public/tf-benchmarks-cpu:v20171202-bdab599-dirty-284af3
            name: tensorflow
            ports:
            - containerPort: 2222
              name: tfjob-port
            resources:
              limits:
                cpu: 10
            workingDir: /opt/tf-benchmarks/scripts/tf_cnn_benchmarks
          restartPolicy: OnFailure

以下のテンプレートを使用して、デプロイメントで CPU トポロジー認識スケジューリングを有効化します。CPU トポロジー認識スケジューリングに関する詳細については、「CPU トポロジー認識スケジューリングの有効化」をご参照ください。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx-numa
  labels:
    app: nginx-numa
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx-numa
  template:
    metadata:
      annotations:
        cpuset-scheduler: "true"
      labels:
        app: nginx-numa
    spec:
      schedulerName: ack-co-scheduler # スケジューラ名を ack-co-scheduler に設定します。
      containers:
      - name: nginx-numa
        image: nginx:1.13.3
        ports:
        - containerPort: 80
        resources:
          requests:
            cpu: 4
          limits:
            cpu: 4

以下のテンプレートを使用して、デプロイメントで ECI エラスティックスケジューリングを有効化します。ECI エラスティックスケジューリングの使用に関する詳細については、「ElasticResource を使用した ECI エラスティックスケジューリングの実装（非推奨）」をご参照ください。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 4
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      name: nginx
      annotations:
        alibabacloud.com/burst-resource: eci # エラスティックリソースの種類を指定するアノテーションを追加します。
      labels:
        app: nginx
    spec:
      schedulerName: ack-co-scheduler # スケジューラ名を ack-co-scheduler に設定します。
      containers:
      - name: nginx
        image: nginx
        resources:
          limits:
            cpu: 2
          requests:
            cpu: 2

template.metadata 配下の Pod アノテーション alibabacloud.com/burst-resource を設定して、エラスティックリソースの種類を指定します。alibabacloud.com/burst-resource の指定可能な値は以下のとおりです。

• このアノテーションを指定しない場合：クラスター内の既存の ECS リソースのみを使用します。

• eci：クラスター内の ECS リソースが不足した場合に、ECI リソースを使用します。

• eci_only：クラスター内の ECS リソースは一切使用せず、ECI リソースのみを使用します。