Container Service for Kubernetes:ACK Kube Queue へのカスタムアドミッションチェックの追加

設定の詳細

管理者は、クラスターに次のコンポーネントを設定する必要があります。

• 1つのコントローラー：カスタム AdmissionCheckController (ACController)。

  `AdmissionCheckController` は、カスタムチェックを実行するためにユーザーがメンテナンスするコントローラーです。QueueUnit の status にある admissionChecks フィールドをリッスンすることで、コントローラーはカスタムチェックを必要とする QueueUnit を特定できます。QueueUnit の status の admissionChecks フィールド内の name に対応する AdmissionCheck 内の controllerName を調べることで、コントローラーは admissionChecks エントリをチェックする必要があるかどうかを判断できます。チェックが完了すると、コントローラーは結果に基づいて、QueueUnit の status 内の対応する admissionChecks エントリの status を Ready または Rejected に更新します。

• 2つのカスタムリソース定義 (CRD)：

  • AdmissionCheck

    この CRD は ACK Kube Queue とともに自動的にインストールされます。カスタムチェックロジックを定義するには、チェックを処理するコントローラーを指定し、そのパラメーターを参照するカスタムリソース (CR) を送信します。

    次の例は、AdmissionCheck マニフェストとその利用可能なフィールドを示しています。

    apiVersion: kueue.x-k8s.io/v1beta1
    kind: AdmissionCheck
    metadata:
      name: sample-prov
    spec:
      controllerName: provisioning-request-admission-controller
      parameters:
        apiGroup: kueue.x-k8s.io
        kind: ProvisioningRequestConfig
        name: prov-test-config

    パラメーター	タイプ	説明
    controllerName	string	このアドミッションチェックを監視および処理するコントローラーの名前を指定します。
    parameters	struct	apiGroup、kind、および name という 3 つの文字列フィールドで構成され、AdmissionCheck に関連付けられたパラメーターを記述する構造体型です。

  • カスタムチェックパラメーター

    AdmissionCheck リソースは `parameters` フィールドを使用して、カスタムパラメーターオブジェクトを参照します。コントローラーはこれらのパラメーターを読み取って、特定のチェックロジックを実行します。チェックごとに異なるパラメーターを使用することで、単一のコントローラーでさまざまな種類のチェックを実行できます。カスタムパラメーターの CRD をインストールし、CR を送信する必要があります。

• キュー内の設定項目：

  AdmissionCheckController、AdmissionCheck、およびカスタムパラメーターをデプロイすると、クラスターはカスタムチェックを実行する準備が整います。その後、キューの設定に追加することで、特定のキューのカスタムチェックを有効にできます。

設定例

この例では、ProvisioningRequestAdmissionCheckController を使用して AdmissionCheck を設定する方法を示します。

# Chart Url: https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/ack-kube-queue-1.22.4.tgz
admissionCheckController:
  enabled: true  # true に設定して ProvisioningRequestAdmissionCheck を有効にします
  image:
    repository: acs/prevreq-controller
    tag: v1.0.0-aliyun-d31082a1
burst: 50
controller:
  defaultPreemptible: true
  enableBlockingMode: false
  enableStrictPriority: false
  image:
    repository: acs/kube-queue
    tag: v0.11.1-aliyun-34b259af
  queueGroupPlugin: elasticquota
  resources:
    # ...

apiVersion: kueue.x-k8s.io/v1beta1
kind: AdmissionCheck
metadata:
  name: sample-prov
spec:
  controllerName: provisioning-request-admission-controller
  parameters:
    apiGroup: kueue.x-k8s.io
    kind: ProvisioningRequestConfig
    name: prov-test-config

apiVersion: kueue.x-k8s.io/v1beta1
kind: ProvisioningRequestConfig
metadata:
  name: prov-test-config
spec:
  provisioningClassName: atomic-scale-up.kubernetes.io
  parameters:
  managedResources:
  - nvidia.com/gpu

apiVersion: scheduling.x-k8s.io/v1alpha1
kind: Queue
metadata:
  name: example-queue # AdmissionCheck を有効にするキューの名前に置き換えてください
  namespace: kube-queue
spec:
  ...
  admissionChecks:
  - name: sample-prov # 先に作成した AdmissionCheck の名前を指定します
    selector: # metav1.LabelSelector です。このセレクターに一致する QueueUnit のみがカスタムチェックを受けます。
      matchLabels:
        app: gpu