Container Service for Kubernetes:Deploy and manage the Cloud-native AI Suite

Deploy suite

1. Masuk ke Konsol ACK, lalu klik Clusters di panel navigasi kiri.

2. Klik nama kluster, lalu pilih Applications > Cloud-native AI Suite di panel kiri.

3. Klik Deploy.

4. Pilih komponen dan klik Deploy Cloud-native AI Suite. Sistem akan memeriksa dependensi sebelum melakukan deployment. Setelah instalasi, daftar Components memungkinkan Anda untuk Deploy, Upgrade, atau Uninstall komponen individual.

5. Setelah menginstal ack-ai-dashboard dan ack-ai-dev-console, tautan ke AI Dashboard dan AI Developer Console akan muncul di halaman Cloud-native AI Suite.

   

Konfigurasi AI Dashboard

Berikan izin RAM ke peran pekerja

Sebelum AI Dashboard dapat mengakses data kluster, sambungkan kebijakan RAM kustom ke peran worker kluster.

1. Buat kebijakan kustom.

   1. Masuk ke Konsol RAM, lalu pilih Permissions > Policies pada panel navigasi kiri.

   2. Klik Create Policy, pilih tab JSON, lalu tambahkan kebijakan berikut:

      {
          "Version": "1",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "cs:*",
                      "log:GetProject",
                      "log:GetLogStore",
                      "log:GetConfig",
                      "log:GetMachineGroup",
                      "log:GetAppliedMachineGroups",
                      "log:GetAppliedConfigs",
                      "log:GetIndex",
                      "log:GetSavedSearch",
                      "log:GetDashboard",
                      "log:GetJob",
                      "ecs:DescribeInstances",
                      "ecs:DescribeSpotPriceHistory",
                      "ecs:DescribePrice",
                      "eci:DescribeContainerGroups",
                      "eci:DescribeContainerGroupPrice",
                      "log:GetLogStoreLogs",
                      "ims:CreateApplication",
                      "ims:UpdateApplication",
                      "ims:GetApplication",
                      "ims:ListApplications",
                      "ims:DeleteApplication",
                      "ims:CreateAppSecret",
                      "ims:GetAppSecret",
                      "ims:ListAppSecretIds",
                      "ims:ListUsers"
                  ],
                  "Resource": "*"
              }
          ]
      }

   3. Beri nama kebijakan k8sWorkerRolePolicy-{ClusterID} dan klik OK.

2. Sambungkan kebijakan ke peran worker kluster.

   1. Di Konsol RAM, pilih Identities > Roles dan cari KubernetesWorkerRole-{ClusterID}.

   2. Klik Grant Permission.

   3. Di Select Policy, klik Custom Policy, cari k8sWorkerRolePolicy-{ClusterID}, pilih, lalu klik OK.

Selesaikan penyiapan AI Dashboard

1. Di halaman Cloud-native AI Suite, pilih Sample Console untuk Interaction Mode. Kotak dialog Note akan muncul.

   • Jika ditampilkan Authorized, lanjutkan ke langkah 3.

   • Jika muncul Unauthorized berwarna merah, lengkapi izin RAM seperti di atas dan klik Authorization Check. Setelah otorisasi berhasil, status Authorized akan ditampilkan.

2. Atur Console Data Storage: Pre-installed MySQL untuk pengujian atau ApsaraDB RDS untuk produksi. Lihat Instal dan konfigurasi AI Dashboard dan AI Developer Console.

3. Klik Deploy Cloud-native AI Suite. AI Dashboard siap digunakan ketika statusnya menunjukkan Ready.

(Opsional) Buat dan percepat dataset

Mount dataset dari Object Storage Service (OSS) sebagai persistent volume (PV) dan percepat aksesnya di AI Dashboard.

Buat PV dan PVC

1. Buat namespace:

   kubectl create ns demo-ns

2. Buat file bernama fashion-mnist.yaml:

   Placeholder	Description	Example
   fashion-mnist	Nama bucket OSS	my-dataset-bucket
   oss-cn-beijing.aliyuncs.com	Titik akhir OSS untuk wilayah bucket	oss-cn-hangzhou.aliyuncs.com
   AKID	AccessKey ID	LTAI5tXxx
   AKSECRET	Rahasia AccessKey	xXxXxXx

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: fashion-demo-pv
   spec:
     accessModes:
     - ReadWriteMany
     capacity:
       storage: 10Gi
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeAttributes:
         bucket: fashion-mnist
         otherOpts: "-o max_stat_cache_size=0 -o allow_other"
         url: oss-cn-beijing.aliyuncs.com
         akId: "AKID"
         akSecret: "AKSECRET"
       volumeHandle: fashion-demo-pv
     persistentVolumeReclaimPolicy: Retain
     storageClassName: oss
     volumeMode: Filesystem
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: fashion-demo-pvc
     namespace: demo-ns
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: fashion-demo-pv
     storageClassName: oss
     volumeMode: Filesystem
     volumeName: fashion-demo-pv

   Ganti placeholder berikut:

3. Terapkan manifes:

   kubectl create -f fashion-mnist.yaml

4. Verifikasi PV dan PVC telah terikat:

   kubectl get pv fashion-demo-pv
   kubectl get pvc fashion-demo-pvc -n demo-ns

   Output yang diharapkan untuk PV:

   NAME              CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                        STORAGECLASS   AGE
   fashion-demo-pv   10Gi       RWX            Retain           Bound    demo-ns/fashion-demo-pvc     oss            8h

   Output yang diharapkan untuk PVC:

   NAME               STATUS   VOLUME            CAPACITY   ACCESS MODES   STORAGECLASS   AGE
   fashion-demo-pvc   Bound    fashion-demo-pv   10Gi       RWX            oss            8h

Accelerate the dataset

1. Masuk ke AI Dashboard sebagai administrator.

2. Pilih Dataset > Dataset List di panel navigasi kiri.

3. Temukan dataset (fashion-demo-pvc) dan klik Accelerate di kolom ActionsOperator.

   

Dasbor kluster

AI Dashboard membuka dasbor kluster secara default, menampilkan kondisi dan alokasi GPU secara keseluruhan kluster.

GPU Utilization menunjukkan apakah GPU menjalankan pekerjaan apa pun selama jendela sampel, bukan seberapa efisien. Node dengan 100% mungkin menjalankan kernel ringan alih-alih beban kerja paralel berat. Gabungkan dengan GPU Memory (Used/Total) untuk gambaran yang lebih lengkap.

Dasbor node

Klik Nodes di pojok kanan atas halaman Cluster untuk melihat metrik GPU per node dan per perangkat GPU.

Dasbor pekerjaan pelatihan

Klik TrainingJobs di pojok kanan atas halaman Nodes untuk melihat konsumsi resource dan efisiensi GPU per pekerjaan.

Dasbor kuota resource

Klik Quota di pojok kanan atas halaman Training Jobs untuk melihat konsumsi kuota berdasarkan jenis resource (CPU, memori, nvidia.com/gpu, aliyun.com/gpu-mem, aliyun.com/gpu).

Siapkan pohon kuota

1. Buat namespace untuk setiap tim. Namespace yang sudah ada harus tidak memiliki Pod yang sedang berjalan sebelum dikaitkan dengan node kuota.

   kubectl create ns namespace1
   kubectl create ns namespace2
   kubectl create ns namespace3
   kubectl create ns namespace4

2. Di AI Dashboard, buat node kuota dan kaitkan setiap leaf node dengan namespace. Tetapkan Min dan Max untuk setiap node.

Buat pengguna dan grup pengguna

Seorang pengguna dapat menjadi anggota beberapa grup, dan satu grup dapat berisi banyak pengguna. Kaitkan pengguna dengan grup untuk memberikan akses ke resource yang dialokasikan.

1. Buat pengguna. Lihat Buat file kubeconfig dan token login untuk pengguna baru.

2. Buat grup pengguna. Lihat Tambahkan grup pengguna.

Contoh penjadwalan kapasitas

Contoh ini menunjukkan cara penjadwal berbagi dan menarik kembali resource CPU di empat namespace. Pohon kuota memiliki struktur berikut:

Konfigurasi kuota:

Panduan:

Tanpa kuota elastis, setiap namespace leaf hanya menggunakan Min-nya (10 core = 2 Pod dengan 5 core/Pod). Dengan kuota elastis dan 40 core kluster tersedia, namespace meminjam kapasitas idle hingga mencapai Max-nya.

Langkah 1: Deploy lima Pod ke namespace1, masing-masing meminta 5 core CPU (total 25 core).

Dengan Max root.a.1 diatur ke 20 core, 4 Pod berjalan (20 core). Pod kelima tetap dalam status Pending.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx1
  namespace: namespace1
  labels:
    app: nginx1
spec:
  replicas: 5
  selector:
    matchLabels:
      app: nginx1
  template:
    metadata:
      name: nginx1
      labels:
        app: nginx1
    spec:
      containers:
      - name: nginx1
        image: nginx
        resources:
          limits:
            cpu: 5
          requests:
            cpu: 5

Langkah 2: Deploy lima Pod ke namespace2, masing-masing meminta 5 core CPU.

Dengan 20 core tersisa (40 - 20 dari namespace1), 4 Pod berjalan. Pod kelima tetap dalam status Pending. Baik namespace1 maupun namespace2 kini mengonsumsi seluruh 40 core root.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx2
  namespace: namespace2
  labels:
    app: nginx2
spec:
  replicas: 5
  selector:
    matchLabels:
      app: nginx2
  template:
    metadata:
      name: nginx2
      labels:
        app: nginx2
    spec:
      containers:
      - name: nginx2
        image: nginx
        resources:
          limits:
            cpu: 5
          requests:
            cpu: 5

Langkah 3: Deploy lima Pod ke namespace3, masing-masing meminta 5 core CPU.

Tidak ada kapasitas idle yang tersisa. Penjadwal menarik kembali 10 core dari root.a untuk menjamin minimum root.b.1. Penjadwal menarik 5 core dari root.a.1 (mengurangi namespace1 dari 4 Pod berjalan menjadi 3) dan 5 core dari root.a.2 (mengurangi namespace2 dari 4 Pod berjalan menjadi 3). Dengan 10 core yang ditarik kembali, 2 Pod berjalan di namespace3.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx3
  namespace: namespace3
  labels:
    app: nginx3
spec:
  replicas: 5
  selector:
    matchLabels:
      app: nginx3
  template:
    metadata:
      name: nginx3
      labels:
        app: nginx3
    spec:
      containers:
      - name: nginx3
        image: nginx
        resources:
          limits:
            cpu: 5
          requests:
            cpu: 5

Langkah 4: Deploy lima Pod ke namespace4, masing-masing meminta 5 core CPU.

Penjadwal menarik kembali 10 core lagi dari root.a untuk menjamin minimum root.b.2: 5 core dari root.a.1 dan 5 dari root.a.2. Setelah penarikan kembali, namespace1 dan namespace2 masing-masing memiliki 2 Pod berjalan (10 core), dan namespace4 mendapatkan 2 Pod berjalan.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx4
  namespace: namespace4
  labels:
    app: nginx4
spec:
  replicas: 5
  selector:
    matchLabels:
      app: nginx4
  template:
    metadata:
      name: nginx4
      labels:
        app: nginx4
    spec:
      containers:
      - name: nginx4
        image: nginx
        resources:
          limits:
            cpu: 5
          requests:
            cpu: 5

Hasil:

Jaminan minimum setiap tim dipenuhi. Kapasitas yang dipinjam ditarik kembali ketika tim lain membutuhkan alokasi minimum mereka.