Container Service for Kubernetes:Panduan O&M Suite AI Cloud-Native

Informasi Latar Belakang

Setelah menerapkan kluster dengan Suite AI Cloud-Native terinstal, Anda dapat mengalokasikan sumber daya kluster dan melihat penggunaannya dalam berbagai dimensi untuk mengoptimalkan pemanfaatan.

Jika kluster digunakan oleh beberapa pengguna, alokasikan jumlah sumber daya tetap kepada setiap pengguna agar tidak bersaing mendapatkan sumber daya. Metode tradisionalnya adalah menggunakan kuota sumber daya Kubernetes. Namun, pemanfaatan sumber daya bervariasi menurut kelompok pengguna. Untuk meningkatkan pemanfaatan keseluruhan kluster, izinkan pengguna berbagi sumber daya setelah alokasi awal.

Gambar berikut menunjukkan struktur organisasi perusahaan. Anda dapat menetapkan kuota elastis di berbagai tingkatan sesuai kebutuhan bisnis. Setiap node daun pada gambar sesuai dengan kelompok pengguna. Untuk mengelola izin dan kuota secara terpisah, tambahkan pengguna dalam kelompok pengguna ke satu atau lebih namespace dan berikan peran yang berbeda kepada mereka. Dengan cara ini, sumber daya dapat dibagikan di seluruh kelompok pengguna, dan pengguna dalam kelompok yang sama dapat diisolasi.

Prasyarat

• Kluster Container Service for Kubernetes (ACK) Pro telah dibuat. Pastikan Monitoring Agents dan Simple Log Service diaktifkan saat membuat kluster. Untuk informasi lebih lanjut, lihat Buat kluster ACK Pro.

• Versi Kubernetes kluster adalah 1.18 atau lebih baru.

Tugas

Langkah 1: Instal Suite AI Cloud-Native

Suite AI Cloud-Native mencakup komponen untuk elastisitas tugas, akselerasi data, penjadwalan tugas AI, manajemen siklus hidup tugas AI, AI Dashboard, dan AI Developer Console. Anda dapat menginstal komponen berdasarkan kebutuhan bisnis.

Deploy Cloud-native AI Suite

1. Masuk ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

2. Di halaman Clusters, temukan kluster yang diinginkan dan klik namanya. Di panel kiri, pilih Applications > Cloud-native AI Suite.

3. Di halaman Cloud-native AI Suite, klik Deploy.

4. Di halaman yang muncul, pilih komponen yang ingin diinstal. Klik Deploy Cloud-native AI Suite di bagian bawah halaman. Sistem akan memeriksa lingkungan dan dependensi dari komponen yang dipilih. Setelah pemeriksaan selesai, sistem akan menerapkan komponen tersebut.

   Setelah komponen terpasang, Anda dapat melihat informasi berikut di daftar Components:

   • Anda dapat melihat nama dan versi komponen yang dipasang di kluster. Anda dapat Deploy atau Uninstall komponen.

   • Jika sebuah komponen dapat diperbarui, Anda dapat Upgrade komponen tersebut.

   • Setelah memasang ack-ai-dashboard dan ack-ai-dev-console, Anda dapat menemukan tautan ke AI Dashboard dan AI Developer Console di pojok kiri atas halaman Cloud-native AI Suite. Anda dapat mengklik tautan untuk mengakses komponen yang sesuai.

5. Setelah instalasi selesai, Anda dapat menemukan hyperlink ke AI Dashboard dan AI Developer Console di pojok kiri atas halaman Cloud-native AI Suite. Anda dapat mengklik hyperlink untuk mengakses komponen yang sesuai.

Install and configure AI Dashboard

1. Di bagian Ecosystem Tools halaman Cloud-native AI Suite, pilih Console, dan kotak dialog Note muncul.

   • Jika Authorized ditampilkan, lakukan Langkah 3.

   • Jika Unauthorized ditampilkan dalam warna merah dan tombol OK redup, lakukan Langkah 2.

     

2. Buat kebijakan kustom untuk memberikan izin kepada peran pekerja RAM.

   1. Buat kebijakan kustom.

      1. Masuk ke Konsol RAM. Di panel navigasi kiri, pilih Permissions > Policies.

      2. Di halaman Policies, klik Create Policy.

      3. Klik tab JSON, tambahkan informasi kebijakan berikut, dan klik OK. Di kotak dialog Create Policy, masukkan nama untuk kebijakan dalam format k8sWorkerRolePolicy-{ClusterID} dan klik OK.

          {
             "Version": "1",
             "Statement": [
                 {
                     "Effect": "Allow",
                     "Action": [
                         "cs:*",
                         "log:GetProject",
                         "log:GetLogStore",
                         "log:GetConfig",
                         "log:GetMachineGroup",
                         "log:GetAppliedMachineGroups",
                         "log:GetAppliedConfigs",
                         "log:GetIndex",
                         "log:GetSavedSearch",
                         "log:GetDashboard",
                         "log:GetJob",
                         "ecs:DescribeInstances",
                         "ecs:DescribeSpotPriceHistory",
                         "ecs:DescribePrice",
                         "eci:DescribeContainerGroups",
                         "eci:DescribeContainerGroupPrice",
                         "log:GetLogStoreLogs",
                         "ims:CreateApplication",
                         "ims:UpdateApplication",
                         "ims:GetApplication",
                         "ims:ListApplications",
                         "ims:DeleteApplication",
                         "ims:CreateAppSecret",
                         "ims:GetAppSecret",
                         "ims:ListAppSecretIds",
                         "ims:ListUsers"
                     ],
                     "Resource": "*"
                 }
             ]
         }

   2. Berikan izin kepada peran pekerja RAM dari kluster.

      1. Masuk ke Konsol RAM. Di panel navigasi kiri, pilih Identities > Roles.

      2. Masukkan peran pekerja RAM dalam format KubernetesWorkerRole-{ClusterID} ke dalam kotak pencarian. Temukan peran yang ingin Anda kelola dan klik Grant Permission di kolom Actions.

      3. Di bagian Select Policy, klik Custom Policy.

      4. Masukkan nama kebijakan kustom yang Anda buat dalam format k8sWorkerRolePolicy-{ClusterID} ke dalam kotak pencarian dan pilih kebijakan tersebut.

      5. Klik OK.

   3. Kembali ke kotak dialog Note dan klik Authorization Check. Jika otorisasi berhasil, Authorized ditampilkan dan tombol OK menjadi tersedia. Kemudian, lakukan Langkah 3.

      

3. Atur parameter Penyimpanan Data Konsol.

   Dalam contoh ini, Pre-installed MySQL dipilih. Anda dapat memilih ApsaraDB RDS di lingkungan produksi. Untuk informasi lebih lanjut, lihat Instal dan konfigurasikan AI Dashboard dan AI Developer Console.

4. Klik Deploy Cloud-native AI Suite.

   Setelah status AI Dashboard berubah menjadi Ready, AI Dashboard siap digunakan.

(Optional) Create a dataset

Anda dapat membuat dan mempercepat dataset berdasarkan kebutuhan pengembang algoritma. Bagian berikut menjelaskan cara membuat dataset di AI Dashboard atau menggunakan CLI.

fashion-mnist dataset

Gunakan kubectl untuk membuat volume persisten (PV) dan klaim volume persisten (PVC) tipe Object Storage Service (OSS) pada node kluster.

1. Jalankan perintah berikut untuk membuat namespace bernama demo-ns:

kubectl create ns demo-ns

2. Buat file YAML bernama fashion-mnist.yaml.

apiVersion: v1
kind: PersistentVolume
metadata:
  name: fashion-demo-pv         
spec:
  accessModes:
  - ReadWriteMany
  capacity:
    storage: 10Gi                
  csi:
    driver: ossplugin.csi.alibabacloud.com
    volumeAttributes:
      bucket: fashion-mnist      
      otherOpts: "-o max_stat_cache_size=0 -o allow_other"
      url: oss-cn-beijing.aliyuncs.com   
      akId: "AKID"               
      akSecret: "AKSECRET"
    volumeHandle: fashion-demo-pv
  persistentVolumeReclaimPolicy: Retain
  storageClassName: oss
  volumeMode: Filesystem
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: fashion-demo-pvc
  namespace: demo-ns
spec:
  accessModes:
  - ReadWriteMany
  resources:
    requests:
      storage: 10Gi
  selector:
    matchLabels:
      alicloud-pvname: fashion-demo-pv
  storageClassName: oss
  volumeMode: Filesystem
  volumeName: fashion-demo-pv

3. Jalankan perintah berikut untuk membuat PV dan PVC:

kubectl create -f fashion-mnist.yaml

4. Periksa status PV dan PVC.

   1. Jalankan perintah berikut untuk memeriksa status PV:

      kubectl get pv fashion-demo-pv -ndemo-ns

      Output yang diharapkan:

      NAME                   CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                          STORAGECLASS   REASON   AGE
      fashion-demo-pv        10Gi       RWX            Retain           Bound    demo-ns/fashion-demo-pvc       oss                     8h

   2. Jalankan perintah berikut untuk memeriksa status PVC:

      kubectl get pvc fashion-demo-pvc -ndemo-ns

      Output yang diharapkan:

      NAME                       STATUS   VOLUME                 CAPACITY   ACCESS MODES   STORAGECLASS   AGE
      fashion-demo-pvc           Bound    fashion-demo-pv        10Gi       RWX            oss            8h

Accelerate a dataset

Anda dapat mempercepat dataset di AI Dashboard. Contoh berikut menunjukkan cara mempercepat dataset bernama fashion-demo-pvc di namespace demo-ns.

1. Akses AI Dashboard sebagai administrator.
2. Di panel navigasi kiri AI Dashboard, pilih Dataset > Dataset List.

3. Di halaman Dataset List, temukan dataset dan klik Accelerate di kolom Operator.

   Gambar berikut menunjukkan dataset yang dipercepat.

   

Langkah 2: Lihat dashboard sumber daya

Anda dapat melihat penggunaan sumber daya kluster dalamberbagai dimensi pada dashboard sumber daya yang disediakan oleh AI Dashboard. Ini membantu Anda mengoptimalkan alokasi sumber daya dan meningkatkan pemanfaatan.

Cluster dashboard

Node dashboard

Training job dashboard

Resource quota dashboard

Langkah 3: Kelola pengguna dan kuota

• Pohon kuota memungkinkan Anda mengonfigurasi kuota sumber daya hierarkis. Pohon kuota digunakan oleh plugin penjadwalan kapasitas. Untuk mengoptimalkan pemanfaatan keseluruhan sumber daya kluster, Anda dapat mengizinkan pengguna untuk berbagi sumber daya setelah Anda menggunakan pohon kuota untuk mengalokasikan sumber daya kepada pengguna.

• Setiap pengguna di Kubernetes memiliki akun layanan. Akun layanan dapat digunakan sebagai kredensial untuk mengirimkan pekerjaan dan masuk ke konsol. Izin diberikan kepada pengguna berdasarkan peran pengguna. Sebagai contoh, peran admin dapat masuk ke AI Dashboard dan melakukan operasi pemeliharaan pada kluster. Peran peneliti dapat mengirimkan pekerjaan, menggunakan sumber daya kluster, dan masuk ke AI Developer Console. Peran admin memiliki semua izin yang dimiliki oleh peran peneliti.

• Grup pengguna adalah unit terkecil dalam alokasi sumber daya. Setiap grup pengguna sesuai dengan node daun di pohon kuota. Pengguna harus dikaitkan dengan grup pengguna sebelum mereka dapat menggunakan sumber daya yang dikaitkan dengan grup pengguna tersebut.

Berikut ini menjelaskan cara menggunakan pohon kuota untuk menetapkan kuota sumber daya hierarkis dan cara menggunakan grup pengguna untuk mengalokasikan sumber daya kepada pengguna. Bagian berikut juga menjelaskan cara berbagi dan mereklaim sumber daya CPU dengan mengirimkan pekerjaan sederhana.

Add a quota node and set resource quotas

Anda dapat menetapkan kuota sumber daya dengan menentukan parameter Min dan Max dari setiap sumber daya. Parameter Min menentukan jumlah minimum sumber daya yang dapat digunakan. Parameter Max menentukan jumlah maksimum sumber daya yang dapat digunakan. Setelah Anda mengaitkan namespace dengan node daun pohon kuota, batasan yang ditetapkan pada node antara node root dan node daun berlaku untuk namespace tersebut.

1. Jika tidak ada namespace yang tersedia, Anda harus membuat namespace terlebih dahulu. Jika namespace tersedia, pastikan bahwa namespace yang Anda pilih tidak berisi pod dalam status Running.

   kubectl create ns namespace1
   kubectl create ns namespace2
   kubectl create ns namespace3
   kubectl create ns namespace4

2. Buat node kuota dan kaitkan dengan namespace.

Create users and user groups

Seorang pengguna dapat termasuk dalam satu atau lebih grup pengguna. Sebuah grup pengguna dapat berisi satu atau lebih pengguna. Anda dapat mengaitkan grup pengguna berdasarkan pengguna atau mengaitkan pengguna berdasarkan grup pengguna. Anda dapat mengalokasikan sumber daya dan memberikan izin berdasarkan proyek menggunakan pohon kuota dan grup pengguna.

1. Buat pengguna. Untuk informasi lebih lanjut, lihat Hasilkan file kubeconfig dan token login pengguna baru.

2. Buat grup pengguna. Untuk informasi lebih lanjut, lihat Tambahkan grup pengguna.

Capacity scheduling example

Lakukan operasi berikut:

1. Buat namespace dan pohon kuota.

   1. Jalankan perintah berikut untuk membuat empat namespace.

      Jalankan perintah berikut untuk membuat namespace1:

      kubectl create ns namespace1
      kubectl create ns namespace2
      kubectl create ns namespace3
      kubectl create ns namespace4

   2. Buat pohon kuota berdasarkan gambar berikut.

      

2. Buat Deployment di namespace1 menggunakan template YAML berikut. Deployment ini menyediakan lima pod dan setiap pod meminta lima core CPU.

   Jika Anda tidak menetapkan kuota elastis, pengguna hanya dapat menggunakan 10 core CPU karena jumlah minimum sumber daya CPU ditetapkan menjadi 10 (cpu.min=10), yang berarti dua pod dibuat. Setelah Anda menetapkan kuota elastis:

   • Ketika 40 core CPU tersedia di kluster, empat pod dibuat (4 pod x 5 core/pod = 20 core).

   • Pod terakhir berada dalam status Pending karena jumlah maksimum sumber daya (cpu.max=20) telah tercapai.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx1
     namespace: namespace1
     labels:
       app: nginx1
   spec:
     replicas: 5
     selector:
       matchLabels:
         app: nginx1
     template:
       metadata:
         name: nginx1
         labels:
           app: nginx1
       spec:
         containers:
         - name: nginx1
           image: nginx
           resources:
             limits:
               cpu: 5
             requests:
               cpu: 5

3. Buat Deployment lain di namespace2 menggunakan template YAML berikut. Deployment ini menyediakan lima pod dan setiap pod meminta lima core CPU.

   Jika Anda tidak menetapkan kuota elastis, pengguna hanya dapat menggunakan 10 core CPU karena jumlah minimum sumber daya CPU ditetapkan menjadi 10 (cpu.min=10), yang berarti dua pod dibuat. Setelah Anda menetapkan kuota elastis:

   • Ketika 20 core CPU (40 core - 20 core di namespace1) tersedia di kluster, empat pod (4 pod x 5 core/pod = 20 core) dibuat.

   • Pod terakhir berada dalam status Pending karena jumlah maksimum sumber daya (cpu.max=20) telah tercapai.

   • Setelah Anda membuat dua Deployment sebelumnya, pod di namespace1 dan namespace2 telah menggunakan 40 core CPU, yang merupakan jumlah maksimum core CPU untuk node root.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx2
     namespace: namespace2
     labels:
       app: nginx2
   spec:
     replicas: 5
     selector:
       matchLabels:
         app: nginx2
     template:
       metadata:
         name: nginx2
         labels:
           app: nginx2
       spec:
         containers:
         - name: nginx2
           image: nginx
           resources:
             limits:
               cpu: 5
             requests:
               cpu: 5

4. Buat Deployment ketiga di namespace3 menggunakan template YAML berikut. Deployment ini menyediakan lima pod dan setiap pod meminta lima core CPU.

   • Kluster tidak memiliki sumber daya idle. Penjadwal mereklaim 10 core CPU dari root.a untuk menjamin jumlah minimum sumber daya CPU untuk root.b.1.

   • Sebelum penjadwal mereklaim 10 core CPU yang digunakan sementara, ia juga mempertimbangkan faktor lain, seperti prioritas, ketersediaan, dan waktu pembuatan beban kerja root.a. Oleh karena itu, setelah pod nginx3 dijadwalkan berdasarkan 10 core CPU yang direklaim, dua pod berada dalam status Running dan tiga pod lainnya dalam status Pending.

   • Setelah 10 core CPU direklaim dari root.a, baik namespace1 maupun namespace2 berisi dua pod yang berada dalam status Running dan tiga pod yang berada dalam status Pending.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx3
     namespace: namespace3
     labels:
       app: nginx3
   spec:
     replicas: 5
     selector:
       matchLabels:
         app: nginx3
     template:
       metadata:
         name: nginx3
         labels:
           app: nginx3
       spec:
         containers:
         - name: nginx3
           image: nginx
           resources:
             limits:
               cpu: 5
             requests:
               cpu: 5

5. Buat Deployment keempat di namespace4 menggunakan template YAML berikut. Deployment ini menyediakan lima pod dan setiap pod meminta lima core CPU.

   • Penjadwal mempertimbangkan prioritas, ketersediaan, dan waktu pembuatan setiap tugas dan mereklaim sumber daya CPU dari root.a.

   • Penjadwal mereklaim satu core CPU dari root.a.1 dan satu core CPU dari root.a.2. Dalam skenario ini, dua pod (2 pod x 5 core CPU/pod = 10 core CPU) berjalan di namespace1. Dua pod (2 pod x 5 core CPU/pod = 10 core CPU) berjalan di namespace2.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nginx4
     namespace: namespace4
     labels:
       app: nginx4
   spec:
     replicas: 5
     selector:
       matchLabels:
         app: nginx4
     template:
       metadata:
         name: nginx4
         labels:
           app: nginx4
       spec:
         containers:
         - name: nginx4
           image: nginx
           resources:
             limits:
               cpu: 5
             requests:
               cpu: 5