：Buat kebijakan penskalaan otomatis untuk instans yang dipercepat GPU

Latar Belakang

Pemanfaatan sumber daya perangkat keras GPU bervariasi tergantung pada skenario, seperti Pelatihan model, Inferensi AI, dan Transkoding audio-video. Function Compute menyediakan fitur penskalaan otomatis untuk instans yang dipercepat GPU berdasarkan pemanfaatan sumber daya GPU, termasuk multiprosesor streaming (SM), Memori GPU, decoder perangkat keras, dan penyandi perangkat keras.

Anda dapat mengonfigurasi kebijakan penskalaan otomatis untuk instans yang disediakan di Function Compute menggunakan modifikasi pengaturan terjadwal atau berbasis metrik. Untuk instans yang dipercepat GPU, hanya modifikasi pengaturan berbasis metrik yang dapat digunakan. Informasi lebih lanjut tersedia di bagian "Modifikasi Pengaturan Berbasis Metrik" dalam Konfigurasikan Instans yang Disediakan dan Aturan Penskalaan Otomatis.

Lihat metrik instans yang dipercepat GPU

Setelah fungsi GPU dieksekusi, Anda dapat melihat penggunaan sumber daya instans yang dipercepat GPU di Function Compute console.

1. Masuk ke Konsol Function Compute. Di panel navigasi kiri, pilih Advanced Features > Monitoring Dashboard.

2. Di bilah navigasi atas, pilih wilayah. Dalam daftar layanan, klik nama layanan yang diinginkan.

3. Dalam daftar fungsi dasbor pemantauan, klik nama fungsi yang diinginkan.
4. Pada halaman dasbor pemantauan, klik tab Instance Metrics.
   Anda dapat memeriksa penggunaan sumber daya instans yang dipercepat GPU dengan melihat metrik berikut: GPU-accelerated Memory Usage (Percentage), GPU-accelerated SM Usage (Percentage), GPU-accelerated Hardware Encoder Usage (Percentage), dan GPU-accelerated Hardware Decoder Usage (Percentage).

Konfigurasikan kebijakan penskalaan otomatis

Metrik untuk penggunaan sumber daya GPU

Konfigurasikan kebijakan penskalaan otomatis di Konsol Function Compute

1. Masuk ke Konsol Function Compute. Di panel navigasi kiri, klik Services & Functions.

2. Di bilah navigasi atas, pilih wilayah. Pada halaman Services, klik layanan yang diinginkan.

3. Pada halaman Functions, klik nama fungsi yang diinginkan. Pada halaman Detail Fungsi yang muncul, klik tab Auto Scaling.

4. Pada halaman Detail Fungsi, klik tab Auto Scaling dan klik Create Rule.
5. Pada halaman yang muncul, konfigurasikan parameter berikut dan klik Create.
   1. Konfigurasikan versi dan jumlah minimum instans. Pertahankan nilai default untuk parameter lainnya.
      
   2. Di bagian Metric-based Setting Modification, klik + Add Configuration dan konfigurasikan kebijakan.
      Contoh:
   Setelah konfigurasi selesai, Anda dapat memilih Metrics > Function Metrics untuk melihat perubahan Function Provisioned Instances.

Konfigurasikan kebijakan penskalaan otomatis menggunakan Serverless Devs

1. Buat direktori proyek.

   mkdir fc-gpu-async-job&&cd fc-gpu-async-job

2. Di direktori proyek, buat file yang berisi kebijakan penskalaan otomatis, seperti gpu-sm-hpa-policy.json.
   Contoh:

   {
     "target": 1,
     "targetTrackingPolicies": [
       {"name":"hpa_gpu_decoder_util","startTime":"2022-09-05T16:00:00.000Z","endTime":"2023-07-06T16:00:00.000Z","metricType":"GPUSmUtilization","metricTarget":0.01,"minCapacity":1,"maxCapacity":20}
     ]
   }

3. Di direktori proyek, jalankan perintah berikut untuk menambahkan kebijakan penskalaan otomatis ke fungsi yang diinginkan:

   s cli fc provision put --region ${region} --service-name ${service-name} --function-name ${function-name} --qualifier LATEST --config gpu-sm-hpa-policy.json

4. Jalankan perintah berikut untuk melihat kebijakan penskalaan otomatis:

   s cli fc provision get --region ${region} --service-name ${service-name} --function-name ${function-name} --qualifier LATEST

   Jika perintah berhasil dijalankan, hasil berikut dikembalikan:

   [2022-10-08 16:00:12] [INFO] [FC] - Getting provision: zh****.LATEST/zh****
   serviceName:            zh****
   functionName:           zh****
   qualifier:              LATEST
   resource:               164901546557****#zh****#LATEST#zh****
   target:                 1
   current:                1
   scheduledActions:       null
   targetTrackingPolicies:
     -
       name:         hpa_gpu_decoder_util
       startTime:    2022-09-05T16:00:00.000Z
       endTime:      2023-07-06T16:00:00.000Z
       metricType:   GPUSmUtilization
       metricTarget: 0.01
       minCapacity:  1
       maxCapacity:  20
   currentError:
   alwaysAllocateCPU:      true

Referensi

Untuk memodifikasi sensitivitas penskalaan otomatis, bergabunglah dengan grup DingTalk untuk menghubungi dukungan teknis Function Compute.