Konfigurasikan skalabilitas elastis untuk kelompok sumber daya khusus PAI EAS - Platform For AI

Elastic resource pool adalah strategi penjadwalan sumber daya hibrida tingkat layanan yang disediakan oleh EAS. Strategi ini memungkinkan layanan yang diterapkan dalam dedicated resource group secara otomatis “meluapkan” replica baru ke public resource group berbasis pay-as-you-go saat terjadi lonjakan lalu lintas dan sumber daya khusus tidak mencukupi, sehingga memastikan layanan Anda tetap memiliki kemampuan skalabilitas elastis.

Manfaat

Mengatasi batasan kapasitas kelompok sumber daya: Saat sumber daya dalam dedicated resource group menipis, skala keluar layanan dapat secara otomatis menggunakan instans sesuai permintaan dari public resource pool. Hal ini memastikan horizontal auto-scaling (berdasarkan metrik seperti QPS atau CPU) tidak dibatasi oleh jumlah node fisik dalam dedicated resource group.
Mengoptimalkan biaya: Gunakan sumber daya langganan berbiaya rendah untuk menangani lalu lintas garis dasar dan hanya gunakan sumber daya sesuai permintaan selama periode puncak. Pendekatan ini menghindari kepemilikan sumber daya khusus berlebih dalam jangka panjang hanya untuk mengantisipasi beban puncak, sehingga mengurangi total biaya sumber daya.

Cara kerja

Elastic resource pool menggunakan urutan prioritas penjadwalan yang jelas untuk menyeimbangkan biaya dan stabilitas.

Scale-out
1. Ketika layanan memicu scale-out, penjadwal EAS pertama-tama mencoba membuat instans baru dalam dedicated resource group layanan tersebut.
2. Jika dedicated resource group tidak memiliki sumber daya yang cukup—misalnya tidak ada node yang tersedia atau sisa CPU, memori, atau GPU tidak mencukupi—penjadwal akan membuat instans baru dalam public resource group menggunakan resource specification (tipe instans) yang telah Anda tentukan saat mengonfigurasi elastic resource pool.
Scale-in
1. Ketika layanan memicu scale-in, sistem secara preferensial memilih dan menghentikan tugas instans yang berjalan di public resource group.
2. Hanya setelah semua instans elastis di public resource group di-scale-in, sistem baru mulai melakukan scale-in terhadap instans dari dedicated resource group. Pendekatan ini memastikan sumber daya elastis berbiaya lebih tinggi dilepas terlebih dahulu, sementara instans garis dasar yang lebih stabil tetap dipertahankan.

Prasyarat

Anda telah membuat dedicated resource group. Untuk informasi selengkapnya, lihat Use EAS resource groups.

Metode konfigurasi

Aktifkan elastic resource pool saat penerapan layanan

Konfigurasi Konsol

Masuk ke PAI console. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

Di halaman Custom Deployment, buka bagian Resource Information dan konfigurasikan parameter utama berikut. Untuk parameter lainnya, lihat Custom deployment.

Parameter	Deskripsi
Resource Type	Pilih EAS Resource Group.
Resource Group	Pilih dedicated resource group yang sudah ada.
Elastic Resource Pool	Nyalakan sakelar Elastic Resource Pool dan pilih Resource Specification. Setelah mengonfigurasi elastic resource pool, jika sumber daya mesin tidak mencukupi saat scale-out, instans baru yang dibuat akan secara otomatis berjalan pada sumber daya publik pay-as-you-go yang telah dikonfigurasi dan ditagih di bawah public resource group. Saat scale-in, instans di public resource group akan dikurangi terlebih dahulu.

Klik Deploy.

Konfigurasi JSON

Parameter utama untuk mengaktifkan elastic resource pool tercantum di bawah ini. Untuk parameter lainnya, lihat JSON deployment.

resource_burstable: Atur ke true untuk mengaktifkan elastic resource pool.
cloud.networking: Untuk memastikan ketersediaan jaringan selama skalabilitas elastis, konfigurasikan virtual private cloud (VPC) layanan menggunakan bidang ini saat mengaktifkan elastic resource pool.

Penting
Saat menggunakan dedicated resource group, Anda dapat mengonfigurasi virtual private cloud di tingkat kelompok sumber daya, tetapi Anda hanya dapat mengonfigurasi dedicated resource group di tingkat layanan (melalui bidang cloud.networking).
cloud.computing: Menentukan tipe instans yang tersedia untuk scale-out ke sumber daya publik. Untuk informasi selengkapnya, lihat Use public resources.

Contoh berikut menunjukkan file konfigurasi JSON.

{
  "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/lr.pmml",
  "name": "test_burstable_service",
  "processor": "pmml",
  "metadata": {
    "instance": 1,
    "cpu": 1,
    "resource": "eas-r-xxx",
    "resource_burstable": true
  },
   "cloud": {
        "computing": {
            "instance_type": "ecs.r7.2xlarge"
        },
        "networking": {
            "security_group_id": "sg-uf68iou5an8j7sxd****",
            "vswitch_id": "vsw-uf6nji7pzztuoe9i7****"
        }
    }
}

Aktifkan atau nonaktifkan elastic resource pool setelah penerapan layanan

Menggunakan konsol

Masuk ke PAI console. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Klik Update di kolom Actions untuk layanan yang telah diterapkan.
Di halaman Update Service, buka bagian Resource Information untuk mengaktifkan atau menonaktifkan skalabilitas elastis.
- Aktifkan skalabilitas elastis
  
  Pada bagian Resource Information, aktifkan sakelar Elastic Resource Pool dan konfigurasikan spesifikasi public resource group.
- Nonaktifkan skalabilitas elastis
  
  Di bagian Resource Information, matikan sakelar Elastic Resource Pool.
Klik Update.

Menggunakan client lokal

Gunakan perintah berikut untuk dengan cepat mengaktifkan atau menonaktifkan auto scaling untuk layanan yang telah diterapkan. Contoh ini menggunakan versi Windows 64-bit:

Penting

Jika Anda tidak mengonfigurasi parameter cloud.networking saat menerapkan layanan dalam dedicated resource group, instans yang di-scale-out ke public resource group tidak akan mendukung konektivitas jaringan langsung setelah auto scaling diaktifkan.

# Aktifkan auto scaling untuk sumber daya layanan.
eascmdwin64.exe modify <service_name> -Dmetadata.resource_burstable=true
# Nonaktifkan auto scaling untuk sumber daya layanan.
eascmdwin64.exe modify <service_name> -Dmetadata.resource_burstable=false

Ganti <service_name> dengan nama layanan yang telah diterapkan.

Penting

Mengaktifkan atau menonaktifkan auto scaling hanya memengaruhi instans layanan yang baru dibuat. Instans yang sudah ada tidak secara otomatis dimigrasikan. Misalnya, jika dua instans berada dalam status pending saat scale-out selesai, mengaktifkan auto scaling setelahnya tidak akan memindahkan instans pending tersebut ke public resource group. Anda dapat me-restart instans tersebut di konsol agar dijadwalkan ulang ke sumber daya publik. Demikian pula, jika Anda menonaktifkan auto scaling untuk layanan yang sudah memiliki instans berjalan di sumber daya publik, instans tersebut tidak akan secara otomatis kembali ke dedicated resource group.

Referensi

Aktifkan horizontal auto-scaling agar sistem secara otomatis melakukan scaling berdasarkan metrik yang Anda konfigurasi. Untuk informasi selengkapnya, lihat Horizontal auto-scaling.
Untuk secara otomatis menskalakan jumlah replica ke nilai tertentu sesuai jadwal, lihat Scheduled auto-scaling.