Konfigurasikan kolam sumber daya elastis untuk kelompok sumber daya khusus - Platform For AI

Kolam sumber daya elastis adalah strategi penjadwalan sumber daya hibrida tingkat layanan yang disediakan oleh EAS. Strategi ini memungkinkan layanan yang diterapkan dalam kelompok sumber daya khusus untuk secara otomatis memperluas kapasitas dengan membuat replica baru ke dalam kelompok sumber daya publik berbayar sesuai penggunaan saat lonjakan bisnis memicu skala keluar dan sumber daya khusus tidak mencukupi, sehingga menjamin kemampuan auto scaling layanan tersebut.

Manfaat

Mengatasi batas kapasitas kelompok sumber daya: Saat kapasitas kelompok sumber daya khusus habis, skala keluar layanan dapat secara otomatis menggunakan instans berbayar sesuai penggunaan dari kolam sumber daya publik. Hal ini mencegah horizontal auto scaling (berdasarkan metrik seperti QPS dan CPU) terbatas oleh jumlah node fisik dalam kelompok sumber daya khusus.
Mengoptimalkan biaya: Tangani beban kerja garis dasar dengan sumber daya prabayar berbiaya rendah, dan gunakan sumber daya berbayar sesuai penggunaan hanya saat permintaan puncak. Pendekatan ini menghilangkan kebutuhan untuk mempertahankan sumber daya khusus berlebih guna mengantisipasi beban puncak, sehingga mengurangi total biaya sumber daya.

Cara kerja

Logika penjadwalan untuk kolam sumber daya elastis mengikuti urutan prioritas yang jelas untuk menyeimbangkan biaya dan stabilitas.

Scale-out
1. Saat layanan memicu scale-out, penjadwal EAS pertama-tama mencoba membuat instans baru di dalam kelompok sumber daya khusus layanan tersebut.
2. Jika kelompok sumber daya khusus tidak memiliki sumber daya yang cukup untuk membuat instans (misalnya tidak ada node yang tersedia, atau CPU, memori, atau GPU yang tersisa tidak mencukupi untuk memenuhi kebutuhan instans), penjadwal akan menyediakan instans baru di kelompok sumber daya publik menggunakan instance type yang Anda tentukan saat mengonfigurasi kolam sumber daya elastis.
Scale-in
1. Saat layanan memicu scale-in, sistem akan menghentikan tugas instans di kelompok sumber daya publik terlebih dahulu.
2. Sistem baru akan melakukan scale-in pada instans di kelompok sumber daya khusus setelah semua instans elastis di kelompok sumber daya publik dihentikan. Strategi ini melepaskan sumber daya elastis yang lebih mahal terlebih dahulu sambil mempertahankan instans garis dasar Anda yang stabil.

Prasyarat

Anda telah membuat kelompok sumber daya khusus. Untuk detailnya, lihat Mengelola kelompok sumber daya EAS.

Konfigurasi

Aktifkan saat penerapan layanan

Console

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

Pada halaman Custom Deployment, di bagian Resource Information, konfigurasikan parameter utama berikut. Untuk informasi tentang parameter lainnya, lihat Custom Deployment.

Parameter	Deskripsi
Resource Type	Pilih EAS Resource Group.
Resource Group	Pilih kelompok sumber daya khusus yang sudah ada.
Elastic Resource Pool	Nyalakan sakelar Elastic Resource Pool dan pilih Resource Specification. Setelah fitur ini dikonfigurasi, jika scale-out layanan memerlukan lebih banyak sumber daya daripada yang dapat disediakan oleh kelompok khusus, instans baru akan secara otomatis diluncurkan pada sumber daya publik berbayar sesuai penggunaan yang telah dikonfigurasi dan ditagih sebagai instans kelompok sumber daya publik. Saat scale-in terjadi, instans layanan di kelompok sumber daya publik akan dihentikan terlebih dahulu.

Klik Deploy.

JSON

Parameter utama untuk mengaktifkan kolam sumber daya elastis adalah sebagai berikut. Untuk parameter lainnya, lihat Penerapan JSON.

resource_burstable: Jika parameter ini diatur ke true, kolam sumber daya elastis diaktifkan.
cloud.networking: Saat Anda mengaktifkan kolam sumber daya elastis, gunakan bidang ini untuk mengonfigurasi VPC bagi layanan guna memastikan ketersediaan jaringan selama elastic scaling.
Penting
Saat menggunakan kelompok sumber daya khusus, Anda dapat mengonfigurasi VPC di tingkat kelompok sumber daya, tetapi untuk kelompok sumber daya khusus, VPC hanya dapat dikonfigurasi di tingkat layanan (melalui bidang cloud.networking).
cloud.computing: Tipe instans yang dapat digunakan untuk instans yang diskalakan ke sumber daya publik. Untuk informasi lebih lanjut, lihat Menggunakan sumber daya publik.

Contoh berikut menunjukkan konfigurasi JSON:

{
  "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/lr.pmml",
  "name": "test_burstable_service",
  "processor": "pmml",
  "metadata": {
    "instance": 1,
    "cpu": 1,
    "resource": "eas-r-xxx",
    "resource_burstable": true
  },
   "cloud": {
        "computing": {
            "instance_type": "ecs.r7.2xlarge"
        },
        "networking": {
            "security_group_id": "sg-uf68iou5an8j7sxd****",
            "vswitch_id": "vsw-uf6nji7pzztuoe9i7****"
        }
    }
}

Aktifkan atau nonaktifkan setelah penerapan

Console

Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Temukan layanan yang telah diterapkan dan klik Update di kolom Actions.
Pada halaman Update Service, buka bagian Resource Information untuk mengaktifkan atau menonaktifkan fitur ini.
- Untuk mengaktifkan auto scaling:
  Di bagian Resource Information, nyalakan sakelar Elastic Resource Pool dan konfigurasikan tipe instans untuk kelompok sumber daya publik.
- Untuk menonaktifkan auto scaling:
  Di bagian Resource Information, matikan sakelar Elastic Resource Pool.
Klik Update.

CLI

Gunakan perintah berikut untuk mengaktifkan atau menonaktifkan fitur auto scaling pada layanan yang telah diterapkan. Contoh ini menggunakan versi client Windows 64-bit.

Penting

Jika Anda menerapkan layanan di kelompok sumber daya khusus tanpa mengonfigurasi parameter cloud.networking, instans yang diskalakan ke kelompok sumber daya publik tidak mendukung koneksi jaringan langsung setelah auto scaling diaktifkan.

# Aktifkan fitur kolam sumber daya elastis untuk layanan.
eascmdwin64.exe modify <service_name> -Dmetadata.resource_burstable=true

# Nonaktifkan fitur kolam sumber daya elastis untuk layanan.
eascmdwin64.exe modify <service_name> -Dmetadata.resource_burstable=false

Dengan: <service_name> menentukan nama layanan yang telah diterapkan.

Penting

Perubahan ini hanya berlaku untuk instans layanan baru; tidak secara otomatis memigrasikan instans yang sudah ada. Misalnya, jika Anda mengaktifkan kolam sumber daya elastis saat dua instans sedang tertunda, instans tersebut tidak akan secara otomatis dipindahkan ke kelompok sumber daya publik. Anda dapat melakukan restart instans melalui konsol, setelah itu instans akan dijadwalkan ke sumber daya publik. Demikian pula, jika Anda menonaktifkan auto scaling untuk layanan yang sudah menggunakannya, instans yang berjalan di kelompok sumber daya publik tidak akan secara otomatis kembali ke kelompok sumber daya khusus.

Topik terkait

Untuk menskalakan instans secara otomatis berdasarkan metrik yang ditentukan, lihat Horizontal auto scaling.
Untuk menskalakan replica secara otomatis ke jumlah tertentu pada waktu yang dijadwalkan, lihat Scheduled auto scaling.