Platform For AI:Praktik Terbaik PAI-EAS Spot

Skenario

• Workload non-kritis: Aplikasi yang gangguan layanan sesekali memiliki dampak minimal.

• Pemrosesan toleransi kesalahan: Aplikasi yang dapat menangani ketidaktersediaan layanan singkat melalui mekanisme retry atau strategi toleransi kesalahan lainnya.

• Kebutuhan optimasi biaya tinggi: Proyek atau bisnis yang bertujuan menurunkan biaya operasional dengan memanfaatkan sumber daya komputasi fleksibel dan murah.

Metode konfigurasi layanan Spot

1. Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Enter Elastic Algorithm Service (EAS).

2. Klik Deploy Service. Di bagian Inference Service, klik Custom Deployment pada bagian Custom Model Deployment.

3. Di bagian penerapan resource, atur Resource Type menjadi Public Resources. Pilih spesifikasi resource (disarankan instans seri L atau H), aktifkan mode Spot, dan masukkan harga penawaran Anda. Anda dapat mengklik kurva harga historis untuk melihat harga pasar 48 jam terakhir sebagai referensi penawaran.

   Di bagian Deployment Resources, tambahkan beberapa spesifikasi resource. Untuk masing-masing, alihkan sakelar Spot dan tetapkan harga penawaran. Atur Spot Instance Retention Duration menjadi No Guaranteed Protection Period.

   Penting

   • Harga penawaran Anda tidak sama dengan harga pembayaran aktual—harga pasar yang menentukan berapa yang harus Anda bayar. Penawaran Anda mencerminkan harga maksimum yang bersedia Anda bayar. Selama harga pasar tetap di bawah penawaran Anda, instans Anda tetap aktif. Selama periode tersebut, Anda membayar harga pasar saat ini, bukan harga penawaran Anda.

   • Kami sangat menyarankan menetapkan harga penawaran Anda sebesar 20% dari harga daftar. Misalnya, harga daftar pay-as-you-go untuk instans L20 dengan 8 core dan satu GPU adalah CNY 14,4/jam. Harga Spot saat ini tidak pernah melebihi 20% dari harga daftar—dalam kasus ini CNY 2,88/jam. Strategi ini memastikan akses stabil ke resource dengan diskon signifikan. Untuk informasi lebih lanjut, lihat Spot instance selection.

   • Konfigurasikan instans reguler (on-demand) bersama instans Spot untuk menghindari kegagalan penerapan jika kapasitas Spot tidak tersedia.

4. Setelah penerapan berhasil, Anda dapat meninjau fluktuasi harga 48 jam terakhir di halaman detail layanan EAS untuk lebih memahami perubahan biaya. Di bagian Service Instances, lihat status instans Spot Anda. Klik sebuah instans untuk membuka panel sisi kanan, yang menampilkan grafik garis berjudul Instance Specification Price (CNY/hour). Garis utuh biru menunjukkan harga daftar asli, sedangkan garis putus-putus ungu menunjukkan harga pasar Spot di zona tersebut.

Reklamasi instans Spot dan toleransi kesalahan

Mekanisme reklamasi platform EAS

Ketika instans Spot akan direklamasi, EAS biasanya menerima notifikasi peringatan sekitar 5 menit sebelumnya. Setelah menerima pemberitahuan ini, instans memulai shutdown yang mulus untuk mengalihkan traffic secara bertahap dan mencegah kegagalan permintaan. Secara bersamaan, EAS secara otomatis meluncurkan instans baru, mencoba penerapan sesuai urutan yang ditentukan dalam konfigurasi resource Anda. Proses ini meminimalkan gangguan dan memastikan kelangsungan bisnis yang lancar.

Beralih kembali ke instans Spot setelah reklamasi

Jika layanan Anda beralih ke instans reguler setelah reklamasi Spot dan Anda ingin kembali menggunakan instans Spot begitu stok tersedia, gunakan fitur Instance Recreation.

Fitur Instance Recreation melepaskan instans saat ini dan membuat instans baru dengan pengaturan identik:

Di bagian Service Instances, klik menu dropdown di kolom Actions untuk instans target Anda dan pilih Instance Recreation.

Rekomendasi konfigurasi pengguna

Ketika instans Spot akan direklamasi, EAS secara otomatis memulai instans baru dan memulai shutdown yang mulus. Untuk meningkatkan stabilitas, keandalan, dan kecepatan startup layanan, ikuti rekomendasi konfigurasi berikut.

Konfigurasikan beberapa tipe instans

Untuk memastikan stabilitas dan keandalan layanan, gunakan strategi diversifikasi instans dengan memilih beberapa spesifikasi resource. Yang terpenting, sertakan setidaknya satu tipe instans reguler (non-Spot) sebagai opsi cadangan. EAS akan mencoba menerapkan instans sesuai urutan yang Anda tentukan, memaksimalkan peluang startup sukses dan operasi berkelanjutan. Untuk informasi lebih lanjut tentang pemilihan instans multi-spesifikasi, lihat Multi-specification instance selection.

Di bagian Deployment Resources, tambahkan hingga 10 spesifikasi resource. Tetapkan Bid Price (CNY/jam) untuk setiap instans Spot. Untuk Spot Instance Retention Duration, pilih antara No Guaranteed Protection Period atau Guarantee 1 Hour of Usage.

Aktifkan cache memori direktori lokal

Untuk mempercepat pemuatan file model saat instans baru dimulai setelah reklamasi Spot, konfigurasikan caching memori direktori lokal. Ini menggunakan memori node menganggur untuk menyimpan cache file model dari direktori lokal. Instans baru kemudian dapat memuat model langsung dari memori alih-alih membaca dari penyimpanan data terpusat yang dimount, sehingga mengurangi waktu inisialisasi dan meminimalkan waktu henti layanan selama penskalaan.

Aktifkan akselerasi cache memori saat pembuatan layanan EAS untuk meningkatkan efisiensi penskalaan. Untuk informasi lebih lanjut, lihat Model cache acceleration.

Di bagian Service Features, aktifkan Memory Cache Acceleration. Setelah diaktifkan, klik Modify Configuration untuk menyesuaikan parameter cache.

Perbaikan performa dari mengaktifkan akselerasi cache memori (cachefs) ditunjukkan pada tabel berikut. Menggunakan contoh pergantian model Stable Diffusion, dibandingkan dengan memuat model langsung dari direktori yang dimount ke OSS, mengaktifkan cachefs memungkinkan instans baru membaca model dari memori instans lain yang sedang berjalan (remote cachefs hit), sehingga secara signifikan mengurangi waktu pemuatan model.

Gunakan ACR Edisi Perusahaan

Untuk mempercepat proses pulling image saat instans baru dimulai setelah reklamasi Spot, gunakan ACR Edisi Perusahaan dengan akselerasi image diaktifkan. Terapkan layanan EAS menggunakan image terakselerasi dengan menambahkan _accelerated ke URL image standar. Saat menerapkan, pilih jaringan VPC yang terkait dengan instans ACR Edisi Perusahaan Anda.

Gunakan ACR Edisi Perusahaan dengan Edisi Standar instance type. Aktifkan akselerasi image saat membuat repository image Anda untuk meningkatkan efisiensi penskalaan. Untuk informasi lebih lanjut, lihat Image acceleration.

Di opsi akselerasi image, pilih Full Mode.

Kombinasikan dengan elastic scaling

Ketika workload Anda memiliki puncak dan lembah yang signifikan, aktifkan auto-scaling horizontal. Gunakan kombinasi kelompok sumber daya khusus untuk kapasitas dasar + resource Spot untuk elastisitas + resource reguler sebagai cadangan untuk memastikan penskalaan lancar dan efisiensi biaya optimal. Ikuti strategi konfigurasi berikut:

1. Beli satu set kelompok sumber daya khusus EAS berlangganan atau pay-as-you-go untuk menjamin kapasitas layanan minimum. Di konsol, konfigurasikan kebutuhan GPU, CPU, dan memori di kelompok sumber daya khusus Anda untuk memastikan layanan dapat dimulai secara andal.

2. Aktifkan Elastic Resource Pool EAS dan konfigurasikan beberapa spesifikasi resource. Berikan prioritas resource Spot dalam urutan sorting Anda, dengan resource reguler sebagai cadangan terakhir. Ini memastikan bahwa selama puncak traffic, penskalaan pertama kali menggunakan kapasitas Spot yang tersedia dan hanya beralih ke resource reguler jika stok Spot tidak mencukupi—menyeimbangkan penghematan biaya dan keandalan.

   Konfigurasikan tiga tipe resource di kolam sumber daya elastis: ecs.gn8v-8x.48xlarge (Spot diaktifkan, penawaran CNY 33/jam) dan ecs.gn8is-8x.32xlarge (Spot diaktifkan, penawaran CNY 25/jam) sebagai resource Spot, dan ml.gu7i.c8m30.1-gu30 (Spot dinonaktifkan) sebagai cadangan. Atur Spot Instance Retention Duration menjadi Guarantee 1 Hour of Usage.

3. Setelah menerapkan layanan Anda, aktifkan auto-scaling horizontal di halaman detail layanan berdasarkan metrik bisnis. Penskalaan otomatis menggunakan metrik seperti QPS, CPU utilization, GPU utilization, atau queue length, atau definisikan metrik kustom.

   Di kotak dialog Auto Scaling Settings, atur Minimum Instances dan Maximum Instances (misalnya, 2 dan 10). Pilih metrik penskalaan dan tetapkan ambang batas (misalnya, atur GPU Utilization Threshold menjadi 60%), lalu klik Enable.

   Anda juga dapat mengaktifkan scheduled scaling untuk menyelaraskan dengan pola traffic yang dapat diprediksi seiring waktu.

   Di kotak dialog Scheduled Auto Scaling Settings, klik Add untuk membuat tugas terjadwal. Konfigurasikan Task Name, Target Instance Count, dan Scheduling Cycle (pilih dari Weekly, Daily, atau cron expression). Pilih waktu eksekusi, dan sistem akan menghasilkan ekspresi cron yang sesuai secara otomatis (misalnya, 0 0 9 * * * berjalan setiap hari pukul 09.00). Klik OK setelah selesai.

Saat membuat instans, EAS memberikan prioritas kapasitas kelompok sumber daya khusus terlebih dahulu, lalu melakukan siklus melalui resource yang tersedia di kolam sumber daya elastis sesuai urutan yang Anda tentukan.

• Misalnya, jika kelompok sumber daya khusus Anda telah digunakan sepenuhnya dan diperlukan instans tambahan dari kolam sumber daya publik, sistem pertama-tama memeriksa berapa banyak instans ecs.gn8v-8x.48xlarge yang dapat dibuat. Jika tidak mencukupi, sistem memeriksa ecs.gn8is-8x.32xlarge. Jika keduanya tidak tersedia, sistem menggunakan ml.gu7i.c8m30.1-gu30 untuk instans sisanya.

• Misalnya, untuk menskalakan 8 instans tambahan di luar kelompok sumber daya khusus Anda, Anda mungkin mendapatkan 2 instans di kelompok khusus, 3 di ecs.gn8v-8x.48xlarge, 2 di ecs.gn8is-8x.32xlarge, dan 3 di ml.gu7i.c8m30.1-gu30.

Untuk petunjuk detail tentang konfigurasi elastis EAS, lihat dokumen berikut:

• Horizontal auto-scaling

• Scheduled auto-scaling

• Elastic resource pool