Sumber daya publik sangat ideal untuk skenario pengujian atau layanan dengan lalu lintas fluktuatif karena memungkinkan Anda memanfaatkan kolam sumber daya elastis guna meminimalkan biaya. Namun, ketersediaan sumber daya publik tidak dijamin. Saat menerapkan layanan menggunakan sumber daya publik, Anda dapat memanfaatkan instans spot untuk mengurangi biaya lebih lanjut serta mengonfigurasi beberapa tipe instans guna mengurangi risiko kegagalan penerapan akibat stok yang tidak mencukupi pada satu tipe instans tertentu. Topik ini menjelaskan cara menerapkan layanan model menggunakan sumber daya publik.
Penagihan
Sumber daya publik ditagih berdasarkan model bayar sesuai penggunaan. Untuk informasi selengkapnya, lihat Penagihan Elastic Algorithm Service (EAS).
Kapan penagihan dimulai
Penagihan dimulai setelah layanan model diterapkan pada sumber daya publik menggunakan tipe instans tertentu dan memasuki status Running.
Platform for AI (PAI) menyediakan disk sistem gratis sebesar 30 GiB untuk setiap node instans dalam sumber daya publik. Anda dapat memperluas kapasitas disk sistem secara bayar sesuai penggunaan. Penagihan untuk disk sistem dimulai segera setelah pembuatan.
Kapan penagihan berhenti
Untuk menghentikan layanan beserta penagihannya, buka tab Service List pada halaman PAI EAS Model Online Service. Di kolom Actions untuk layanan target, klik Stop.
Hentikan layanan model yang tidak aktif sesegera mungkin untuk menghindari biaya yang tidak perlu.
Pastikan layanan yang dihentikan tidak lagi diperlukan agar tidak mengganggu bisnis.
Saat menggunakan sumber daya publik, jika pembuatan instans gagal karena sumber daya tidak mencukupi, sistem akan secara otomatis mencoba ulang begitu sumber daya tersedia. Hentikan atau hapus layanan model tersebut jika tidak lagi diperlukan.
Untuk mengetahui apakah kegagalan disebabkan oleh sumber daya yang tidak mencukupi, klik nama layanan untuk membuka halaman detail layanan dan periksa status instans.

Instans spot
Instans Spot adalah tipe instans yang memungkinkan Anda menerapkan layanan dalam mode preemptible dengan menetapkan batas harga maksimum, sehingga menyediakan sumber daya komputasi yang lebih hemat biaya.
Manfaat
Penghematan biaya: Keunggulan utama instans spot adalah harganya yang rendah. Harga berfluktuasi secara real-time berdasarkan permintaan dan penawaran, biasanya menawarkan diskon signifikan dibandingkan dengan instans bayar sesuai penggunaan standar pada sumber daya publik.
Tingkat harga: Instans spot tersedia dengan atau tanpa periode perlindungan. Tingkat harga, dari terendah ke tertinggi, adalah: tanpa periode perlindungan < periode perlindungan satu jam < instans standar.
Kondisi perolehan
Instans spot diperoleh ketika stok tersedia dan harga penawaran Anda tidak lebih rendah daripada harga pasar saat ini.
Kondisi rilis: Pelepasan instans ditentukan oleh pengaturan periode retensi instans spot.
Periode perlindungan satu jam: Opsi ini menjamin penggunaan tanpa gangguan selama satu jam. Instans tidak akan dilepas selama periode ini tetapi dapat dilepas secara otomatis setelah periode perlindungan berakhir.
Tanpa periode perlindungan: Penggunaan berkelanjutan tidak dijamin. Instans dapat dilepas secara otomatis kapan saja akibat perubahan stok atau harga pasar.
Model penagihan
Instans spot menggunakan model bayar sesuai penggunaan, dengan biaya dihitung berdasarkan harga pasar real-time.
Beberapa jenis instans
Jika Anda hanya menentukan satu tipe instans saat menerapkan layanan, penerapan layanan dapat gagal atau tertunda karena stok tipe tersebut tidak mencukupi. Untuk mengatasi hal ini, EAS mendukung pemilihan beberapa tipe instans selama penerapan. Sistem akan mencoba daftar tipe instans yang telah Anda tentukan dalam konfigurasi untuk meluncurkan sumber daya, sehingga secara signifikan mengurangi risiko kegagalan penerapan akibat stok satu tipe habis.
Urutan penggunaan instans
Saat membuat atau memperbarui layanan, Anda dapat menentukan beberapa tipe instans, seperti Instans Spot dan instans standar. Selama penerapan, sistem mencoba menggunakan instans-instans tersebut sesuai urutan yang Anda konfigurasikan. Jika penawaran Instans Spot gagal atau stok tipe instans tidak tersedia, sistem secara otomatis beralih ke tipe instans berikutnya dalam daftar konfigurasi.
Pelepasan dan realokasi sumber daya
Jika instans spot yang dikonfigurasi dilepas karena perubahan stok atau harga pasar, EAS secara otomatis merealokasikan sumber daya prioritas tertinggi yang tersedia berdasarkan konfigurasi Anda untuk memastikan kelangsungan layanan.
Perluas kapasitas disk sistem
PAI menyediakan disk sistem gratis sebesar 30 GiB untuk setiap node instans pada sumber daya publik. Jika Anda memerlukan kapasitas tambahan, kapasitas ekstra akan ditagih berdasarkan penggunaan. Untuk informasi selengkapnya tentang penagihan, lihat Penagihan Elastic Algorithm Service (EAS).
Ukuran maksimum disk sistem adalah 2000 GiB. Melebihi batas ini akan menyebabkan penerapan layanan model gagal.
Prosedur
Konfigurasi di Konsol
Langkah-langkah berikut menggunakan penerapan kustom sebagai contoh.
Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Untuk membuat layanan baru: Di tab Inference Service, klik Deploy Service. Kemudian, pilih Custom Model Deployment > Custom Deployment.
Untuk memperbarui layanan yang sudah ada: Di tab Inference Service, temukan layanan yang ingin diperbarui dan klik Update di kolom Actions.
Di bagian Resource Information, atur Resource Type menjadi Public Resources. Klik bidang spesifikasi sumber daya dan pilih spesifikasi yang diinginkan dari daftar.
(Opsional) Aktifkan penawaran spot. Nyalakan sakelar Bidding, tetapkan harga penawaran, dan pilih periode retensi instans spot.
CatatanSakelar Bidding hanya tersedia untuk spesifikasi sumber daya yang mendukung Instans Spot.
Saat menggunakan Instans Spot, kami sarankan juga mengonfigurasi tipe instans standar untuk mencegah kegagalan penerapan jika penawaran Anda tidak berhasil.

(Opsional) Konfigurasi beberapa tipe instans. Klik Add untuk mengonfigurasi beberapa instans.

Configure a system disk size.

Konfigurasi dengan klien EASCMD
Untuk menerapkan layanan model menggunakan klien EASCMD, lihat Deploy services using EASCMD.
Jika Anda pertama kali menerapkan dengan klien EASCMD, konfigurasikan terlebih dahulu parameter di konsol untuk menghasilkan konfigurasi JSON lengkap. Anda kemudian dapat menemukannya di bagian Service Configuration.
Berikut ini contoh parameter JSON untuk penerapan sumber daya:
{
"metadata": {
"name": "test",
"instance": 1,
"workspace_id": "your-workspace-id",
"disk": "40Gi"
},
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c8i.2xlarge",
"spot_price_limit": 1
},
{
"type": "ecs.c8i.xlarge"
}
],
"disable_spot_protection_period": true
}
},
"containers": [
{
"image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
"script": "python app.py",
"port": 8000
}
]
}Parameter | Deskripsi | ||
metadata | instance | Jumlah instans yang akan dijalankan untuk layanan. Dalam contoh file JSON ini, nilainya diatur menjadi 1. | |
disk | Ukuran disk sistem. Kelompok sumber daya publik menyediakan 30 GiB gratis. Jika Anda memerlukan kapasitas tambahan, Anda akan dikenai biaya berdasarkan penggunaan aktual. Nilai maksimum adalah 2000 GiB. | ||
cloud | computing | instances | Menentukan daftar tipe instans berprioritas untuk penerapan. Beberapa tipe dapat dikonfigurasi. Jika penawaran untuk suatu tipe instans gagal atau stok tidak mencukupi, sistem secara berurutan mencoba tipe instans berikutnya dalam konfigurasi.
|
disable_spot_protection_period | Nilai berikut didukung:
| ||
FAQ
Apa yang dapat saya lakukan jika sumber daya publik kehabisan stok?
Saat Anda menerapkan model populer dengan jumlah parameter besar, Anda mungkin mengalami stok sumber daya publik yang tidak mencukupi. Pertimbangkan solusi berikut:
Beralih ke wilayah lain. Ketersediaan sumber daya bervariasi berdasarkan wilayah. Anda dapat beralih ke wilayah berbeda untuk menemukan sumber daya publik yang tersedia.
PentingPertimbangkan untuk beralih ke wilayah Ulanqab untuk menggunakan Sumber Daya Spot Lingjun (tidak memerlukan persetujuan daftar putih). Sumber daya ini dapat dipreempt, jadi perhatikan harga penawaran Anda.
Gunakan kelompok sumber daya khusus. Beberapa tipe instans tidak tersedia melalui sumber daya publik. Anda dapat membeli sumber daya khusus untuk EAS dengan mengunjungi EAS Dedicated Machine Subscription.
PentingPenagihan untuk sumber daya khusus bayar sesuai penggunaan dimulai segera setelah pembelian berhasil, terlepas dari apakah sumber daya tersebut digunakan untuk menerapkan layanan atau tidak. Hapus instans bayar sesuai penggunaan yang tidak digunakan sesegera mungkin untuk menghindari biaya yang tidak perlu.
Referensi
Sumber daya publik tidak menjamin ketersediaan sumber daya. Kami menyarankan menggunakan sumber daya khusus untuk menerapkan layanan Anda. Untuk informasi selengkapnya, lihat Use EAS resource groups.
Jika Anda perlu terhubung langsung ke layanan Anda melalui VPC untuk akses berkecepatan tinggi dan latensi rendah, atau jika layanan EAS Anda perlu mengakses produk cloud lain dalam VPC yang sama, lihat Access the Internet or internal networks from EAS.
Anda dapat mengonfigurasi layanan log untuk sumber daya publik. Log yang dihasilkan oleh layanan EAS yang diterapkan pada sumber daya publik disimpan dalam layanan log, memungkinkan Anda memantau layanan EAS secara real-time. Untuk informasi selengkapnya, lihat Configure Simple Log Service for a resource group.