Sumber daya publik ideal untuk pengujian atau layanan dengan lalu lintas fluktuatif yang memanfaatkan kolam sumber daya elastis. Sumber daya ini membantu meminimalkan biaya, meskipun ketersediaannya tidak dijamin. Saat menerapkan layanan menggunakan sumber daya publik, Anda dapat menggunakan spot instances untuk mengurangi biaya lebih lanjut. Anda juga dapat mengonfigurasi beberapa tipe instans guna menurunkan risiko kegagalan penerapan akibat kehabisan stok pada satu tipe instans tertentu. Topik ini menjelaskan cara menerapkan layanan model menggunakan sumber daya publik.
Informasi penagihan
Sumber daya publik ditagih berdasarkan penggunaan aktual. Untuk informasi selengkapnya, lihat informasi penagihan EAS.
Penagihan dimulai
Sumber daya publik mendukung penerapan layanan model menggunakan sumber daya mesin atau tipe instans. Penagihan dimulai setelah layanan diterapkan dan memasuki status Running.
PAI menyediakan kapasitas disk sistem gratis sebesar 30 GiB untuk setiap node mesin dalam kelompok sumber daya publik. Anda dapat memperluas disk sistem dengan metode bayar sesuai pemakaian. Penagihan untuk disk sistem dimulai setelah disk berhasil dibuat.
Penagihan dihentikan
Pada halaman Elastic Algorithm Service (EAS), buka tab Inference Service. Pada kolom Actions untuk layanan target, klik Stop untuk menghentikan layanan model beserta penagihannya.
Hentikan layanan model yang tidak lagi diperlukan untuk menghindari biaya yang tidak perlu.
Pastikan layanan yang Anda hentikan benar-benar tidak diperlukan guna mencegah kerugian bisnis.
Saat menggunakan sumber daya publik, jika pembuatan instans gagal karena sumber daya tidak mencukupi, sistem akan secara otomatis mencoba membuat ulang begitu sumber daya tersedia. Hentikan atau hapus layanan model tersebut jika tidak diperlukan.
Untuk menentukan apakah kegagalan disebabkan oleh sumber daya yang tidak mencukupi, klik nama layanan untuk membuka halaman detail layanan dan periksa status instans.
Konsep inti
Spot instances
Spot instance adalah tipe instans yang dapat Anda terapkan dengan menetapkan harga maksimum dalam model preemptible. Instans ini menyediakan sumber daya komputasi yang hemat biaya.
Keuntungan
Penghematan biaya: Spot instances menawarkan harga rendah. Harga berubah secara real time berdasarkan permintaan dan penawaran, dan biasanya lebih rendah daripada instans bayar sesuai pemakaian reguler dalam kelompok sumber daya publik.
Tingkatan harga: Spot instances tersedia dengan atau tanpa periode perlindungan. Urutan harga dari terendah ke tertinggi adalah: tanpa periode perlindungan < dengan periode perlindungan < instans reguler.
Kondisi preemption sumber daya
Persediaan spot instance mencukupi, dan penawaran Anda tidak lebih rendah daripada harga pasar saat ini.
Kondisi pelepasan sumber daya: Hal ini bergantung pada pengaturan periode retensi spot instance.
Tetapkan penggunaan instans menjadi 1 jam: Ini memberikan periode perlindungan selama satu jam. Instans tidak akan dilepas selama periode ini. Setelah periode perlindungan berakhir, instans tersebut dapat dilepas secara otomatis.
Tidak ada periode perlindungan khusus: Penggunaan berkelanjutan tidak dijamin. Instans dapat dilepas secara otomatis akibat perubahan persediaan atau harga pasar.
Model penagihan
Spot instances menggunakan model penagihan bayar sesuai pemakaian. Biaya dihitung berdasarkan harga pasar real time.
Instans multi-spesifikasi
Jika Anda hanya menentukan satu tipe instans saat menerapkan layanan, sumber daya tipe tersebut mungkin tidak mencukupi sehingga layanan tidak dapat diluncurkan. Untuk mengatasi masalah ini, fase penerapan EAS mendukung pemilihan beberapa tipe instans. Sistem melakukan traversal daftar tipe instans yang disediakan dalam file konfigurasi untuk meluncurkan sumber daya, sehingga secara signifikan mengurangi risiko kegagalan penerapan akibat kekurangan sumber daya pada satu tipe instans tertentu.
Urutan penggunaan instans
Saat membuat atau memperbarui layanan, Anda dapat menentukan beberapa tipe instans, seperti spot instans dan instans reguler. Selama penerapan, sistem mencoba menggunakan instans-instans tersebut sesuai urutan konfigurasinya. Jika penawaran untuk suatu tipe instans gagal atau tipe tersebut kehabisan stok, sistem secara otomatis beralih ke tipe berikutnya yang tersedia dalam daftar.
Pelepasan dan realokasi sumber daya
Jika spot instans yang dikonfigurasi dilepas akibat perubahan persediaan atau harga pasar, EAS merealokasikan sumber daya prioritas tertinggi yang tersedia berdasarkan file konfigurasi guna memastikan kelangsungan layanan.
Disk sistem
PAI menyediakan kapasitas disk sistem gratis sebesar 30 GiB untuk setiap node mesin dalam kelompok sumber daya publik. Jika Anda memerlukan kapasitas tambahan, biaya akan dikenakan berdasarkan penggunaan aktual. Untuk rincian penagihan, lihat informasi penagihan Elastic Algorithm Service (EAS).
Ukuran maksimum disk sistem adalah 2000 GiB. Jika Anda melebihi batas ini, penerapan layanan model akan gagal.
Prosedur
Konfigurasi menggunakan konsol
Bagian ini menggunakan penerapan kustom sebagai contoh.
Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Buat layanan: Pada tab Inference Service, klik Deploy Service. Kemudian, pilih Custom Model Deployment > Custom Deployment.
Perbarui layanan: Pada tab Inference Service, temukan layanan target dalam daftar layanan. Pada kolom Actions, klik Update.
Pada bagian Resource Information, atur Resource Type menjadi Public Resource Group. Klik bidang tipe instans dan pilih tipe instans yang diperlukan dari daftar.
(Opsional) Aktifkan spot instances. Nyalakan sakelar Bidding, tetapkan harga penawaran, dan pilih periode retensi.
CatatanSakelar Bidding hanya dapat diaktifkan untuk tipe instans yang mendukung spot instances.
Saat menggunakan spot instances, konfigurasikan juga instans reguler untuk mencegah kegagalan penerapan jika penawaran gagal.
(Opsional) Konfigurasi beberapa tipe instans. Klik tombol tambah untuk mengonfigurasi beberapa tipe instans.
Konfigurasi ukuran disk sistem.
Konfigurasi menggunakan JSON
Setelah Anda mengonfigurasi parameter di Konsol, Anda dapat memperoleh konfigurasi JSON di bagian Service Configuration. Anda juga dapat langsung mengedit parameter JSON untuk mengonfigurasi layanan.
Contoh berikut menunjukkan parameter JSON yang terkait dengan penerapan sumber daya:
{
"metadata": {
"name": "test",
"instance": 1,
"workspace_id": "your-workspace-id",
"disk": "40Gi"
},
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c8i.2xlarge",
"spot_price_limit": 1
},
{
"type": "ecs.c8i.xlarge"
}
],
"disable_spot_protection_period": true
}
},
"containers": [
{
"image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
"script": "python app.py",
"port": 8000
}
]
}Parameter | Deskripsi | ||
metadata | instance | Jumlah replika yang akan diluncurkan untuk layanan. Dalam file JSON di atas, nilai ini diatur ke 1. Catatan EAS mendukung inferensi terdistribusi single-node dan multi-node.
| |
disk | Ukuran disk sistem. Kelompok sumber daya publik menyediakan 30 GiB secara gratis. Jika Anda memerlukan kapasitas tambahan, biaya akan dikenakan berdasarkan penggunaan aktual. Nilai maksimum adalah 2000 GiB. | ||
cloud | computing | instances | Menentukan tipe instans yang diizinkan. Anda dapat mengonfigurasi beberapa tipe. Jika penawaran untuk suatu tipe instans gagal atau tipe tersebut kehabisan stok, sistem mencoba membuat layanan menggunakan tipe instans berikutnya sesuai urutan konfigurasi.
|
disable_spot_protection_period | Nilai berikut didukung:
| ||
FAQ
Apa yang harus saya lakukan jika sumber daya publik kehabisan stok?
Saat Anda menerapkan model populer dengan banyak parameter, sumber daya publik mungkin kehabisan stok. Pertimbangkan solusi berikut:
Ganti wilayah. Ketersediaan sumber daya bervariasi menurut wilayah. Anda dapat beralih ke wilayah lain untuk menemukan sumber daya publik yang tersedia.
PentingPertimbangkan untuk beralih ke wilayah Ulanqab guna menggunakan sumber daya preemptible Lingjun (tidak memerlukan daftar putih). Sumber daya preemptible dapat ditarik kembali, jadi pantau harga penawaran Anda.
Gunakan kelompok sumber daya EAS. Beberapa tipe instans tidak tersedia sebagai sumber daya publik. Buka EAS Dedicated Resource Subscription untuk membeli sumber daya EAS khusus.
PentingSumber daya khusus bayar sesuai pemakaian mulai ditagih segera setelah pembelian, terlepas dari apakah digunakan untuk menerapkan layanan atau tidak. Segera hapus mesin bayar sesuai pemakaian yang tidak digunakan untuk menghindari biaya yang tidak perlu.
Referensi
Sumber daya publik tidak menjamin ketersediaan sumber daya. Gunakan sumber daya khusus untuk menerapkan layanan. Untuk informasi selengkapnya, lihat Gunakan kelompok sumber daya EAS.
Anda dapat mengonfigurasi Simple Log Service untuk sumber daya publik guna mengaktifkan pemantauan waktu nyata dan troubleshooting. Untuk informasi selengkapnya, lihat Konfigurasi Simple Log Service untuk kelompok sumber daya.