Sumber daya publik ideal untuk lingkungan pengujian atau layanan dengan lalu lintas yang fluktuatif karena dapat meminimalkan biaya. Namun, ketersediaannya tidak dijamin. Untuk penghematan biaya lebih lanjut, Anda dapat menggunakan spot instances. Agar penerapan layanan tidak tertunda akibat kekurangan tipe instans tertentu, Anda dapat mengonfigurasi multiple instance types. Topik ini menjelaskan cara menggunakan sumber daya publik untuk menerapkan layanan model.
Penagihan
Anda dikenai biaya berdasarkan penggunaan aktual sumber daya publik. Untuk informasi selengkapnya, lihat Penagihan Elastic Algorithm Service (EAS).
Mulai penagihan
Penagihan dimulai saat sumber daya dialokasikan untuk instans layanan ketika Anda menggunakan sumber daya publik untuk menerapkan layanan model.
Platform for AI (PAI) menyediakan sistem disk gratis sebesar 30 GiB untuk setiap node mesin yang menggunakan sumber daya publik. Anda dapat memperluas kapasitas sistem disk secara pay-as-you-go. Penagihan untuk kapasitas tambahan dimulai setelah disk berhasil dibuat.
Akhir penagihan
Pada tab Inference Service di halaman Elastic Algorithm Service (EAS), temukan layanan target dan klik Stop pada kolom Actions untuk menghentikan layanan model beserta penagihannya.
Hentikan layanan model yang tidak aktif sesegera mungkin untuk menghindari biaya yang tidak perlu.
Sebelum menghentikan layanan, pastikan layanan tersebut tidak lagi diperlukan agar tidak mengganggu operasional bisnis.
Ketika menggunakan sumber daya publik, jika pembuatan instans gagal karena sumber daya tidak mencukupi, sistem akan secara otomatis mencoba membuat ulang instans tersebut ketika sumber daya tersedia kembali. Pastikan untuk menghentikan atau menghapus layanan tersebut jika tidak lagi diperlukan.
Untuk menentukan apakah kegagalan disebabkan oleh kekurangan sumber daya, klik nama layanan untuk membuka halaman detail layanan dan periksa status instans layanan.
Konsep inti
Spot instances
Spot instance adalah instans preemptible yang dapat Anda beli dengan menetapkan harga maksimum, sehingga menjadi cara hemat biaya untuk mendapatkan sumber daya komputasi.
Manfaat
Hemat biaya: Keunggulan utama spot instances adalah harganya yang rendah. Harga berfluktuasi secara real time berdasarkan permintaan dan penawaran, dan biasanya jauh lebih murah daripada harga instans standar.
Tingkat harga: Spot instances tersedia dengan atau tanpa periode perlindungan. Urutan harga dari terendah ke tertinggi adalah sebagai berikut: harga spot instance tanpa periode perlindungan < harga spot instance dengan periode perlindungan < harga instans standar.
Kondisi perolehan
Spot instance hanya dapat diperoleh jika stok tersedia dan harga penawaran Anda tidak lebih rendah daripada harga pasar saat ini.
Kondisi rilis bergantung pada pengaturan periode perlindungan spot instance.
Dengan periode perlindungan satu jam: Instans berjalan minimal satu jam. Selama periode perlindungan ini, instans tidak akan dirilis. Setelah periode perlindungan berakhir, instans dapat secara otomatis dirilis.
Tanpa periode perlindungan: Penggunaan instans secara berkelanjutan tidak dijamin. Instans dapat secara otomatis dirilis kapan saja akibat perubahan stok atau harga pasar.
Metode penagihan
Spot instances ditagih secara pay-as-you-go, dengan biaya dihitung berdasarkan harga pasar real time.
Multiple instance types
Jika Anda hanya menentukan satu tipe instans saat menerapkan layanan, penerapan layanan tersebut dapat mengalami penundaan signifikan akibat kekurangan stok tipe instans tersebut. Untuk mengatasi masalah ini, EAS memungkinkan Anda memilih multiple instance types selama penerapan. Hal ini secara signifikan mengurangi penundaan penerapan akibat kekurangan satu tipe instans.
Urutan Penggunaan Instance
Ketika membuat atau memperbarui layanan, Anda dapat menentukan multiple instance types, seperti spot instances dan instans standar. Selama penerapan, sistem mencoba menggunakan instans-instans tersebut sesuai urutan yang Anda tentukan. Jika penawaran untuk spot instance gagal atau tipe instans kehabisan stok, sistem secara otomatis mencoba tipe berikutnya dalam daftar.
Rilis dan realokasi sumber daya
Jika spot instance yang dikonfigurasi direklaim akibat perubahan stok atau harga pasar, EAS secara otomatis menyediakan instans baru dengan menggunakan sumber daya prioritas tertinggi yang tersedia dalam konfigurasi Anda untuk memastikan kelangsungan layanan.
Disk sistem
PAI menyediakan sistem disk gratis sebesar 30 GiB untuk setiap node mesin yang menggunakan sumber daya publik. Jika Anda memerlukan kapasitas lebih besar, Anda akan dikenai biaya tambahan secara pay-as-you-go. Untuk informasi selengkapnya tentang penagihan, lihat Penagihan Elastic Algorithm Service (EAS).
Ukuran maksimum sistem disk adalah 2.000 GiB. Jika ukuran yang ditentukan melebihi batas ini, penerapan layanan model akan gagal.
Prosedur
Konfigurasi Konsol
Bagian ini menggunakan penerapan kustom sebagai contoh.
Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman. Lalu, pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).
Buat layanan: Pada tab Inference Service, klik Deploy Service dan pilih Custom Model Deployment > Custom Deployment.
Perbarui layanan: Pada tab Inference Service, temukan layanan target dalam daftar layanan dan klik Update pada kolom Actions.
Pada bagian Resource Information, pilih Public Resources untuk Resource Type. Kemudian, klik Resource Specification dan pilih tipe instans yang diinginkan dari daftar.
(Opsional) Aktifkan fitur spot instance. Nyalakan sakelar Bidding, tetapkan harga penawaran, dan pilih periode perlindungan untuk spot instance.
CatatanSakelar Bidding hanya tersedia untuk tipe instans yang mendukung spot instances.
Ketika menggunakan spot instances, konfigurasikan juga instans standar untuk mencegah kegagalan penerapan layanan jika penawaran spot instance Anda tidak berhasil.
(Opsional) Konfigurasi multiple instance types. Klik Add untuk mengonfigurasi tipe instans tambahan.
Konfigurasi ukuran sistem disk.
Konfigurasi JSON
Setelah Anda mengonfigurasi parameter di Konsol, Anda dapat melihat konfigurasi JSON yang dihasilkan di bagian Service Configuration. Anda juga dapat langsung mengedit parameter dalam file JSON.
Blok kode berikut menunjukkan contoh parameter JSON untuk penerapan sumber daya:
{
"metadata": {
"name": "test",
"instance": 1,
"workspace_id": "your-workspace-id",
"disk": "40Gi"
},
"cloud": {
"computing": {
"instances": [
{
"type": "ecs.c8i.2xlarge",
"spot_price_limit": 1
},
{
"type": "ecs.c8i.xlarge"
}
],
"disable_spot_protection_period": true
}
},
"containers": [
{
"image": "eas-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai-eas/python-inference:py39-ubuntu2004",
"script": "python app.py",
"port": 8000
}
]
}Parameter | Deskripsi | ||
metadata | instance | Jumlah instans layanan yang akan dibuat. Dalam contoh ini, nilai 1 membuat satu instans. Catatan EAS mendukung inferensi terdistribusi single-node dan multi-node.
| |
disk | Ukuran sistem disk. Sistem disk gratis sebesar 30 GiB disediakan untuk setiap node mesin yang menggunakan sumber daya publik. Jika Anda memerlukan kapasitas lebih besar, Anda akan dikenai biaya penyimpanan tambahan secara pay-as-you-go. Ukuran maksimum adalah 2.000 GiB. | ||
cloud | computing | instances | Daftar tipe instans yang diizinkan, diurutkan berdasarkan prioritas. Anda dapat mengonfigurasi multiple instance types. Jika penawaran untuk tipe instans gagal atau stok tidak mencukupi, sistem secara berurutan mencoba tipe instans berikutnya dalam konfigurasi untuk membuat layanan.
|
disable_spot_protection_period | Nilai yang valid:
| ||
FAQ
Sumber daya publik tidak mencukupi
Ketika Anda menerapkan model besar yang populer, sumber daya publik mungkin tidak mencukupi. Dalam kasus ini, Anda dapat menggunakan solusi berikut:
Ganti wilayah. Ketersediaan sumber daya bervariasi berdasarkan wilayah, sehingga beralih ke wilayah lain dapat membantu Anda menemukan sumber daya publik yang tersedia.
PentingAnda dapat beralih ke wilayah Ulanqab untuk menggunakan Lingjun Spot Resources. Tidak diperlukan persetujuan daftar putih. Perhatikan bahwa ini adalah sumber daya spot dan dapat dipreempt. Tetapkan harga penawaran Anda dengan hati-hati.
Gunakan kelompok sumber daya EAS. Beberapa tipe instans tidak tersedia sebagai sumber daya publik. Anda dapat membuka EAS Subscription Dedicated Resources untuk membeli sumber daya EAS khusus.
PentingPenagihan untuk sumber daya khusus pay-as-you-go dimulai segera setelah pembelian, terlepas dari apakah sumber daya tersebut digunakan untuk menerapkan layanan atau tidak. Segera hapus sumber daya khusus yang tidak digunakan untuk menghindari biaya yang tidak perlu.
Dokumen terkait
Ketersediaan sumber daya publik tidak dijamin. Gunakan sumber daya khusus untuk menerapkan layanan produksi. Untuk informasi selengkapnya, lihat Gunakan kelompok sumber daya EAS.
Anda dapat menggunakan Simple Log Service untuk memantau layanan dan memecahkan masalah secara real time saat menggunakan sumber daya publik. Untuk informasi selengkapnya, lihat Konfigurasi Simple Log Service untuk kelompok sumber daya.