Elastic Algorithm Service (EAS) memungkinkan Anda menerapkan model yang telah dilatih sebagai layanan inferensi online atau aplikasi web AI secara cepat. EAS mendukung sumber daya heterogen serta mengintegrasikan skalabilitas otomatis, uji stres satu klik, rilis canary, dan pemantauan waktu nyata untuk memastikan stabilitas layanan dalam skenario konkurensi tinggi dengan biaya lebih rendah.
Arsitektur layanan
Kemampuan inti
EAS menyediakan kemampuan end-to-end yang mencakup manajemen sumber daya, penerapan model, dan O&M layanan guna memastikan operasi bisnis yang stabil dan efisien.
Manajemen sumber daya dan biaya yang fleksibel
Dukungan perangkat keras heterogen: EAS mendukung instans CPU, GPU, dan akselerator AI khusus untuk memenuhi kebutuhan performa berbagai model.
Optimasi biaya: Anda dapat menggunakan preemptible instances untuk mengurangi biaya komputasi secara signifikan. Fitur penjadwalan penskalaan memungkinkan Anda menetapkan kebijakan terlebih dahulu berdasarkan siklus bisnis guna mengontrol alokasi sumber daya secara tepat.
Kolam sumber daya elastis: Saat kelompok sumber daya khusus mencapai kapasitas maksimum, instans baru secara otomatis dijadwalkan ke kelompok sumber daya publik. Hal ini menjaga stabilitas layanan sekaligus mengendalikan biaya.
Stabilitas dan ketersediaan tinggi yang komprehensif
Skalabilitas elastis: Menyesuaikan jumlah replica layanan secara otomatis berdasarkan beban waktu nyata. Ini membantu mengatasi lonjakan lalu lintas tak terduga serta mencegah idle-nya sumber daya atau overload layanan.
Mekanisme ketersediaan tinggi: Mekanisme pemulihan kesalahan otomatis menjamin kelangsungan layanan. Sumber daya khusus diisolasi secara fisik, sehingga menghilangkan risiko konflik sumber daya.
Rilis aman: EAS mendukung rilis canary, yang memungkinkan Anda mengalokasikan persentase trafik ke versi baru untuk validasi. EAS juga mendukung Pencerminan lalu lintas. Anda dapat menyalin trafik online ke layanan pengujian guna verifikasi keandalan tanpa memengaruhi permintaan pengguna sesungguhnya.
Penerapan dan O&M yang efisien
Uji stres satu klik: Mendukung peningkatan tekanan dinamis dan secara otomatis mendeteksi batas performa layanan. Anda dapat melihat data pemantauan per detik dan laporan uji stres secara waktu nyata untuk mengevaluasi kemampuan layanan dengan cepat.
Pemantauan waktu nyata: Menyediakan pemantauan waktu nyata untuk metrik utama seperti permintaan per detik (QPS), waktu respons, dan utilisasi CPU. Anda juga dapat mengaktifkan notifikasi pemantauan layanan agar selalu mengetahui status layanan.
Metode penerapan beragam: Anda dapat menerapkan layanan menggunakan Citra (disarankan) atau Prosesor. Hal ini memenuhi kebutuhan berbagai tumpukan teknologi.
Mode inferensi beragam
Inferensi sinkron waktu nyata: Mode ini memiliki throughput tinggi dan latensi rendah. Cocok untuk skenario yang sensitif terhadap keterlambatan respons, seperti pencarian dan rekomendasi atau chatbot.
Inferensi asinkron hampir waktu nyata: Mode ini memiliki Antrian pesan bawaan dan cocok untuk tugas yang memakan waktu, seperti pembuatan gambar dari teks dan pemrosesan video. Mode ini mendukung skalabilitas otomatis berdasarkan backlog antrian guna mencegah penumpukan permintaan.
Inferensi batch offline: Mode ini cocok untuk skenario pemrosesan batch yang tidak sensitif terhadap waktu respons, seperti konversi batch data suara. Mode ini juga mendukung preemptible instances untuk mengendalikan biaya.
Cara kerja (penerapan Citra)
Layanan EAS berjalan dalam satu atau beberapa instans kontainer terisolasi. Proses startup layanan melibatkan elemen inti berikut:
Citra: Templat read-only yang berisi sistem operasi, pustaka dasar seperti CUDA, lingkungan bahasa seperti Python, serta dependensi yang diperlukan. Anda dapat menggunakan citra resmi yang disediakan oleh PAI atau membuat gambar kustom untuk memenuhi kebutuhan bisnis tertentu.
Kode dan model: Kode logika bisnis dan file model Anda. Menyimpannya di Object Storage Service (OSS) atau Penyimpanan File NAS memisahkan kode dan model dari lingkungan. Hal ini memungkinkan Anda memperbarui kode dan model bisnis tanpa perlu membangun ulang Citra.
Pemasangan penyimpanan: Saat layanan EAS dimulai, jalur penyimpanan eksternal yang Anda tentukan dipasang ke direktori lokal dalam kontainer. Hal ini memungkinkan kode di dalam kontainer mengakses file pada penyimpanan eksternal seolah-olah file tersebut berada di lokal.
Perintah run: Perintah pertama yang dieksekusi setelah kontainer dimulai. Perintah ini biasanya digunakan untuk menjalankan layanan HTTP guna menerima permintaan inferensi.
Prosesnya adalah sebagai berikut:
Layanan menarik Citra yang ditentukan untuk membuat kontainer.
Kemudian memasang penyimpanan eksternal ke jalur yang ditentukan dalam kontainer.
Lalu mengeksekusi perintah run di dalam kontainer.
Setelah perintah berhasil dijalankan, layanan mendengarkan pada port yang ditentukan dan memproses permintaan inferensi.
EAS mendukung dua metode penerapan: penerapan Citra dan penerapan prosesor. Kami merekomendasikan penerapan Citra karena menawarkan fleksibilitas dan kemudahan pemeliharaan yang lebih baik. Sebaliknya, penerapan prosesor memiliki keterbatasan yang diketahui terkait lingkungan dan framework.
Alur penggunaan
Langkah 1: Persiapan
Persiapkan sumber daya inferensi: Pilih tipe sumber daya EAS yang sesuai berdasarkan ukuran model, kebutuhan konkurensi, dan anggaran Anda. Untuk panduan pemilihan sumber daya dan konfigurasi pembelian, lihat Ikhtisar sumber daya penerapan EAS.
CatatanAnda harus membeli sumber daya EAS khusus atau Sumber daya komputasi cerdas Lingjun sebelum dapat menggunakannya.
Persiapkan file: Unggah model yang telah dilatih, file kode, dan dependensi ke layanan penyimpanan cloud seperti OSS. Anda kemudian dapat mengakses file-file tersebut dalam layanan Anda dengan menggunakan pemasangan penyimpanan.
Langkah 2: Terapkan layanan
Anda dapat menerapkan dan mengelola layanan menggunakan Konsol, command line EASCMD, atau SDK.
Konsol: Menyediakan metode penerapan kustom dan penerapan berbasis skenario. Konsol mudah digunakan dan cocok untuk pemula.
Command line EASCMD: Mendukung operasi seperti membuat, memperbarui, dan melihat layanan. Cocok untuk insinyur algoritma yang sudah terbiasa dengan penerapan EAS.
SDK: Cocok untuk penjadwalan dan O&M terpadu berskala besar.
Langkah 3: Panggil dan uji stres layanan
Aplikasi web: Jika Anda menerapkan layanan sebagai aplikasi AI-Web, Anda dapat langsung membuka halaman interaktif di browser untuk mengujinya.
Layanan API: Gunakan fitur debugging online untuk memverifikasi fungsionalitas layanan. Anda juga dapat melakukan pemanggilan sinkron atau asinkron melalui API. Untuk informasi selengkapnya, lihat Pemanggilan layanan.
Uji stres layanan: Gunakan tool uji stres satu klik bawaan untuk menguji performa layanan di bawah tekanan. Untuk informasi selengkapnya, lihat Uji stres layanan.
Langkah 4: Pantau dan kelola layanan
Pemantauan dan notifikasi: Lihat status berjalan layanan Anda di daftar Layanan Inferensi. Aktifkan notifikasi pemantauan layanan untuk melacak kesehatan layanan secara waktu nyata.
Skalabilitas elastis: Konfigurasikan kebijakan skalabilitas otomatis atau penjadwalan penskalaan sesuai kebutuhan bisnis Anda untuk mengelola sumber daya komputasi secara dinamis.
Pembaruan layanan: Di kolom Actions, klik Update untuk menerapkan versi baru. Setelah pembaruan selesai, Anda dapat melihat informasi versi atau beralih antar versi.
PeringatanLayanan akan terganggu sementara selama pembaruan, yang dapat menyebabkan permintaan dependen gagal. Lakukan dengan hati-hati.
Catatan penting
Jika layanan EAS tetap berada dalam status non-Running selama 180 hari berturut-turut, sistem akan menghapus layanan tersebut secara otomatis.
Untuk informasi tentang wilayah tempat EAS tersedia, lihat Wilayah dan zona.
Penagihan
Untuk informasi selengkapnya, lihat Penagihan Elastic Algorithm Service (EAS).
Memulai Cepat
Untuk informasi selengkapnya, lihat Memulai Cepat Elastic Algorithm Service (EAS).
Skenario
LLM: Terapkan model bahasa besar (LLM) | Terapkan model MoE berdasarkan expert parallelism dan pemisahan PD
AIGC: Pembuatan video AI - Terapkan ComfyUI | Seni AI - Terapkan SD-WebUI
Lainnya: Praktik terbaik untuk mengakses gateway khusus lintas VPC menggunakan CEN | Praktik terbaik untuk PAI-EAS Spot Instances
FAQ
T: Apa perbedaan antara sumber daya khusus dan sumber daya publik?
Sumber daya publik: Cocok untuk pengembangan, pengujian, atau aplikasi skala kecil yang sensitif terhadap biaya dan dapat mentolerir fluktuasi performa. Sumber daya publik berbiaya rendah tetapi mungkin mengalami konflik sumber daya pada jam-jam puncak.
Sumber daya khusus: Cocok untuk layanan inti di lingkungan produksi yang memerlukan stabilitas dan performa layanan tinggi. Sumber daya khusus diisolasi secara fisik, sehingga menghilangkan risiko preemption. Fitur kolam sumber daya elastis memungkinkan trafik secara otomatis meluap ke sumber daya publik saat sumber daya khusus telah terpakai penuh. Hal ini menyeimbangkan biaya dengan stabilitas bisnis selama jam-jam puncak. Untuk memesan tipe instans yang stoknya terbatas, Anda harus membelinya sebagai sumber daya khusus.
T: Apa keunggulan EAS dibandingkan layanan yang dikelola sendiri?
EAS menyediakan O&M terkelola. EAS secara otomatis menangani penjadwalan sumber daya, pemulihan kesalahan, dan pemantauan. EAS juga menyediakan fitur standar seperti skalabilitas elastis dan rilis canary. Hal ini memungkinkan pengembang fokus pada pengembangan model, sehingga mengurangi biaya O&M dan mempercepat waktu ke pasar.