Platform For AI:Penerapan kustom melalui konsol

Langkah 1: Siapkan file kode

Simpan kode aplikasi Flask berikut sebagai file app.py. Perhatikan bahwa layanan mendengarkan pada port 8000.

from flask import Flask

app = Flask(__name__)

@app.route('/hello')
def hello_world():
    # Logika bisnis atau inferensi model Anda ditempatkan di sini.
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

Langkah 2: Unggah kode ke OSS

Unggah file app.py ke Bucket OSS. Pastikan bucket OSS dan ruang kerja EAS berada dalam wilayah yang sama. Misalnya, unggah file ke direktori oss://examplebucket/code/.

Langkah 3: Konfigurasikan dan terapkan layanan

1. Masuk ke Konsol PAI. Pilih wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

2. Pada tab Inference Service, klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

3. Pada halaman konfigurasi, atur parameter utama di bagian Environment Information dan Resource Information sebagai berikut:

   • Deployment Method: Pilih Image-based Deployment.

   • Image Configuration: Pilih Alibaba Cloud Image python-inference:3.9-ubuntu2004.

   • Storage Mounting: Pasang direktori OSS yang berisi file app.py ke path /mnt/data/ di dalam kontainer.

     • URI: Pilih direktori OSS tempat kode Anda berada. Dalam contoh ini, direktorinya adalah oss://examplebucket/code/.

     • Mount Path: Tentukan path lokal di dalam kontainer untuk direktori tersebut. Dalam contoh ini, path-nya adalah /mnt/data/.

   • Command: Karena app.py telah dipasang ke direktori /mnt/data/ di dalam kontainer, perintah startup-nya adalah: python /mnt/data/app.py.

   • Third-party Library Settings: Kode contoh ini bergantung pada library flask, yang tidak termasuk dalam image resmi yang dipilih. Anda dapat menambahkan flask ke Third-party Libraries. EAS akan secara otomatis menginstal library tersebut saat layanan dimulai.

   • Resource Configuration: Alokasikan sumber daya komputasi yang sesuai untuk layanan. Untuk contoh sederhana ini, instans CPU kecil sudah cukup.

     • Resource Type: Public resources.

     • Resource Specification: Pilih ecs.c7.large.

4. Setelah selesai mengonfigurasi, klik Deploy. Saat status layanan berubah menjadi Running, Anda dapat memanggil layanan.

Lingkungan runtime

Di bagian Environment Information, konfigurasikan lingkungan runtime dan dependensi untuk layanan Anda.

Sumber daya komputasi

Di bagian Resource Information, Anda dapat mengonfigurasi sumber daya komputasi untuk layanan Anda, termasuk memilih jenis sumber daya dan spesifikasi instans, mengonfigurasi disk sistem, serta menetapkan jumlah replika dan kebijakan penjadwalan. Untuk informasi lebih lanjut, lihat resource configuration.

Jaringan layanan

• VPC: Konfigurasikan VPC jika layanan Anda perlu mengakses sumber daya jaringan publik, mengakses database atau antrian pesan di dalam VPC, atau jika Anda ingin klien memanggil layanan secara langsung melalui VPC. Untuk informasi lebih lanjut, lihat Accessing public or internal network resources.

• Service invocation: Setelah penerapan, pilih metode pemanggilan yang sesuai berdasarkan skenario bisnis Anda, seperti gateway, NLB, Nacos, atau gRPC. Untuk informasi lebih lanjut, lihat service invocation.

Keamanan layanan

Di bagian Features, konfigurasikan otentikasi dan keamanan data untuk layanan Anda.

Stabilitas layanan

Di bagian Features, Anda dapat mengonfigurasi pengaturan berikut yang terkait stabilitas:

• Service Response Timeout Period: Konfigurasikan periode timeout untuk setiap permintaan. Nilai default-nya adalah 5 detik. Untuk skenario yang memakan waktu seperti inferensi model besar atau keluaran streaming, tingkatkan nilai ini untuk mencegah permintaan terpotong.

• Health Check: Sistem secara berkala memeriksa ketersediaan instans, secara otomatis mengganti instans abnormal untuk memungkinkan self-healing gangguan. Untuk informasi lebih lanjut, lihat health check.

• Compute monitoring & fault tolerance: Memantau status kesehatan sumber daya komputasi untuk layanan inferensi terdistribusi secara real time, memungkinkan deteksi gangguan otomatis dan self-healing cerdas. Untuk informasi lebih lanjut, lihat Compute power monitoring and fault tolerance.

• Deployment and update strategies: Gunakan fitur seperti rilis canary, pembaruan rolling, shutdown yang mulus, dan jadwal pembaruan untuk memastikan layanan tidak terganggu selama peningkatan versi layanan. Untuk informasi lebih lanjut, lihat Release management.

Kinerja layanan

Gunakan akselerasi penyimpanan dan penjadwalan cerdas untuk meningkatkan kinerja layanan, mempercepat kecepatan startup, meningkatkan throughput, dan mengurangi latensi.

• Distributed cache acceleration: Menyimpan cache file model atau data dari penyimpanan yang dipasang, seperti OSS, ke penyimpanan lokal instans untuk mengurangi latensi I/O. Untuk informasi lebih lanjut, lihat Model cache acceleration.

• Model Weight Service (MoWS): Secara signifikan meningkatkan efisiensi penskalaan dan kecepatan startup layanan untuk penerapan instans berskala besar dengan menyimpan cache bobot model secara lokal dan membagikannya di antara instans. Untuk informasi lebih lanjut, lihat Model Weight Service.

• LLM Intelligent Router: Untuk layanan LLM dengan beberapa instans backend, fitur ini mendistribusikan permintaan secara dinamis berdasarkan beban backend. Hal ini menyeimbangkan daya komputasi dan penggunaan memori GPU di seluruh instans serta meningkatkan pemanfaatan sumber daya kluster. Untuk informasi lebih lanjut, lihat LLM intelligent router deployment.

Observabilitas layanan

Di bagian Features, aktifkan fitur observabilitas berikut untuk mendapatkan wawasan tentang status layanan dan troubleshooting masalah:

Layanan asinkron dan elastis

• Asynchronous inference: Untuk skenario inferensi berdurasi panjang seperti AIGC dan pemrosesan video, kami menyarankan Anda mengaktifkan Asynchronous Queue. Klien menerima respons langsung dan dapat mengambil hasil akhir dengan polling atau menggunakan callback. Untuk informasi lebih lanjut, lihat Deploy an asynchronous inference service.

• Elastic Job Service: Di bagian Features, aktifkan Task Mode untuk menerapkan layanan inferensi sebagai layanan pekerjaan on-demand. Ini cocok untuk pemrosesan data batch dan tugas terjadwal. Sumber daya secara otomatis dilepas setelah tugas selesai untuk menghemat biaya. Untuk informasi lebih lanjut, lihat Elastic Job Service.

Konfigurasi JSON

Di bagian Service Configuration, Anda dapat melihat dan langsung mengedit konfigurasi JSON lengkap untuk pengaturan UI saat ini.