Platform For AI:Panduan Cepat Elastic Algorithm Service (EAS)

Prasyarat

Gunakan akun root Anda untuk mengaktifkan PAI dan membuat ruang kerja. Masuk ke Konsol PAI. Di pojok kiri atas, pilih Wilayah tempat Anda ingin mengaktifkan PAI, lalu klik otorisasi satu klik untuk mengaktifkan layanan.

Informasi penagihan

Dalam topik ini, layanan model dibuat menggunakan Sumber daya publik dengan metode penagihan bayar sesuai penggunaan. Untuk informasi selengkapnya tentang aturan penagihan, lihat informasi penagihan EAS.

Persiapan

Untuk menerapkan layanan model, Anda harus menyiapkan file model dan file kode, seperti antarmuka web. Jika citra resmi Alibaba Cloud tidak memenuhi kebutuhan penerapan Anda, buatlah custom image.

# Unduh model
from modelscope import snapshot_download
model_dir = snapshot_download('Qwen/Qwen3-0.6B')

from flask import Flask

app = Flask(__name__)

@app.route('/hello/model')
def hello_world():
    # Panggil model di sini untuk mendapatkan hasil
    return 'Hello World'

if __name__ == '__main__':
    app.run(host='0.0.0.0', port=8000)

Terapkan layanan

1. Masuk ke Konsol PAI. Pilih Wilayah di bagian atas halaman, lalu pilih ruang kerja yang diinginkan dan klik Elastic Algorithm Service (EAS).

2. Klik Deploy Service. Di bagian Custom Model Deployment, klik Custom Deployment.

3. Konfigurasikan parameter penerapan. Atur parameter utama sebagai berikut; pertahankan nilai default untuk parameter lainnya.

   • Deployment Method adalah penerapan berbasis image.

   • Image Configuration: Pilih vllm:0.11.2-mows0.5.1 dari daftar Alibaba Cloud Image.

   • Mount storage: Topik ini menjelaskan cara menyimpan file model di OSS. Misalnya, jika jalurnya adalah oss://examplebucket/models/Qwen/Qwen3-0___6B, pilih OSS dan konfigurasikan sebagai berikut.

     • Uri: Jalur OSS tempat model disimpan. Dalam contoh ini, atur parameter ini menjadi oss://examplebucket/models/.

     • Mount Path: Jalur tujuan pada instans layanan tempat penyimpanan dipasang, misalnya /mnt/data/.

   • Run command: Citra resmi mencakup perintah run default. Anda dapat memodifikasi perintah sesuai kebutuhan. Dalam contoh ini, atur parameter ini menjadi vllm serve /mnt/data/Qwen/Qwen3-0___6B.

   • Untuk Resource Type, pilih Public Resources. Kemudian, pilih Resource Specification ecs.gn7i-c16g1.4xlarge. Untuk informasi selengkapnya, lihat Konfigurasi resource.

4. Klik Deploy. Penerapan layanan memerlukan waktu sekitar 5 menit. Ketika Service Status berubah menjadi Running, layanan berhasil diterapkan.

Debugging online

Setelah layanan diterapkan, Anda dapat menggunakan fitur debugging online untuk menguji apakah layanan berjalan sesuai harapan. Konfigurasikan metode permintaan, URI, dan badan permintaan berdasarkan layanan model Anda.

Lakukan langkah-langkah berikut untuk debugging layanan secara online:

1. Pada tab Inference Service, klik layanan target untuk membuka halaman ikhtisarnya, lalu beralih ke tab Online Debugging.

2. Pada bagian Request Parameter Online Tuning di halaman debugging, atur parameter permintaan dan klik Send Request. Parameter permintaan adalah sebagai berikut:

   • Antarmuka chat: Tambahkan /v1/chat/completions ke URL yang sudah ada.

   • Header: Tambahkan header permintaan. Atur kunci menjadi Content-Type dan nilainya menjadi application/json.

     

   • Body:

     {
       "model": "/mnt/data/Qwen/Qwen3-0___6B",
       "messages": [
         {
           "role": "user",
           "content": "Hello!"
         }
       ],
       "max_tokens": 1024
     }

3. Tanggapan ditampilkan pada gambar berikut.

   

Pemanggilan layanan

curl http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/****/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: *********5ZTM1ZDczg5OT**********" \
-X POST \
-d '{
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}' 

import requests

# Ganti dengan endpoint aktual Anda
url = 'http://16********.cn-hangzhou.pai-eas.aliyuncs.com/api/predict/***/v1/chat/completions'
# Ganti nilai Authorization dengan token aktual Anda
headers = {
    "Content-Type": "application/json",
    "Authorization": "*********5ZTM1ZDczg5OT**********",
}
# Format data permintaan sesuai kebutuhan model Anda
data = {
  "model": "/mnt/data/Qwen/Qwen3-0___6B",
  "messages": [
    {
      "role": "user",
      "content": "Hello!"
    }
  ],
  "max_tokens": 1024
}
# Kirim permintaan
resp = requests.post(url, json=data, headers=headers)
print(resp)
print(resp.content)

Hentikan atau hapus layanan

Layanan EAS yang dibuat dalam topik ini menggunakan Sumber daya publik dan ditagih berdasarkan metode bayar sesuai penggunaan. Untuk menghindari biaya yang tidak perlu, hentikan atau hapus layanan ketika tidak lagi diperlukan.

Referensi

• Untuk meningkatkan efisiensi layanan LLM, lihat Penerapan Router cerdas LLM.

• Untuk informasi selengkapnya tentang fitur EAS, lihat Ikhtisar EAS.