Platform For AI：Panduan Cepat: Penerapan, Fine-tuning, dan Evaluasi model Qwen3

Terapkan model

Bagian ini menjelaskan cara menerapkan model Qwen3-235B-A22B dengan SGLang.

1. Buka halaman Model Gallery.

   1. Masuk ke Konsol PAI dan pilih wilayah di pojok kiri atas. Anda dapat mengganti wilayah untuk menemukan wilayah yang memiliki sumber daya komputasi yang cukup.

   2. Pada panel navigasi di sebelah kiri, klik Workspace Management, lalu klik nama ruang kerja yang dituju.

   3. Pada panel navigasi kiri, pilih QuickStart > Model Gallery.

2. Pada halaman Model Gallery, klik kartu model Qwen3-235B-A22B untuk membuka halaman detail model.

3. Klik Deploy di pojok kanan atas. Konfigurasikan parameter berikut dan gunakan nilai default untuk parameter lainnya agar model diterapkan ke Elastic Algorithm Service (EAS).

   • Deployment Method: Atur Inference Engine ke SGLang dan Deployment Template ke Single-Node.

   • Resource Information: Atur Resource Type ke Public Resources. Sistem secara otomatis merekomendasikan tipe instans. Untuk konfigurasi minimum yang diperlukan, lihat Daya komputasi yang dibutuhkan & jumlah token yang didukung.

   • Penting

     Jika tidak ada tipe instans yang tersedia, artinya inventaris sumber daya publik di wilayah tersebut tidak mencukupi. Pertimbangkan opsi berikut:

     • Ganti wilayah. Misalnya, wilayah China (Ulanqab) memiliki inventaris sumber daya preemptible Lingjun yang lebih besar, seperti ml.gu7ef.8xlarge-gu100, ml.gu7xf.8xlarge-gu108, ml.gu8xf.8xlarge-gu108, dan ml.gu8tf.8.40xlarge. Karena sumber daya preemptible dapat ditarik kembali, perhatikan penawaran (bid) Anda.

     • Gunakan kelompok sumber daya EAS. Anda dapat membeli sumber daya EAS spesifikasi khusus dari EAS Dedicated Resources Subscription.

   

Debug online

Pada halaman Service Details, klik Online Debugging. Contohnya ditunjukkan pada gambar berikut.

Panggil API

1. Dapatkan titik akhir layanan dan token.

   1. Di Model Gallery > Job Management > Deployment Jobs, klik nama layanan yang telah diterapkan untuk membuka halaman detail layanan.

   2. Klik View Invocation Method untuk melihat Internet Endpoint dan token.

      

2. Contoh berikut menunjukkan cara memanggil titik akhir /v1/chat/completions untuk penerapan SGLang.

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, get from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### Konfigurasi API #####
   # Ganti <EAS_ENDPOINT> dengan titik akhir layanan yang diterapkan dan <EAS_TOKEN> dengan token layanan.
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, please introduce yourself."}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   Ganti <EAS_ENDPOINT> dengan titik akhir layanan Anda dan <EAS_TOKEN> dengan token layanan Anda.

Metode pemanggilan bervariasi tergantung jenis penerapannya. Untuk contoh lainnya, lihat Menerapkan model bahasa besar dan memanggil API.

Integrasikan aplikasi pihak ketiga

Untuk menghubungkan ke Chatbox, Dify, atau Cherry Studio, lihat Integrasikan klien pihak ketiga.

Ubah batas token

Model Qwen3 secara native mendukung panjang token hingga 32.768. Anda dapat menggunakan teknologi RoPE scaling untuk memperluasnya hingga maksimum 131.072 token, meskipun hal ini mungkin menyebabkan sedikit degradasi performa. Untuk melakukannya, modifikasi bidang containers.script pada file JSON konfigurasi layanan sebagai berikut:

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

Uraikan pemanggilan alat

vLLM dan SGLang mendukung penguraian keluaran pemanggilan alat model menjadi pesan terstruktur. Untuk mengaktifkannya, modifikasi bidang containers.script pada file JSON konfigurasi layanan sebagai berikut:

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

Kontrol mode berpikir

Qwen3 menggunakan mode berpikir secara default. Anda dapat mengontrol perilaku ini dengan sakelar keras (untuk sepenuhnya menonaktifkan berpikir) atau sakelar lunak (di mana model mengikuti instruksi pengguna apakah perlu berpikir atau tidak).

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

Uraikan konten berpikir

Untuk mengeluarkan bagian berpikir secara terpisah, modifikasi bidang containers.script pada file JSON konfigurasi layanan sebagai berikut:

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

T: Bagaimana cara saya mempertahankan konteks percakapan di beberapa panggilan API dengan model yang diterapkan di PAI?

Layanan model yang diterapkan di PAI bersifat tanpa status. Setiap panggilan API bersifat independen, dan server tidak menyimpan konteks antarpermintaan.

Untuk menerapkan percakapan multi-putaran, Anda harus mengelola riwayat percakapan di sisi klien. Pada setiap panggilan API baru, Anda perlu mengirimkan seluruh riwayat percakapan dalam muatan messages. Untuk contohnya, lihat Bagaimana cara menerapkan percakapan multi-putaran?