Platform For AI:Terapkan, fine-tune, dan evaluasi model Qwen3 di PAI

Deploy a model

Contoh ini menerapkan model Qwen3-235B-A22B dengan SGLang.

1. Buka halaman Model Gallery.

   1. Masuk ke PAI console dan pilih Wilayah di pojok kiri atas. Ganti wilayah untuk menemukan sumber daya komputasi yang tersedia.

   2. Pada panel navigasi sebelah kiri, pilih Workspaces, lalu klik nama ruang kerja target Anda untuk membukanya.

   3. Pada panel navigasi sebelah kiri, pilih QuickStart > Model Gallery.

2. Pada daftar model di sisi kanan halaman Model Gallery, klik kartu model Qwen3-235B-A22B untuk membuka halaman detail model.

3. Di pojok kanan atas, klik Deploy. Konfigurasikan parameter berikut dan biarkan sisanya pada nilai default untuk menerapkan model ke platform layanan inferensi EAS.

   • Deployment Method: Atur Inference Engine ke SGLang dan Deployment Template ke Single-Node.

   • Resource Information: Untuk Resource Type, pilih public resources. Sistem akan merekomendasikan tipe instans yang sesuai. Untuk konfigurasi minimum setiap model, lihat Lampiran: Sumber daya komputasi dan batas token.

     Penting

     Jika tidak ada spesifikasi instans yang tersedia, berarti public resources di wilayah tersebut sedang habis stoknya. Pertimbangkan opsi berikut:

     • Ganti wilayah. China (Ulanqab) menyediakan lebih banyak sumber daya preemptible Lingjun (ml.gu7ef.8xlarge-gu100, ml.gu7xf.8xlarge-gu108, ml.gu8xf.8xlarge-gu108, ml.gu8tf.8.40xlarge). Sumber daya preemptible dapat ditarik kembali, jadi atur penawaran Anda dengan hati-hati.

     • Gunakan kelompok sumber daya EAS. Buka halaman langganan sumber daya khusus EAS untuk membeli sumber daya khusus EAS.

Debug online

Di bagian bawah halaman Service details, klik debugging online. Gambar berikut menunjukkan contohnya.

Invoke the API

1. Dapatkan titik akhir layanan dan token.

   1. Di Model Gallery > Job Management > Deployment Jobs, klik nama layanan dari layanan yang telah diterapkan untuk membuka halaman detail layanan.

   2. Klik View Call Information untuk mendapatkan Internet Endpoint dan token.

      

2. Contoh pemanggilan API chat /v1/chat/completions untuk layanan yang diterapkan dengan SGLang.

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, obtained from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### Konfigurasi API #####
   # Ganti <EAS_ENDPOINT> dengan titik akhir layanan dan <EAS_TOKEN> dengan token layanan.
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, could you please introduce yourself"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   Ganti <EAS_ENDPOINT> dengan titik akhir layanan dan <EAS_TOKEN> dengan token layanan.

Metode pemanggilan bervariasi tergantung metode penerapan. Untuk metode pemanggilan lainnya, lihat Panggil API untuk layanan LLM yang telah diterapkan.

Third-party integration

Untuk menyambungkan ke Chatbox, Dify, atau Cherry Studio, lihat Integrasikan dengan klien pihak ketiga.

Modify token limit

Model Qwen3 secara native mendukung 32.768 token. Skala RoPE memperluas kapasitas ini hingga 131.072, meskipun performa mungkin sedikit menurun. Ubah bidang containers.script dalam JSON konfigurasi layanan:

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

Parse tool calls

vLLM dan SGLang dapat mengurai konten tool calling yang dihasilkan model menjadi pesan terstruktur. Ubah bidang containers.script dalam JSON konfigurasi layanan:

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

Control thinking mode

Qwen3 menggunakan mode thinking secara default. Sakelar keras (hard switch) menonaktifkan thinking sepenuhnya; sakelar lunak (soft switch) memungkinkan model mengikuti instruksi Anda tentang apakah perlu berpikir atau tidak.

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

Parse thinking content

Untuk mengeluarkan konten think secara terpisah, ubah bidang containers.script dalam JSON konfigurasi layanan:

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

Q: Apakah layanan model yang diterapkan di PAI mendukung sesi yang menyimpan konteks lintas beberapa permintaan?

Tidak. API layanan model yang diterapkan di PAI bersifat tanpa status (stateless). Setiap pemanggilan sepenuhnya independen, dan server tidak menyimpan konteks atau status sesi antarpermintaan.

Untuk menerapkan percakapan multi-putaran, klien harus menyimpan riwayat percakapan dan menyertakannya pada setiap permintaan. Untuk contoh permintaan, lihat Bagaimana cara menerapkan percakapan multi-putaran?