Platform For AI:Panduan Cepat Mulai: Terapkan, fine-tune, dan evaluasi model Qwen3

Deploy a model

Contoh ini menerapkan model Qwen3-235B-A22B dengan SGLang.

1. Buka halaman Model Gallery.

   1. Login ke PAI console. Di pojok kiri atas, pilih Wilayah. Ganti wilayah untuk menemukan sumber daya komputasi yang tersedia.

   2. Di panel navigasi sebelah kiri, pilih Workspaces dan klik ruang kerja target Anda.

   3. Di panel navigasi sebelah kiri, pilih QuickStart > Model Gallery.

2. Di halaman Model Gallery, klik kartu model Qwen3-235B-A22B untuk membuka halaman detail model.

3. Di pojok kanan atas, klik Deploy. Konfigurasikan parameter berikut dan gunakan nilai default untuk parameter lainnya.

   • Deployment Method: Atur Inference Engine ke SGLang dan Deployment Template ke Single-Node.

   • Resource Information: Untuk Resource Type, pilih public resource. Sistem akan merekomendasikan tipe instans yang sesuai. Untuk konfigurasi minimum yang diperlukan, lihat Lampiran: Sumber daya komputasi yang diperlukan dan jumlah token yang didukung.

     Penting

     Jika tidak ada spesifikasi sumber daya yang tersedia, inventaris public resource di wilayah saat ini tidak mencukupi. Coba opsi berikut:

     • Switch regions. China (Ulanqab) memiliki inventaris sumber daya preemptible Lingjun yang lebih besar, seperti ml.gu7ef.8xlarge-gu100, ml.gu7xf.8xlarge-gu108, ml.gu8xf.8xlarge-gu108, dan ml.gu8tf.8.40xlarge. Sumber daya preemptible dapat ditarik kembali. Tetapkan penawaran Anda dengan hati-hati.

     • Gunakan kelompok sumber daya EAS. Buka atau EAS Dedicated Resources Subscription untuk membeli sumber daya EAS khusus.

Debug online

Di halaman Service details, klik debugging online di bagian bawah. Contoh:

Invoke the API

1. Dapatkan titik akhir layanan dan token:

   1. Di panel navigasi sebelah kiri, pilih Model Gallery > Job Management > Deployment Jobs dan klik nama layanan untuk membuka halaman detail layanan.

   2. Klik View Call Information untuk menemukan titik akhir internet dan token.

      

2. Contoh berikut memanggil API chat /v1/chat/completions untuk layanan yang diterapkan dengan SGLang.

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, obtained from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### Konfigurasi API #####
   # Ganti <EAS_ENDPOINT> dengan titik akhir layanan dan <EAS_TOKEN> dengan token layanan.
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "你好，请介绍一下你自己。"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   Ganti <EAS_ENDPOINT> dengan titik akhir layanan dan <EAS_TOKEN> dengan token layanan.

Metode invokasi bervariasi tergantung pada metode penerapannya. Untuk contoh selengkapnya, lihat Menginvokasi API untuk layanan LLM yang diterapkan.

Third-party integration

Untuk terhubung ke Chatbox, Dify, atau Cherry Studio, lihat Integrasi dengan klien pihak ketiga.

Modify token limit

Model Qwen3 secara native mendukung 32.768 token. Skala RoPE memperluas maksimum hingga 131.072, meskipun performa mungkin sedikit menurun. Untuk mengaktifkannya, modifikasi bidang containers.script dalam JSON konfigurasi layanan:

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

Parse tool calls

vLLM dan SGLang mendukung penguraian konten tool calling menjadi pesan terstruktur. Untuk mengaktifkannya, modifikasi bidang containers.script dalam JSON konfigurasi layanan:

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

Control thinking mode

Qwen3 menggunakan thinking mode secara default. Gunakan hard switch untuk menonaktifkan thinking sepenuhnya, atau soft switch yang memungkinkan model mengikuti instruksi pengguna apakah akan berpikir atau tidak.

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

Parse thinking content

Untuk mengeluarkan bagian thinking dari tanggapan secara terpisah, modifikasi bidang containers.script dalam JSON konfigurasi layanan:

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

Q: Apakah layanan yang diterapkan di PAI mendukung konteks sesi?

Tidak. API layanan model yang diterapkan di PAI bersifat tanpa status. Setiap pemanggilan bersifat independen, dan server tidak menyimpan konteks atau status sesi antar permintaan.

Untuk mengimplementasikan percakapan multi-putaran, klien harus menyimpan riwayat percakapan dan menyertakannya dalam permintaan API berikutnya. Untuk contohnya, lihat How do I implement a multi-turn conversation?