Platform For AI:Deploy, fine-tune, and evaluate Qwen3 models in PAI

Modeli dağıtma

Bu örnekte Qwen3-235B-A22B modeli SGLang ile dağıtılmaktadır.

1. Model Gallery sayfasına gidin.

   1. PAI console adresinde oturum açın ve sol üst köşeden bir bölge seçin. Kullanılabilir hesaplama kaynaklarını bulmak için bölgeler arasında geçiş yapın.

   2. Sol gezinme bölmesinde Workspaces öğesini seçin ve hedef çalışma alanınızın adına tıklayarak alanı açın.

   3. Sol gezinme bölmesinde QuickStart > Model Gallery yolunu izleyin.

2. Model Gallery sayfasının sağ tarafındaki model listesinde, model ayrıntıları sayfasını açmak için Qwen3-235B-A22B model kartına tıklayın.

3. Sağ üst köşede Deploy öğesine tıklayın. Aşağıdaki parametreleri yapılandırın ve diğerleri için varsayılan değerleri koruyarak modeli EAS çıkarım hizmeti platformuna dağıtın.

   • Deployment Method: Inference Engine değerini SGLang, Deployment Template değerini ise Single-Node olarak ayarlayın.

   • Resource Information: Resource Type için genel kaynakları seçin. Sistem uygun bir örnek türü önerir. Her model için minimum yapılandırma bilgileri için bkz. Ek: Hesaplama kaynakları ve token sınırları.

     Önemli

     Kullanılabilir örnek teknik özellikleri yoksa, o bölgedeki genel kaynaklar stokta yoktur. Aşağıdaki seçenekleri değerlendirin:

     • Bölgeleri değiştirin. Çin (Ulanqab) daha fazla Lingjun öncelikli kaynak (ml.gu7ef.8xlarge-gu100, ml.gu7xf.8xlarge-gu108, ml.gu8xf.8xlarge-gu108, ml.gu8tf.8.40xlarge) sağlar. Öncelikli kaynaklar geri alınabileceğinden teklifinizi dikkatli belirleyin.

     • Bir EAS kaynak grubu kullanın. EAS özel kaynaklarını satın almak için EAS dedicated resources subscription sayfasına gidin.

Çevrimiçi hata ayıklama

Service details sayfasının alt kısmında çevrimiçi hata ayıklamaya tıklayın. Aşağıdaki şekil bir örneği göstermektedir.

API'yi çağırma

1. Hizmet uç noktasını ve belirteci edinin.

   1. Model Gallery > Job Management > Deployment Jobs bölümünde, dağıtılan hizmetin hizmet ayrıntıları sayfasını açmak için hizmet adına tıklayın.

   2. İnternet Uç Noktasını ve belirteci elde etmek için View Call Information öğesine tıklayın.

      

2. SGLang ile dağıtılan bir hizmet için /v1/chat/completions sohbet API'sine örnek çağrı.

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name, obtained from the /v1/models API>",
           "messages": [
           {
               "role": "system",
               "content": "You are a helpful assistant."
           },
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions

   Python

   from openai import OpenAI
   
   ##### API configuration #####
   # Replace <EAS_ENDPOINT> with the service endpoint and <EAS_TOKEN> with the service token.
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   models = client.models.list()
   model = models.data[0].id
   print(model)
   
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "Hello, could you please introduce yourself"}
       ],
       model=model,
       max_completion_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   <EAS_ENDPOINT> yerine hizmet uç noktasını ve <EAS_TOKEN> yerine hizmet belirtecini yazın.

Çağrı yöntemleri dağıtım yöntemine göre değişir. Daha fazla çağrı yöntemi için bkz. Dağıtılan LLM hizmeti için API çağırma.

Üçüncü taraf entegrasyonu

Chatbox, Dify veya Cherry Studio'ya bağlanmak için bkz. Üçüncü taraf istemcilerle entegrasyon.

Token sınırını değiştirme

Qwen3 modelleri yerel olarak 32.768 token destekler. RoPE ölçeklendirmesi bu sınırı 131.072'ye çıkarır, ancak performans biraz düşebilir. Hizmet yapılandırma JSON'undaki containers.script alanını değiştirin:

• vLLM:

  vllm serve ... --rope-scaling '{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}' --max-model-len 131072

• SGLang:

  python -m sglang.launch_server ... --json-model-override-args '{"rope_scaling":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":32768}}'

Araç çağrılarını ayrıştırma

vLLM ve SGLang, model tarafından oluşturulan araç çağrısı içeriğini yapılandırılmış mesajlara ayrıştırabilir. Hizmet yapılandırma JSON'undaki containers.script alanını değiştirin:

• vLLM:

  vllm serve ... --enable-auto-tool-choice --tool-call-parser hermes

• SGLang:

  python -m sglang.launch_server ... --tool-call-parser qwen25

Düşünme modunu kontrol etme

Qwen3 varsayılan olarak düşünme modunu kullanır. Sert anahtar düşünmeyi tamamen devre dışı bırakır; yumuşak anahtar ise modelin düşünmesi gerekip gerekmediğine ilişkin talimatlarınızı izlemesini sağlar.

{
  "model": "<MODEL_NAME>",
  "messages": [
    {
      "role": "user",
      "content": "/no_think Hello!"
    }
  ],
  "max_tokens": 1024
}

Düşünme içeriğini ayrıştırma

Think içeriğini ayrı olarak çıkarmak için hizmet yapılandırma JSON'undaki containers.script alanını değiştirin:

• vLLM:

  vllm serve ... --enable-reasoning --reasoning-parser qwen3

• SGLang:

  python -m sglang.launch_server ... --reasoning-parser deepseek-r1

S: PAI'da dağıtılan model hizmetleri, birden çok istekte bağlamı koruyan oturumları destekler mi?

Hayır. PAI'da dağıtılan model hizmeti API'leri durumsuzdur. Her çağrı tamamen bağımsızdır ve sunucu istekler arasında bağlam veya oturum durumu tutmaz.

Çok turlu konuşmaları uygulamak için istemcinin konuşma geçmişini saklaması ve her isteğe eklemesi gerekir. Bir istek örneği için bkz. Çok turlu konuşma nasıl uygulanır?