Tüm Ürünler
Search

Bu Ürün

    Platform For AI:Deploy DeepSeek-V4 and DeepSeek-R1

    Belge Merkezi

    Platform For AI:Deploy DeepSeek-V4 and DeepSeek-R1

    Son Güncelleme:Oct 13, 2026

    DeepSeek modellerini dağıtmak için hesaplama ortamını yapılandırmanız, modeli yüklemeniz ve çıkarımı optimize etmeniz gerekir. PAI Model Gallery, tek tıklamayla dağıtım desteği sunar. OpenAI API ile uyumlu bir model hizmetini yalnızca birkaç adımda elde edebilir ve uygulamalarınıza hızla entegre edebilirsiniz.

    Çözüm mimarisi

    Temel bileşenler

    Çözüm, PAI platformu üzerine inşa edilmiştir ve aşağıdaki temel bileşenlerden oluşur:

    • Model Gallery: Model dağıtımı ve yayınlaması için giriş noktasıdır; önceden ayarlanmış DeepSeek modelleri ve dağıtım yapılandırmaları sağlar.

    • Elastic Algorithm Service (EAS): Model dağıtımını ve çıkarımı barındıran çekirdek hizmettir. GPU'lar gibi altta yatan hesaplama kaynaklarını otomatik olarak yönetir ve model hizmeti örneklerini başlatır.

    • Çıkarım hızlandırma motorları (SGLang/vLLM/BladeLLM): Model çıkarım performansını optimize eder.

      • SGLang/vLLM: Mevcut uygulamaların geçişini kolaylaştırmak amacıyla OpenAI API ile tamamen uyumlu arayüzler sağlar.

      • BladeLLM: Belirli senaryolarda daha iyi performans sunan, dahili yüksek performanslı çıkarım çerçevesidir.

    • API ağ geçidi: Model hizmetlerine erişim için güvenli bir kanal sağlar. Hizmet uç noktasını ve belirteci kullanarak hizmetleri çağırabilirsiniz.

    Dağıtım yöntemi

    Büyük ölçekli modeller için tek düğümlü dağıtıma ek olarak, Model Gallery dağıtılmış dağıtım ve EP+PD ayrıştırma gibi tek tıklamayla dağıtım çözümleri de sunar.

    Örneğin, DeepSeek-V4-Pro-FP8 ve DeepSeek-V4-Flash-FP8 modellerinin her ikisi de EP+PD ayrıştırma yöntemi kullanılarak dağıtılabilir.

    Hızlı dağıtım ve doğrulama

    Adım 1: Model hizmetini dağıtın

    1. PAI console adresine gidin ve sol üst köşeden hedef bölgeyi seçin. Sol gezinme bölmesinden Workspaces seçeneğine gidin ve hedef çalışma alanını seçin.

    2. Çalışma alanında QuickStart > Model Gallery yolunu izleyin.

    3. Model listesinde hedef modeli aratın ve seçin (örneğin DeepSeek-R1-Distill-Qwen-7B) ve detay sayfasına gitmek için model kartına tıklayın.

    4. Sayfanın sağ üst köşesindeki Deploy seçeneğine tıklayın ve aşağıdaki parametreleri yapılandırın.

      • Deployment Template: Varsayılan olarak kart türü A10, çıkarım motoru SGLang, dağıtım yöntemi tek düğümlü ve dağıtım senaryosu dengeli olarak ayarlanır.

      • Deployment Resource: Genel kaynakları veya özel kaynakları seçin ve model gereksinimlerine göre uygun bir GPU teknik özelliği belirleyin.

        • Varsayılan olarak genel kaynaklar kullanılır ve önerilen bir teknik özellik sağlanır. Hiçbir teknik özellik mevcut değilse başka bir bölgeye geçmeyi deneyin.

          Önemli

          Genel kaynakları kullanarak dağıtım yaptığınızda, örnek hazır hale geldiğinde faturalandırma başlar ve çağrı olmasa bile kullanım süresine göre ücretlendirilirsiniz. Test işleminden sonra hizmeti derhal durdurun.

        • Resource Quota seçeneğini belirlerseniz, örnek türüne göre eşleşen bir çıkarım motoru ve dağıtım şablonu seçtiğinizden emin olun. Örneğin, Zhenwu PPU kullanıyorsanız çıkarım motoru olarak SGLang ve dağıtım şablonunda kart türü olarak PPU-810E seçebilirsiniz.

        Önerilen bir GPU teknik özelliği örneği ecs.gn7i-c16g1.4xlarge (16 vCPU, 60 GiB, 1 × NVIDIA A10) olup saatlik maliyeti yaklaşık 11,1 CNY'dir.

    5. Tüm yapılandırmaların doğru olduğunu onayladıktan sonra Deploy seçeneğine tıklayın. Sistem hizmeti oluşturmaya başlar.

      Not

      DeepSeek-R1'in tam sürümü gibi büyük bir model için model yükleme işlemi 20 ila 30 dakika sürebilir.

    6. Dağıtım işinin durumunu Model Gallery > Job Management > Deployment Jobs sayfasından görüntüleyebilirsiniz. Bir hizmet adına tıklayarak hizmet detayları sayfasına gidebilirsiniz. Ayrıca sağ üst köşede More > More Information seçeneğine tıklayarak daha fazla bilgi için PAI-EAS'teki model hizmeti detayları sayfasına gidebilirsiniz.

      Hizmet detayları sayfasında, daha fazla ayrıntı için Status alanının yanındaki View Deployment Events seçeneğine ve hizmet uç noktasını ve belirtecini almak için Call Information alanındaki View Call Information seçeneğine tıklayabilirsiniz. Sol gezinme bölmesinden Elastic Algorithm Service (EAS) seçeneğini belirleyerek EAS hizmet yönetimi sayfasına da gidebilirsiniz.

    Adım 2: Çevrimiçi hata ayıklama

    Model Gallery > Job Management > Deployment Jobs sayfasında, dağıtılan hizmetin adına tıklayın ve hem Conversation Debugging hem de API Debugging destekleyen Online Debugging sekmesine geçin.

    Not

    DeepSeek-R1 model serisi için resmi kullanım önerileri aşağıdaki gibidir:

    • Tekrarlayan veya tutarsız çıktıları önlemek için sıcaklık (temperature) değerini 0,5 ile 0,7 arasında ayarlayın. Önerilen değer 0,6'dır.

    • Sistem istemi eklemeyin. Tüm talimatları kullanıcı istemine yerleştirin.

    • Matematikle ilgili sorular için isteme "Please reason step by step and put the final answer in a \boxed{}." ifadesini ekleyin.

    Yalnızca API hata ayıklama sayfası mevcutsa, büyük dil modeli (LLM) hizmetinin sohbet API'sini nasıl hata ayıklayacağınızı gösteren aşağıdaki örneği inceleyin:

    1. İstek yöntemini ve yolunu ayarlayın: Hata ayıklama sekmesinde HTTP yöntemi olarak POST seçeneğini belirleyin ve adrese /v1/chat/completions ekleyerek tam istek URL'sini <EAS_ENDPOINT>/v1/chat/completions şeklinde oluşturun. URL'de <EAS_ENDPOINT> genellikle önceden doldurulmuş olan hizmet uç noktasıdır. Standart format http://<uid>.<region-id>.pai-eas.aliyuncs.com/api/predict/<service-name> şeklindedir.

      SGLang/vLLM ile dağıtılan hizmetler için desteklenen diğer API'leri <EAS_ENDPOINT>/openapi.json adresinde bulabilirsiniz.

    2. İstek gövdesini oluşturun.

      İstem "What is 3 + 5?" ise istek gövdesi aşağıdaki gibi biçimlendirilir.

      Model parametresinin değeri, model list API <EAS_ENDPOINT>/v1/models adresinden alınan model adıdır. Bu örnekte DeepSeek-R1-Distill-Qwen-7B kullanılmaktadır.

      Body bölümünde raw seçeneğini belirleyin ve aşağıdaki JSON istek gövdesini girin:

      {
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "user",
            "content": "What is 3 + 5?"
        }
    ]
}

    3. İsteği gönderin.

      Send Request seçeneğine tıklayın. Sağ taraftaki Response bölümünde 200 durum kodu görünür ve Body bölümünde model yanıtı JSON formatında görüntülenir.

    BladeLLM sohbet API'si için bir istek verisi örneğini görüntülemek için tıklayın

    Önemli

    BladeLLM hızlandırılmış dağıtım yöntemini kullandığınızda, max_tokens parametresini belirtmezseniz çıktı varsayılan olarak 16 belirteçle kısaltılır. max_tokens istek parametresini gerçek ihtiyaçlarınıza göre ayarlayın.

    {
    "messages": [
        {
            "role": "user",
            "content": "What is 3 + 5?"
        }
    ],
    "max_tokens": 2000
}

    API çağrısı

    1. Hizmet uç noktasını ve belirtecini alın.

      1. Model Gallery > Job Management > Deployment Jobs sayfasında, dağıtılan hizmetin adına tıklayarak hizmet detayları sayfasına gidin.

      2. Hizmeti çağırmak için kullanılan uç noktayı ve belirteci almak üzere View Call Information seçeneğine tıklayın.

    2. Aşağıda sohbet API'sini çağırma örneği verilmiştir.

      <EAS_ENDPOINT> yerine hizmet uç noktasını ve <EAS_TOKEN> yerine hizmet belirtecini yazın.

      OpenAI SDK

      Notlar:

      • Uç noktaya /v1 eklemeniz gerekir.

      • BladeLLM hızlandırılmış dağıtım, şu anda client.models.list() kullanılarak model listesinin alınmasını desteklemez. Uyumluluk için model değerini "" olarak ayarlayabilirsiniz.

      SGLang/vLLM hızlandırılmış dağıtım

      from openai import OpenAI
# 1. Configure the client
# Replace <<EAS_ENDPOINT> and <EAS_TOKEN> with the actual service access address and Token.
openai_api_key = "<EAS_TOKEN>"
openai_api_base = "<EAS_ENDPOINT>/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
# 2. Get the model name 
try:
    model = client.models.list().data[0].id
    print(model)
except Exception as e:
    print(f"Failed to get the model list. Check the Endpoint and Token. Error: {e}")
# 3. Construct and send the request
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "user", "content": "Hello, please introduce yourself."}
    ],
    model=model,
    max_tokens=2048,
    stream=stream,
)
if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

      BladeLLM hızlandırılmış dağıtım

      from openai import OpenAI
##### API Configuration #####
# Replace <EAS_ENDPOINT> with the access address of the deployed service, and <EAS_TOKEN> with the Token of the deployed service.
openai_api_key = "<EAS_TOKEN>"
openai_api_base = "<EAS_ENDPOINT>/v1"
client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)
# BladeLLM accelerated deployment currently does not support retrieving the model name via client.models.list(). You can directly set the value of model to "" for compatibility.
model=""
stream = True
chat_completion = client.chat.completions.create(
    messages=[
              {"role": "user", "content": "Hello, please introduce yourself."}
    ],
     model=model,
     max_tokens=2048,
     stream=stream,
    )
if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

      HTTP

      SGLang/vLLM hızlandırılmış dağıtım

      <model_name> yerine model list API <EAS_ENDPOINT>/v1/models adresinden alınan model adını yazın.

      curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

      import json
import requests
# Replace <EAS_ENDPOINT> with the access address of the deployed service, and <EAS_TOKEN> with the Token of the deployed service.
EAS_ENDPOINT = "<EAS_ENDPOINT>"
EAS_TOKEN = "<EAS_TOKEN>"
url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}
# Replace <model_name> with the model name obtained from the model list API <EAS_ENDPOINT>/v1/models.
model = "<model_name>"
stream = True
messages = [
    {"role": "user", "content": "Hello, please introduce yourself."},
]
req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.6,
    "top_p": 0.5,
    "top_k": 10,
    "max_tokens": 300,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)
if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        if msg.startswith("data"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

      BladeLLM hızlandırılmış dağıtım

      curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "messages": [
        {
            "role": "user",
            "content": "hello!"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

      import json
import requests
# Replace <EAS_ENDPOINT> with the access address of the deployed service, and <EAS_TOKEN> with the Token of the deployed service.
EAS_ENDPOINT = "<EAS_ENDPOINT>"
EAS_TOKEN = "<EAS_TOKEN>"
url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}
stream = True
messages = [
    {"role": "user", "content": "Hello, please introduce yourself."},
]
# With BladeLLM accelerated deployment, if the max_tokens parameter is not specified, the output is truncated at max_tokens=16 by default. We recommend that you adjust the max_tokens request parameter based on your actual needs.
req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.6,
    "top_p": 0.5,
    "top_k": 10,
    "max_tokens": 300,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)
if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        if msg.startswith("data"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                      print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

    3. Çağırma yöntemi modele ve dağıtım çerçevesine göre değişir. Daha fazla bilgi için Model Gallery'deki model tanıtım sayfasına bakın.

      Örneğin, Model Gallery'deki DeepSeek-R1-Distill-Qwen-7B için model introduction sayfası, BladeLLM hızlandırılmış dağıtım için kaynak gereksinimlerini (24 GB GPU belleği gerekir ve yalnızca ecs.gn7 ve sonraki örnek aileleri desteklenir) belirtir, modelin OpenAI v1/completions ve v1/chat/completions API'leri ile uyumlu olduğunu belirtir ve curl komutları ile Python betikleri kullanılarak çağrı örnekleri sunar.

    Üçüncü taraf entegrasyonu

    Chatbox, Dify veya Cherry Studio'ya bağlanmak için bkz. Üçüncü taraf istemcilerini entegre etme.

    Yerel Web Kullanıcı Arayüzü

    Bkz. Yerel web kullanıcı arayüzü oluşturma.

    Kaynak temizliği

    Genel kaynakları kullanarak dağıtım yaptığınızda, örnek hazır hale geldiğinde faturalandırma başlar ve kullanım süresine göre hesaplanır; kesirli saatler dakikaya oranlanarak faturalandırılır. Kullanımınız tamamlandığında örneği derhal durdurun veya silin.

    1. Task Management > Deployment Tasks sayfasına geri dönün.

    2. Durdurmak istediğiniz hizmeti bulun ve Actions sütununda Stop veya Delete seçeneğine tıklayın.

      • Stop: Hizmet örneği serbest bırakılır ve faturalandırma durur, ancak hizmet yapılandırması korunur ve hizmet daha sonra yeniden başlatılabilir.

      • Delete: Hem hizmet yapılandırması hem de örnek kalıcı olarak silinir.

    Model ve kaynak seçimi

    Seçtiğiniz model, gerekli hesaplama kaynaklarını ve dağıtım maliyetlerini belirler. DeepSeek modelleri, kaynak gereksinimleri açısından önemli farklılıklar gösteren tam sürüm modeller ve damıtılmış sürüm modeller olarak ikiye ayrılır.

    • Geliştirme ve test: DeepSeek-R1-Distill-Qwen-7B gibi damıtılmış bir sürüm model kullanmanızı öneririz. Bu modeller düşük kaynak gereksinimine sahiptir (genellikle 24 GB GPU belleğine sahip tek bir GPU), düşük maliyetle hızlıca dağıtılabilir ve özelliklerin hızlı doğrulanması için uygundur.

    • Üretim ortamları: Hem model performansını hem de maliyeti değerlendirin. DeepSeek-R1-Distill-Qwen-32B performans ve maliyet arasında iyi bir denge kurar. Daha güçlü model performansı gerekiyorsa tam sürüm bir model seçebilirsiniz, ancak tam sürüm modeller çok sayıda yüksek seviye GPU (örneğin her biri 96 GB GPU belleğine sahip 8 GPU) gerektirir ve maliyetleri önemli ölçüde artırır.

    Aşağıdaki tabloda farklı model sürümleri için gereken minimum yapılandırmalar ve farklı örnek türleri ile çıkarım motorları kullanıldığında desteklenen maksimum belirteç sayısı listelenmektedir.

    Tam sürüm modeller

    Model

    Dağıtım yöntemi

    Maksimum belirteç sayısı (giriş + çıkış)

    Minimum yapılandırma

    SGLang (önerilen)

    vLLM

    DeepSeek-V4-Pro

    Tek düğümlü/Dağıtılmış

    1M

    1M

    8 × H20-3e (8 × 141 GB GPU belleği) ile tek düğümlü

    DeepSeek-V4-Flash

    Tek düğümlü

    1M

    1M

    8 × H20-3e (8 × 141 GB GPU belleği) ile tek düğümlü

    DeepSeek-V4-Pro-FP8

    Tek düğümlü/PD ayrıştırma

    1M

    /

    8 × H20-3e (8 × 141 GB GPU belleği) ile tek düğümlü

    DeepSeek-V4-Flash-FP8

    Tek düğümlü/PD ayrıştırma

    1M

    /

    4 × H20-3e (4 × 141 GB GPU belleği) ile tek düğümlü

    DeepSeek-V3

    Tek düğümlü - NVIDIA GPU

    56.000

    65.536

    8 × GU120 (8 × 96 GB GPU belleği) ile tek düğümlü

    Tek düğümlü - Zhenwu PPU

    56.000

    16.384

    Dağıtılmış - PAI Lingjun Akıllı Hesaplama Hizmeti

    163.840

    163.840

    DeepSeek-R1

    Tek düğümlü - NVIDIA GPU

    56.000

    65.536

    8 × GU120 (8 × 96 GB GPU belleği) ile tek düğümlü

    Tek düğümlü - Zhenwu PPU

    56.000

    16.384

    Dağıtılmış - PAI Lingjun Akıllı Hesaplama Hizmeti

    163.840

    163.840

    Tek düğümlü dağıtım örnek türü notları:

    • NVIDIA GPU:

      • ml.gu8v.c192m1024.8-gu120 ve ecs.gn8v-8x.48xlarge: genel kaynak olarak kullanılabilir, ancak envanterleri sınırlı olabilir.

      • ecs.ebmgn8v.48xlarge : genel kaynak olarak kullanılamaz. Özel EAS kaynakları satın almanız gerekir.

    • Zhenwu PPU: ml.gp7vf.16.40xlarge bir genel kaynaktır ve yalnızca preemptible (kesintiye uğrayabilir) bazında kullanılabilir. NVIDIA GPU kaynakları kıt ise Zhenwu PPU kaynaklarını bulmak için Çin (Ulanqab) bölgesine geçiş yapabilirsiniz. Dağıtım sırasında bir VPC yapılandırmanız gerekir.

    Dağıtılmış dağıtım örnek türü notları (yüksek performans gerektiğinde önerilir):

    Dağıtılmış dağıtım yüksek hızlı ağ bağlantısına dayanır. Bu nedenle, yüksek performanslı, esnek heterojen hesaplama gücü sağlayan PAI Lingjun Akıllı Hesaplama Hizmeti kullanmanız ve dağıtım sırasında bir VPC yapılandırmanız gerekir. PAI Lingjun Akıllı Hesaplama Hizmeti'ni kullanmak için bölgeyi Çin (Ulanqab) olarak değiştirin.

    • Lingjun genel kaynakları:

      • ml.gu7xf.8xlarge-gu108 : tek örnekli dağıtım için dört makine gerektirir ve yalnızca preemptible (kesintiye uğrayabilir) bazında kullanılabilir.

      • Zhenwu PPU: tek örnekli dağıtım için iki makine gerektirir.

    • Lingjun ön ödemeli kaynaklar: Bu kaynakları kullanmak için beyaz listeye eklenmeniz gerekir. Danışmanlık için satış temsilcinizle iletişime geçin veya bir destek talebi oluşturun.

    Damıtılmış sürüm modeller

    Model

    Maksimum belirteç sayısı (giriş + çıkış)

    Minimum yapılandırma

    SGLang (önerilen)

    vLLM

    BladeLLM

    DeepSeek-R1-Distill-Qwen-1.5B

    131.072

    131.072

    131.072

    1 × A10 GPU (24 GB GPU belleği)

    DeepSeek-R1-Distill-Qwen-7B

    131.072

    32.768

    131.072

    1 × A10 GPU (24 GB GPU belleği)

    DeepSeek-R1-Distill-Llama-8B

    131.072

    32.768

    131.072

    1 × A10 GPU (24 GB GPU belleği)

    DeepSeek-R1-Distill-Qwen-14B

    131.072

    32.768

    131.072

    1 × GPU L (48 GB GPU belleği)

    DeepSeek-R1-Distill-Qwen-32B

    131.072

    32.768

    131.072

    2 × GPU L (2 × 48 GB GPU belleği)

    DeepSeek-R1-Distill-Llama-70B

    131.072

    32.768

    131.072

    2 × GU120 (2 × 96 GB GPU belleği)

    DeepSeek-R1-0528-Qwen3-8B: DeepSeek-R1 modelinden 8 milyar parametreli Qwen3-8B'ye damıtılmış bir modeldir. Yalnızca dağıtımı destekler, ince ayar veya eğitimi desteklemez.

    PAI tarafından optimize edilen modeller

    Model Gallery, aşağıdaki PAI tarafından optimize edilmiş DeepSeek modellerinin tek tıklamayla dağıtımını sağlar:

    • DeepSeek-R1-PAI-optimized

    • DeepSeek-R1-0528-PAI-optimized

    • DeepSeek-V3-0324-PAI-optimized

    Maliyetler ve riskler

    Maliyet dökümü

    Genel kaynakları kullanan hizmetler için faturalandırma, bir örnek hazır hale geldiğinde başlar ve durdurulana veya silinene kadar dakika bazında hesaplanır. Faturalar saatlik olarak tahsil edilir. Hizmet boşta olsa bile ücretler birikir. Hizmeti durdurmak faturalandırmayı durdurur.

    Daha fazla bilgi için bkz. Elastic Algorithm Service (EAS) faturalandırması.

    Maliyet kontrolü

    • Derhal temizleyin: Geliştirme ve test işlemlerinden sonra maliyetleri kontrol etmek için hizmeti hemen durdurun veya silin.

    • Uygun modeli seçin: Üretim dışı ortamlarda önceliği daha düşük maliyetli damıtılmış sürüm modellere verin.

    • Preemptible kaynakları kullanın: Üretim dışı görevler için dağıtım sırasında preemptible modunu etkinleştirebilirsiniz. Başarılı bir teklif için belirli koşulların karşılanması gerektiğini ve kaynak kararsızlığı riski bulunduğunu unutmayın.

    • Uzun vadeli kullanım indirimleri: Uzun süre çalışan üretim hizmetleri için tasarruf planı satın alarak veya ön ödemeli kaynaklar kullanarak maliyetleri düşürebilirsiniz.

    Temel riskler

    • Beklenmeyen maliyetler: Hizmeti durdurmayı unutmak sürekli faturalandırmaya neden olur. Kullanım bittiğinde kaynakları her zaman derhal temizleyin.

    • BladeLLM çıktısının kısaltılması: BladeLLM motorunu kullandığınızda, API isteğinde max_tokens belirtilmezse çıktı 16 belirteçle kısaltılır; bu durum özelliğin beklendiği gibi çalışmamasına neden olabilir.

    • Yanlış API kullanımı:

      • DeepSeek-R1 serisi bir modeli çağırırken messages içinde bir system istemi bulundurmak beklenmedik davranışlara yol açabilir.

      • API istek URL'si /v1/chat/completions gibi bir yol ile bitmelidir. Aksi takdirde 404 hatası döndürülür.

    • Kaynak envanteri: Büyük modelleri (özellikle tam sürüm modelleri) dağıtırken belirli bölgelerdeki yüksek seviye GPU kaynaklarının envanteri sıkı olabilir; bu durum dağıtım hatalarına veya uzun bekleme sürelerine neden olabilir. Başka bir bölgeye geçmeyi deneyebilirsiniz.

    Model dağıtımı SSS

    Çıkarım motoru seçimi

    • Önerilen SGLang : Yüksek performans sunar, OpenAI API standardıyla tamamen uyumludur, ana uygulama ekosistemlerine uyum sağlar ve çoğu senaryoda vLLM'den daha uzun maksimum bağlam uzunluğunu destekler.

    • Alternatif vLLM : Endüstride popüler bir çerçeve olarak iyi API uyumluluğu da sağlar.

    • Belirli senaryolar için BladeLLM : Yalnızca daha yüksek çıkarım performansı gerekiyorsa ve API'lerinin OpenAI standardından farklılıklarını kabul edebiliyorsanız (örneğin client.models.list() desteklenmez ve max_tokens parametresi varsayılan kısaltma davranışına sahiptir) Alibaba Cloud PAI tarafından bağımsız olarak geliştirilen yüksek performanslı çıkarım çerçevesi BladeLLM'i seçin.

    Hizmetin beklemesi/donması

    Olası nedenler:

    • Mevcut bölgede yetersiz makine kaynağı.

    • Büyük model boyutu nedeniyle model yüklenmesinin uzun sürmesi (DeepSeek-R1 ve DeepSeek-V3 gibi modeller için 20 ila 30 dakika).

    Bir süre sabırla bekleyin. Hizmet yine de beklendiği gibi başlamazsa aşağıdaki adımları denemenizi öneririz:

    1. Job Management-Deployment Jobs bölümüne giderek dağıtım işi detayları sayfasını açın. Sayfanın sağ üst köşesindeki More > More Information seçeneğine tıklayarak PAI-EAS'teki model hizmeti detayları sayfasına gidin ve hizmet örneği durumunu görüntüleyin.

      Instance Status sütunu Insufficient Inventory olarak gösteriyorsa, yetersiz kaynak nedeniyle örnek zamanlanamıyor demektir.

    2. Mevcut hizmeti durdurun, konsolun sol üst köşesinden başka bir bölgeye geçin ve hizmeti yeniden dağıtın.

      Not

      DeepSeek-R1 ve DeepSeek-V3 gibi son derece yüksek parametre sayısına sahip modeller, hizmeti başlatmak için 8 GPU gerektirir (kaynak envanteri sıkıdır). DeepSeek-R1-Distill-Qwen-7B gibi daha küçük damıtılmış modelleri dağıtmayı seçebilirsiniz (kaynak envanteri boldur).

    Model çağrısı SSS

    API çağrısı 404 hatası döndürüyor

    URL'ye v1/chat/completions gibi bir OpenAI API sonekinin eklenip eklenmediğini kontrol edin. Daha fazla bilgi için model tanıtım sayfasındaki API çağrısı talimatlarına bakın.

    vLLM hızlandırılmış dağıtım kullanıyorsanız, sohbet API'sinin istek gövdesindeki model parametresinin doğru model adına ayarlandığını kontrol edin. Model adını v1/models adresinden alabilirsiniz.

    İstek zaman aşımı

    Dağıtımlar için varsayılan ağ geçidi istek zaman aşımı 180 saniyedir. Bunu uzatmak için özel bir ağ geçidi yapılandırabilir ve özel ağ geçidinin istek zaman aşımını ayarlamak için bir destek talebi gönderebilirsiniz. Zaman aşımı 600 saniyeye kadar uzatılabilir.

    "Web araması" özelliği yok

    "Web araması" özelliği, yalnızca model hizmetini dağıtarak etkinleştirilmez; bunun için hizmetin üzerine ayrı bir AI uygulaması (agent) oluşturulması gerekir.

    Modelin düşünme sürecini atlaması

    DeepSeek-R1 modeli bazen düşünme sürecini atlarsa, DeepSeek'ten düşünmeyi zorlayan güncellenmiş sohbet şablonunu kullanın:

    1. Başlatma komutunu değiştirin.

      Hizmet yapılandırmasında JSON yapılandırmasını düzenleyin ve containers-script alanına "--chat-template /model_dir/template_force_thinking.jinja" ekleyin ("--served-model-name DeepSeek-R1" ifadesinden sonra ekleyebilirsiniz).

      Zaten dağıtılmış bir hizmet için Model Gallery > Job Management > Deployment Jobs yolunu izleyin, dağıtılan hizmetin adına tıklayın ve ardından yapılandırma sayfasına gitmek için detaylar sayfasının sağ üst köşesindeki Update service seçeneğine tıklayın.

    2. İstek gövdesini değiştirin. Her istekte, mesajın sonuna {"role": "assistant", "content": "<think>\n"} ekleyin.

    Düşünme modunun devre dışı bırakılması

    DeepSeek-R1 serisi modeller şu anda düşünme sürecinin devre dışı bırakılmasını desteklememektedir.

    Çok turlu konuşmalar

    Model hizmeti konuşma geçmişini kaydetmez. İstemci, konuşma geçmişini depolamalı ve modele gönderilen isteklere eklemelidir. Aşağıdaki örnek, SGLang ile dağıtılan bir hizmeti göstermektedir.

    curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "Hello"
        },
        {
            "role": "assistant",
            "content": "Hello! Nice to meet you. How can I help you?"
        },
        {
            "role": "user",
            "content": "What was my previous question?"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

    İlgili belgeler