Platform For AI:DeepSeek-V4 および DeepSeek-R1 のデプロイメント

コアコンポーネント

このソリューションは Platform for AI (PAI) をベースに構築されており、次のコアコンポーネントで構成されています：

• モデルギャラリー：モデルの配布とデプロイのエントリポイントとして機能します。事前設定済みの DeepSeek モデルと、対応するデプロイ設定を提供します。

• Elastic Algorithm Service (EAS)：モデルのデプロイと推論をホストするコアサービスです。GPU などの基盤となるコンピューティングリソースを自動的に管理し、モデルサービスのインスタンスを起動します。

• 推論アクセラレーションエンジン (SGLang/vLLM/BladeLLM)：モデルの推論パフォーマンスを最適化します。

  • SGLang/vLLM：OpenAI API と完全互換のインターフェイスを提供し、既存アプリケーションの移行を簡素化します。

  • BladeLLM：特定のシナリオで優れた推論パフォーマンスを提供する、独自の高性能推論フレームワークです。

• API ゲートウェイ：モデルサービスにアクセスするためのセキュアなチャネルを提供します。サービスエンドポイントと認証トークンを使用したモデルサービスの呼び出しをサポートします。

デプロイ方法

大規模モデルでは、単一ノードデプロイメントに加えて、モデルギャラリーでは分散デプロイメントや EP+PD 分離などのワンクリックデプロイメントソリューションも提供しています。

たとえば、DeepSeek-V4-Pro-FP8 と DeepSeek-V4-Flash-FP8 は、どちらも EP+PD 分離方式でデプロイできます。

ステップ1：モデルサービスのデプロイ

1. PAI コンソールにログインし、左上でターゲットリージョンを選択します。左側のナビゲーションペインで ワークスペース一覧 に移動し、ターゲットワークスペースを選択します。

2. ワークスペースで、クイックスタート > [Model Gallery] に移動します。

3. モデルリストで、ターゲットモデル (例： DeepSeek-R1-Distill-Qwen-7B) を検索して選択し、モデル詳細ページを開きます。

4. 右上の デプロイメント をクリックし、次のパラメーターを設定します。

   • 推論エンジン：SGLang または vLLM を推奨します。

   • デプロイリソース：パブリックリソースまたは専用リソースを選択し、モデルの要件に基づいて適切な GPU 仕様を選択します。

     • デフォルトでは、パブリックリソースが使用され、推奨仕様が表示されます。仕様が利用できない場合は、リージョンの切り替えを試してください。

       重要

       パブリックリソースを使用してデプロイする場合、サービスインスタンスがリソースをプロビジョニングするとすぐに課金が開始され、呼び出しがない場合でも利用時間に応じて料金が発生します。テスト後は、速やかにサービスを停止してください。

     • [Resource Quota] を選択した場合は、インスタンスタイプに対応する推論エンジンとデプロイテンプレートを必ず選択してください。たとえば、GP7V インスタンスタイプを使用する場合、[Inference Engine] に [SGLang] を選択でき、[Deployment Template] には [Single-Node-GP7V] を選択する必要があります。

   [Deployment Template] は、デフォルトで [Single-Node] に設定されています。推奨される GPU 仕様の例は ecs.gn7i-c16g1.4xlarge (16 vCPU、60 GiB、1 × NVIDIA A10) で、料金は 1 時間あたり約 11.1 人民元です。

5. すべての設定が正しいことを確認した後、[Deploy] をクリックします。システムがサービスの作成を開始します。

   説明

   フルバージョンの DeepSeek-R1 のような大規模モデルの場合、モデルのロードに 20 分から 30 分かかることがあります。

6. [Model Gallery] > タスク管理 > タスクのデプロイメント ページでデプロイジョブのステータスを確認できます。サービス名をクリックしてサービス詳細ページを開きます。右上の もっと見る > 詳細を見る をクリックして、EAS のモデルサービス詳細ページを表示することもできます。

   サービス詳細ページで、[Status] フィールドの横にある [View Deployment Events] をクリックすると、詳細が表示されます。サービスエンドポイントとトークンを取得するには、[Call Information] セクションの [View Call Information] をクリックします。

ステップ2：オンラインデバッグ

[Model Gallery] > タスク管理 > タスクのデプロイメント ページで、デプロイしたサービスの名前をクリックし、オンラインデバッグ タブに切り替えます。このタブは 対話のデバッグ と API デバッグ の両方をサポートしています。

API デバッグページのみが利用可能な場合、以下の手順では、大規模言語モデル (LLM) サービスのチャット API を使用した例を説明します：

1. リクエストパスの確認：<EAS_ENDPOINT>/v1/chat/completions。このパスの <EAS_ENDPOINT> はサービスエンドポイントで、通常は自動入力されます。

   http://<uid>.<region-id>.pai-eas.aliyuncs.com/api/predict/<service-name>.

   SGLang/vLLM でデプロイされたサービスの場合、<EAS_ENDPOINT>/openapi.json からサポートされている他の API を取得できます。

2. リクエストボディの作成

   プロンプトが「What is 3 + 5?」の場合、リクエストボディは次のように作成します。

   model パラメーターの値は、モデルリスト API の <EAS_ENDPOINT>/v1/models から取得したモデル名です。この例では DeepSeek-R1-Distill-Qwen-7B を使用します。

   {
       "model": "DeepSeek-R1-Distill-Qwen-7B",
       "messages": [
           {
               "role": "user",
               "content": "What is 3 + 5?"
           }
       ]
   }

3. リクエストの送信

   [Online Debugging] タブで、HTTP メソッドとして [POST] を選択し、URL フィールドにサービスエンドポイント (例： http://<service_address>/v1/chat/completions) を入力します。[Body] セクションで [raw] を選択し、model (例： DeepSeek-R1-Distill-Qwen-7B) と messages フィールドを含む JSON リクエストボディを入力します。[Send Request] をクリックします。右側の [Response] エリアにステータスコード 200 が表示され、モデルのレスポンスがボディに JSON 形式で表示されます。

{
    "model": "DeepSeek-R1-Distill-Qwen-7B",
    "messages": [
        {
            "role": "user",
            "content": "What is 3 + 5?"
        }
    ],
    "max_tokens": 2000
}

どのモデルを選択するかによって、必要なコンピューティングリソースとデプロイコストが決まります。DeepSeek モデルには「フルバージョン」と「蒸留版」のバリエーションがあり、リソース要件が大きく異なります。

• 開発およびテスト: 蒸留版モデル、たとえば DeepSeek-R1-Distill-Qwen-7B の使用を推奨します。これらのモデルは、通常 24 GB の GPU メモリを搭載した単一の GPU で済むほどリソースフットプリントが小さく、迅速にデプロイでき、コスト効率も高いため、迅速な機能検証に最適です。

• 本番環境: パフォーマンスとコストのバランスに基づいて評価します。DeepSeek-R1-Distill-Qwen-32B モデルは、効果とコストのバランスが優れています。より高いモデルパフォーマンスが必要な場合は、フルバージョンモデルを選択してください。これには、それぞれ 96 GB の GPU メモリを搭載した 8 台の GPU など、複数のハイエンド GPU が必要となり、コストが大幅に増加します。

以下の表は、モデルバージョンごとの最小構成と、インスタンスタイプおよび推論エンジンごとにサポートされる最大トークン数を示しています。

コストの内訳

パブリックリソースを使用するサービスは、インスタンスがプロビジョニングされてから停止または削除されるまで、分単位で課金されます。請求は 1 時間単位で精算されます。サービスがアイドル状態でも料金は発生します。サービスを停止すると、課金が停止します。

詳細については、「Elastic Algorithm Service (EAS) の課金」をご参照ください。

コスト管理

• 迅速なクリーンアップ：開発とテストの後は、コストを効果的に管理するため、サービスをすぐに [停止] または [削除] してください。

• 適切なモデルの選択：本番環境以外では、低コストの蒸留版モデルを優先してください。

• プリエンプティブルインスタンスの使用：本番環境以外のタスクでは、デプロイ時に プリエンプティブル モードを有効にできます。入札を成功させるには特定の条件を満たす必要があり、リソースが不安定になるリスクがある点に注意してください。

• 長期利用割引：長時間稼働する本番サービスでは、Savings Plan または前払いリソースを購入することで、コストを削減できます。

主なリスク

• 予期しないコスト：サービスの停止を忘れると課金が継続します。使用後は常にリソースをすぐにクリーンアップしてください。

• BladeLLM の出力の切り捨て：BladeLLM エンジンを使用する場合、API リクエストで max_tokens パラメーターを指定しないと、出力が 16 トークンに切り捨てられ、機能が想定どおりに動作しない可能性があります。

• 誤った API の使用：

  • DeepSeek-R1 シリーズモデルを呼び出すと、messages に system プロンプトを含めることで、予期しない動作が発生する可能性があります。

  • API リクエスト URL は、/v1/chat/completions などのパスで終わる必要があります。そうでない場合、404 エラーが返されます。

• リソース在庫：特定のリージョンで高性能 GPU リソースの在庫が限られていると、デプロイに失敗したり、待ち時間が長くなったりする場合があります。別のリージョンへの切り替えをお試しください。

推論エンジンの選定

サービスの待機スタック

考えられる原因は次のとおりです：

• 現在のリージョンでマシンリソースが不足しています。

• モデルが大きく、モデルの読み込みに時間がかかっています。DeepSeek-R1 や DeepSeek-V3 などの大規模モデルでは、20～30 分かかる場合があります。

しばらくお待ちください。長時間経過してもサービスが起動しない場合は、次の手順をお試しください：

1. タスク管理 > タスクのデプロイメント ページに移動し、デプロイジョブの詳細を確認します。右上隅で もっと見る > 詳細を見る をクリックして、PAI-EAS のモデルサービス詳細ページに移動し、サービスインスタンスのステータスを確認します。

   [Instance Status] 列に [Insufficient Inventory] と表示される場合、リソース不足によりインスタンスをスケジューリングできないことを意味します。

2. 現在のサービスを停止し、コンソール左上隅で別のリージョンに切り替えて、サービスを再度デプロイしてください。

   説明

   DeepSeek-R1 や DeepSeek-V3 などの非常に大きなパラメーターを持つモデルでは、サービスを起動するために 8 GPU が必要です (リソース在庫が逼迫しています)。DeepSeek-R1-Distill-Qwen-7B などの小規模な蒸留版モデルをデプロイすることも検討してください (リソース在庫が豊富です)。

API 呼び出しで 404 が返される

URL に v1/chat/completions などの OpenAI API サフィックスが追加されているか確認してください。詳細については、モデル紹介ページにある API 呼び出し手順をご参照ください。

vLLM のアクセラレーションデプロイを使用している場合は、会話 API のリクエストボディ内の model パラメーターに、正しいモデル名が設定されていることを確認してください。モデル名は v1/models から取得できます。

リクエストタイムアウト

デフォルトのゲートウェイのリクエストタイムアウトは 180 秒です。延長するには、専用ゲートウェイを設定し、チケットを起票してタイムアウトの調整を依頼してください。最大は 600 秒です。

「web search」機能がない

「web search」機能は、モデルサービスをデプロイするだけでは有効になりません。サービス上に別途 AI アプリケーション (Agent) を構築する必要があります。

モデルが思考をスキップする

DeepSeek-R1 モデルが思考プロセスを時々スキップする場合は、思考を強制する DeepSeek の更新済み chat テンプレートを使用してください：

1. 起動コマンドを変更します。

   サービス設定で JSON 設定を編集します。containers-script フィールドを変更し、--served-model-name DeepSeek-R1 の後ろに --chat-template /model_dir/template_force_thinking.jinja を追加します。

   すでにデプロイ済みのサービスの場合は、[モデルギャラリー] > タスク管理 > タスクのデプロイメント に移動し、デプロイ済みのサービスの名前をクリックしてから、右上隅の サービスの更新 をクリックして設定ページに移動します。

2. リクエストボディを変更します。各リクエストで、messages 配列の末尾に {"role": "assistant", "content": "<think>\n"} を追加します。

思考モードの無効化

DeepSeek-R1 シリーズモデルは、思考プロセスの無効化をサポートしていません。

マルチターン会話

モデルサービスは会話履歴を保存しません。クライアントアプリケーション側で履歴を保存し、後続のリクエストに含める必要があります。次の例は、SGLang を使用してデプロイしたサービスでのマルチターン会話を示しています。

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "Hello"
        },
        {
            "role": "assistant",
            "content": "Hello! I''m glad to see you. What can I help you with?"
        },
        {
            "role": "user",
            "content": "What was my previous question?"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions