Platform For AI:BladeLLM を使い始める

前提条件

• PAI がアクティブ化され、デフォルトのワークスペースが作成されていること。 詳細については、「PAI をアクティブ化してデフォルトワークスペースを作成する」をご参照ください。

• カスタムモデルをデプロイする場合、次の前提条件が満たされていることを確認してください。

  • モデルファイルと関連する構成ファイルが準備されていること。次の図は、モデルファイルの例を示しています。

    説明

    Qwen および Llama テキストモデルのみをデプロイでき、モデル構造は変更できません。

    

    config.json 構成ファイルを含める必要があります。 Huggingface モデル形式に基づいて config.json ファイルを構成する必要があります。 サンプルファイルの詳細については、「config.json」をご参照ください。

  • Object Storage Service (OSS) バケットが作成され、カスタムモデルファイルがアップロードされていること。 詳細については、「OSS コンソールを使用して開始する」をご参照ください。

制限事項

次の表は、BladeLLM エンジンを使用してサービスをデプロイする場合に適用される制限事項を示しています。

サービスをデプロイする

PAI は、BladeLLM エンジンを使用してサービスをデプロイするための次のデプロイ方法を提供します。 あらかじめ設定されたパブリックモデルまたは PAI でファインチューニングされたモデルを使用して、迅速なシナリオベースのデプロイメントを実装できます。 PAI は、特別な構成要件を持つユーザー向けに、カスタムデプロイメントと JSON デプロイメントもサポートしています。 ファインチューニングされたモデルを数回クリックするだけでデプロイできます。

サービスを呼び出す

実行状態のサービスをデプロイすると、サービスを呼び出してモデル推論を実行できます。

1. サービスのアクセスアドレスとトークンを表示します。

   1. Elastic Algorithm Service (EAS) ページで、目的のサービスを見つけ、[サービスタイプ] 列の [呼び出し方法] をクリックします。

   2. [呼び出し方法] ダイアログボックスで、サービスのアクセスアドレスとトークンを表示できます。

2. ターミナルで次のコードを実行してサービスを呼び出し、ストリーミングモードで生成されたテキストを取得します。

   # EAS サービスの呼び出し
   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: AUTH_TOKEN_FOR_EAS" \
       -d '{"prompt":"What is the capital of Canada?", "stream":"true"}' \
       <service_url>/v1/completions

   次のパラメーターに注意してください。

   • Authorization: サービスのトークン。

   • <service_url>: サービスのアクセスアドレス。

   応答例:

   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":" The"}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":1,"total_tokens":8},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":" capital"}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":2,"total_tokens":9},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":" of"}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":3,"total_tokens":10},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":" Canada"}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":4,"total_tokens":11},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":" is"}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":5,"total_tokens":12},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":" Ottawa"}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":6,"total_tokens":13},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"","index":0,"logprobs":null,"text":"."}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":7,"total_tokens":14},"error_info":null}
   
   data: {"id":"91f9a28a-f949-40fb-b720-08ceeeb2****","choices":[{"finish_reason":"stop","index":0,"logprobs":null,"text":""}],"object":"text_completion","usage":{"prompt_tokens":7,"completion_tokens":8,"total_tokens":15},"error_info":null}
   
   data: [DONE]