Alibaba Cloud Model Studio:OpenAI 互換 - バッチ

正式なバッチジョブを開始する前に、テストモデル batch-test-model を使用してフルリンクのクローズドループテストを実行できます。このテストには、入力データの検証、ジョブの作成、ジョブの照会、および結果ファイルのダウンロードが含まれます。注：

• テストファイルは入力ファイルの要件を満たす必要があります。また、サイズが 1 MB を超えたり、行数が 100 行を超えたりしてはなりません。

• 同時実行数制限：最大 2 つの並列ジョブ。

• リソース使用量：テストモデルは推論プロセスを経由しないため、モデル推論料金は発生しません。

手順は以下の通りです：

1. テストファイルの準備

   • リクエスト情報を含むサンプルファイル test_model.jsonl をローカルマシンにダウンロードします。以下の Python スクリプトと同じディレクトリにあることを確認してください。

   • サンプルコンテンツ: model パラメーターには batch-test-model を、url パラメーターには /v1/chat/ds-test を設定します。

     {"custom_id":"1","method":"POST","url":"/v1/chat/ds-test","body":{"model":"batch-test-model","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello! How can I help you?"}]}}
     {"custom_id":"2","method":"POST","url":"/v1/chat/ds-test","body":{"model":"batch-test-model","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

2. スクリプトの実行

   • この Python スクリプトを実行します。

     ファイルパスやその他のパラメーターを調整するには、必要に応じてコードを修正できます。

     import os
     from pathlib import Path
     from openai import OpenAI
     import time
     
     # クライアントを初期化します
     client = OpenAI(
         # 環境変数を設定していない場合は、次の行を api_key="sk-xxx" に置き換えて、ご自身の Model Studio API キーを使用できます。ただし、漏洩のリスクを減らすため、本番環境では API キーをコードにハードコーディングすることは推奨しません。
         # シンガポールリージョンと北京リージョンの API キーは異なります。API キーを取得するには、https://www.alibabacloud.com/help/model-studio/get-api-key をご参照ください
         api_key=os.getenv("DASHSCOPE_API_KEY"),
         # 以下はシンガポールリージョンの base_url です。北京リージョンのモデルを使用する場合は、base_url を https://dashscope.aliyuncs.com/compatible-mode/v1 に置き換えてください
         base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"  # Alibaba Cloud Model Studio サービスの base_url
     )
     
     def upload_file(file_path):
         print(f"Uploading the JSONL file that contains request information...")
         file_object = client.files.create(file=Path(file_path), purpose="batch")
         print(f"File uploaded successfully. File ID: {file_object.id}\n")
         return file_object.id
     
     def create_batch_job(input_file_id):
         print(f"Creating a batch job based on the file ID...")
         # 注：ここの endpoint パラメーターの値は、入力ファイルの url フィールドと同じでなければなりません。テストモデル (batch-test-model) の場合は /v1/chat/ds-test を、テキスト埋め込みモデルの場合は /v1/embeddings を、その他のモデルの場合は /v1/chat/completions を入力します。
         batch = client.batches.create(input_file_id=input_file_id, endpoint="/v1/chat/ds-test", completion_window="24h")
         print(f"Batch job created successfully. Batch job ID: {batch.id}\n")
         return batch.id
     
     def check_job_status(batch_id):
         print(f"Checking the batch job status...")
         batch = client.batches.retrieve(batch_id=batch_id)
         print(f"Batch job status: {batch.status}\n")
         return batch.status
     
     def get_output_id(batch_id):
         print(f"Getting the output file ID for successful requests in the batch job...")
         batch = client.batches.retrieve(batch_id=batch_id)
         print(f"Output file ID: {batch.output_file_id}\n")
         return batch.output_file_id
     
     def get_error_id(batch_id):
         print(f"Getting the error file ID for failed requests in the batch job...")
         batch = client.batches.retrieve(batch_id=batch_id)
         print(f"Error file ID: {batch.error_file_id}\n")
         return batch.error_file_id
     
     def download_results(output_file_id, output_file_path):
         print(f"Printing and downloading the results of successful requests from the batch job...")
         content = client.files.content(output_file_id)
         # テスト用に一部のコンテンツを出力します
         print(f"Printing the first 1,000 characters of the successful results: {content.text[:1000]}...\n")
         # 結果ファイルをローカルマシンに保存します
         content.write_to_file(output_file_path)
         print(f"The complete output results have been saved to the local output file result.jsonl\n")
     
     def download_errors(error_file_id, error_file_path):
         print(f"Printing and downloading the information for failed requests from the batch job...")
         content = client.files.content(error_file_id)
         # テスト用に一部のコンテンツを出力します
         print(f"Printing the first 1,000 characters of the failed request information: {content.text[:1000]}...\n")
         # エラー情報ファイルをローカルマシンに保存します
         content.write_to_file(error_file_path)
         print(f"The complete failed request information has been saved to the local error file error.jsonl\n")
     
     def main():
         # ファイルパス
         input_file_path = "test_model.jsonl"  # ご自身の入力ファイルパスに置き換えてください
         output_file_path = "result.jsonl"  # ご自身の出力ファイルパスに置き換えてください
         error_file_path = "error.jsonl"  # ご自身のエラーファイルパスに置き換えてください
         try:
             # ステップ 1：リクエスト情報を含む JSONL ファイルをアップロードして、入力ファイル ID を取得します
             input_file_id = upload_file(input_file_path)
             # ステップ 2：入力ファイル ID に基づいてバッチジョブを作成します
             batch_id = create_batch_job(input_file_id)
             # ステップ 3：バッチジョブが完了するまでステータスを確認します
             status = ""
             while status not in ["completed", "failed", "expired", "cancelled"]:
                 status = check_job_status(batch_id)
                 print(f"Waiting for the job to complete...")
                 time.sleep(10)  # 10 秒待ってから再度ステータスを確認します
             # ジョブが失敗した場合は、エラーメッセージを出力して終了します
             if status == "failed":
                 batch = client.batches.retrieve(batch_id)
                 print(f"Batch job failed. Error information: {batch.errors}\n")
                 print(f"詳細については、エラーコードのドキュメント https://www.alibabacloud.com/help/model-studio/developer-reference/error-code をご参照ください")
                 return
             # ステップ 4：結果をダウンロードします。出力ファイル ID が存在する場合、成功した結果の最初の 1,000 文字を出力し、完全な結果をローカルの出力ファイルにダウンロードします。
             # エラーファイル ID が存在する場合、失敗したリクエスト情報の最初の 1,000 文字を出力し、完全な情報をローカルのエラーファイルにダウンロードします。
             output_file_id = get_output_id(batch_id)
             if output_file_id:
                 download_results(output_file_id, output_file_path)
             error_file_id = get_error_id(batch_id)
             if error_file_id:
                 download_errors(error_file_id, error_file_path)
                 print(f"詳細については、エラーコードのドキュメント https://www.alibabacloud.com/help/model-studio/developer-reference/error-code をご参照ください")
         except Exception as e:
             print(f"An error occurred: {e}")
             print(f"詳細については、エラーコードのドキュメント https://www.alibabacloud.com/help/model-studio/developer-reference/error-code をご参照ください")
     
     if __name__ == "__main__":
         main()

3. テスト結果の検証

   • ジョブのステータスに completed と表示されます。

   • 結果ファイル result.jsonl：修正された応答 {"content":"This is a test result."} が含まれています。

     {"id":"a2b1ae25-21f4-4d9a-8634-99a29926486c","custom_id":"1","response":{"status_code":200,"request_id":"a2b1ae25-21f4-4d9a-8634-99a29926486c","body":{"created":1743562621,"usage":{"completion_tokens":6,"prompt_tokens":20,"total_tokens":26},"model":"batch-test-model","id":"chatcmpl-bca7295b-67c3-4b1f-8239-d78323bb669f","choices":[{"finish_reason":"stop","index":0,"message":{"content":"This is a test result."}}],"object":"chat.completion"}},"error":null}
     {"id":"39b74f09-a902-434f-b9ea-2aaaeebc59e0","custom_id":"2","response":{"status_code":200,"request_id":"39b74f09-a902-434f-b9ea-2aaaeebc59e0","body":{"created":1743562621,"usage":{"completion_tokens":6,"prompt_tokens":20,"total_tokens":26},"model":"batch-test-model","id":"chatcmpl-1e32a8ba-2b69-4dc4-be42-e2897eac9e84","choices":[{"finish_reason":"stop","index":0,"message":{"content":"This is a test result."}}],"object":"chat.completion"}},"error":null}

     エラーが発生した場合は、「エラーメッセージ」を参照して解決してください。

テストを検証した後、以下の手順に従って正式なバッチジョブを実行できます。

1. 入力ファイルの要件に従って入力ファイルを準備します。ファイル内の model パラメーターをサポートされているモデルに設定し、url パラメーターを次のように設定します：/v1/chat/completions

2. 上記の Python スクリプトの endpoint を置き換えます。

   重要

   スクリプト内の endpoint が入力ファイル内の url パラメーターと一致していることを確認してください。

3. スクリプトを実行し、ジョブが完了するまで待ちます。ジョブが成功した場合、同じディレクトリに result.jsonl という出力ファイルが生成されます。

   ジョブが失敗した場合、プログラムは終了し、エラーメッセージが表示されます。

   エラーファイル ID が存在する場合、確認用に同じディレクトリに error.jsonl という名前のエラーファイルが生成されます。

   プロセス中に発生した例外はキャッチされ、エラーメッセージが表示されます。

{"custom_id":"1","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"Hello!"}]}}
{"custom_id":"2","method":"POST","url":"/v1/chat/completions","body":{"model":"qwen-plus","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is 2+2?"}]}}

入力パラメーターの設定

レスポンス例

詳細については、「バッチジョブの作成」のレスポンス例をご参照ください。

レスポンスパラメーター

詳細については、「バッチジョブの作成」のレスポンスパラメーターをご参照ください。

レスポンスパラメーターの output_file_id と error_file_id の内容は、「バッチ結果ファイルのダウンロード」の手順で取得できます。

入力パラメーターの設定

{
  "object": "list",
  "data": [
    {
      "id": "batch_xxx",
      "object": "batch",
      "endpoint": "/v1/chat/completions",
      "errors": null,
      "input_file_id": "file-batch-xxx",
      "completion_window": "24h",
      "status": "completed",
      "output_file_id": "file-batch_output-xxx",
      "error_file_id": null,
      "created_at": 1722234109,
      "in_progress_at": 1722234109,
      "expires_at": null,
      "finalizing_at": 1722234165,
      "completed_at": 1722234165,
      "failed_at": null,
      "expired_at": null,
      "cancelling_at": null,
      "cancelled_at": null,
      "request_counts": {
        "total": 100,
        "completed": 95,
        "failed": 5
      },
      "metadata": {}
    },
    { ... }
  ],
  "first_id": "batch_xxx",
  "last_id": "batch_xxx",
  "has_more": true
}

入力パラメーターの設定

レスポンス例

詳細については、「バッチジョブの作成」のレスポンス例をご参照ください。

レスポンスパラメーター

詳細については、「バッチジョブの作成」のレスポンスパラメーターをご参照ください。