Alibaba Cloud Model Studio:OpenAI 互換 - バッチ（ファイル入力）

OpenAI Python SDK

import os
from pathlib import Path
from openai import OpenAI
import time

# クライアントの初期化
client = OpenAI(
    # 環境変数が設定されていない場合は、下記の行を api_key="sk-xxx" に置き換えてください。ただし、本番環境ではハードコーディングしないでください（漏洩リスクを低減するため）。
    # API キーはシンガポールと北京のリージョンで異なります。
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # シンガポールリージョンの base_url。北京の場合は: https://dashscope.aliyuncs.com/compatible-mode/v1
    base_url="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"  # Model Studio サービスの base_url
)

def upload_file(file_path):
    print(f"リクエスト情報を含む JSONL ファイルをアップロード中...")
    file_object = client.files.create(file=Path(file_path), purpose="batch")
    print(f"ファイルのアップロードが正常に完了しました。ファイル ID: {file_object.id}\n")
    return file_object.id

def create_batch_job(input_file_id):
    print(f"ファイル ID を基にバッチタスクを作成中...")
    # 注: ここで指定する endpoint パラメーターの値は、入力ファイル内の url フィールドと一致している必要があります。
    # テストモデル (batch-test-model) の場合は /v1/chat/ds-test を使用します。
    # テキスト埋め込みモデルの場合は /v1/embeddings を使用します。
    # その他のモデルの場合は /v1/chat/completions を使用します。
    batch = client.batches.create(input_file_id=input_file_id, endpoint="/v1/chat/ds-test", completion_window="24h")
    print(f"バッチタスクが作成されました。バッチタスク ID: {batch.id}\n")
    return batch.id

def check_job_status(batch_id):
    print(f"バッチタスクのステータスを確認中...")
    batch = client.batches.retrieve(batch_id=batch_id)
    print(f"バッチタスクのステータス: {batch.status}\n")
    return batch.status

def get_output_id(batch_id):
    print(f"バッチタスク内の成功したリクエストの出力ファイル ID を取得中...")
    batch = client.batches.retrieve(batch_id=batch_id)
    print(f"出力ファイル ID: {batch.output_file_id}\n")
    return batch.output_file_id

def get_error_id(batch_id):
    print(f"バッチタスク内の失敗したリクエストの出力ファイル ID を取得中...")
    batch = client.batches.retrieve(batch_id=batch_id)
    print(f"エラー ファイル ID: {batch.error_file_id}\n")
    return batch.error_file_id

def download_results(output_file_id, output_file_path):
    print(f"バッチタスクから成功したリクエストの結果を表示およびダウンロード中...")
    content = client.files.content(output_file_id)
    # テスト用に一部のコンテンツを表示
    print(f"成功したリクエストの結果の先頭 1,000 文字を表示: {content.text[:1000]}...\n")
    # 結果ファイルをローカルに保存
    content.write_to_file(output_file_path)
    print(f"完全な出力結果がローカルの出力ファイル result.jsonl に保存されました\n")

def download_errors(error_file_id, error_file_path):
    print(f"バッチタスクからリクエストの失敗情報を表示およびダウンロード中...")
    content = client.files.content(error_file_id)
    # テスト用に一部のコンテンツを表示
    print(f"リクエスト失敗情報の先頭 1,000 文字を表示: {content.text[:1000]}...\n")
    # エラー情報ファイルをローカルに保存
    content.write_to_file(error_file_path)
    print(f"完全なリクエスト失敗情報がローカルのエラー ファイル error.jsonl に保存されました\n")

def main():
    # ファイルパス
    input_file_path = "test_model.jsonl"  # 必要に応じて入力ファイルパスに置き換え可能
    output_file_path = "result.jsonl"  # 必要に応じて出力ファイルパスに置き換え可能
    error_file_path = "error.jsonl"  # 必要に応じてエラー ファイルパスに置き換え可能
    try:
        # ステップ 1: リクエスト情報を含む JSONL ファイルをアップロードし、入力ファイル ID を取得します
        input_file_id = upload_file(input_file_path)
        # ステップ 2: 入力ファイル ID を基にバッチタスクを作成します
        batch_id = create_batch_job(input_file_id)
        # ステップ 3: タスクが完了するまでステータスを確認します
        status = ""
        while status not in ["completed", "failed", "expired", "cancelled"]:
            status = check_job_status(batch_id)
            print(f"タスク完了を待機中...")
            time.sleep(10)  # 10 秒待機してから再度ステータスを照会
        # タスクが失敗した場合は、エラーメッセージを表示して終了します
        if status == "failed":
            batch = client.batches.retrieve(batch_id)
            print(f"バッチタスクが失敗しました。エラーメッセージ: {batch.errors}\n")
            print(f"詳細については、「エラーコード」をご参照ください: https://www.alibabacloud.com/help/zh/model-studio/developer-reference/error-code")
            return
        # ステップ 4: 結果のダウンロード: output_file_id が空でない場合は、成功したリクエストの結果の先頭 1,000 文字を表示し、完全な結果をローカル出力ファイルにダウンロードします。
        # error_file_id が空でない場合は、リクエスト失敗情報の先頭 1,000 文字を表示し、完全な情報をローカルエラー ファイルにダウンロードします。
        output_file_id = get_output_id(batch_id)
        if output_file_id:
            download_results(output_file_id, output_file_path)
        error_file_id = get_error_id(batch_id)
        if error_file_id:
            download_errors(error_file_id, error_file_path)
            print(f"詳細については、「エラーコード」をご参照ください: https://www.alibabacloud.com/help/zh/model-studio/developer-reference/error-code")
    except Exception as e:
        print(f"エラーが発生しました: {e}")
        print(f"詳細については、「エラーコード」をご参照ください: https://www.alibabacloud.com/help/zh/model-studio/developer-reference/error-code")

if __name__ == "__main__":
    main()

OpenAI Node.js SDK

/**
 * Model Studio バッチ API テスト - OpenAI Node.js SDK を使用
 *
 * 依存関係のインストール: npm install openai
 * 実行: node test-nodejs.js
 */

const OpenAI = require('openai');
const fs = require('fs');

// シンガポールリージョンの base_url
const BASE_URL = 'https://dashscope-intl.aliyuncs.com/compatible-mode/v1';
// 北京の場合は: const BASE_URL = 'https://dashscope.aliyuncs.com/compatible-mode/v1';

const apiKey = process.env.DASHSCOPE_API_KEY;
if (!apiKey) {
    console.error('エラー: 環境変数 DASHSCOPE_API_KEY を設定してください');
    process.exit(1);
}

// クライアントの初期化
const client = new OpenAI({
    apiKey: apiKey,
    baseURL: BASE_URL
});

async function sleep(ms) {
    return new Promise(resolve => setTimeout(resolve, ms));
}

async function main() {
    try {
        console.log('=== バッチ API テストを開始 ===\n');

        // ステップ 1: ファイルのアップロード
        console.log('ステップ 1: リクエスト情報を含む JSONL ファイルをアップロード中...');
        const fileStream = fs.createReadStream('test_model.jsonl');
        const fileObject = await client.files.create({
            file: fileStream,
            purpose: 'batch'
        });
        const fileId = fileObject.id;
        console.log(`✓ ファイルのアップロードが正常に完了しました。ファイル ID: ${fileId}\n`);

        // ステップ 2: バッチタスクの作成
        console.log('ステップ 2: バッチタスクを作成中...');
        const batch = await client.batches.create({
            input_file_id: fileId,
            endpoint: '/v1/chat/ds-test',  // テストモデルの場合、/v1/chat/ds-test を使用
            completion_window: '24h'
        });
        const batchId = batch.id;
        console.log(`✓ バッチタスクが正常に作成されました。タスク ID: ${batchId}\n`);

        // ステップ 3: タスクステータスのポーリング
        console.log('ステップ 3: タスク完了を待機中...');
        let status = batch.status;
        let pollCount = 0;
        let latestBatch = batch;

        while (!['completed', 'failed', 'expired', 'cancelled'].includes(status)) {
            await sleep(10000); // 10 秒待機
            latestBatch = await client.batches.retrieve(batchId);
            status = latestBatch.status;
            pollCount++;
            console.log(`  [${pollCount}] タスクステータス: ${status}`);
        }

        console.log(`\n✓ タスクが完了しました。最終ステータス: ${status}\n`);

        // ステップ 4: 結果の処理
        if (status === 'completed') {
            console.log('ステップ 4: 結果ファイルをダウンロード中...');

            // 成功した結果のダウンロード
            const outputFileId = latestBatch.output_file_id;
            if (outputFileId) {
                console.log(`  出力ファイル ID: ${outputFileId}`);
                const content = await client.files.content(outputFileId);
                const text = await content.text();
                console.log('\n--- 成功した結果（先頭 500 文字） ---');
                console.log(text.substring(0, Math.min(500, text.length)));
                console.log('...\n');
            }

            // エラー ファイル（該当する場合）のダウンロード
            const errorFileId = latestBatch.error_file_id;
            if (errorFileId) {
                console.log(`  エラー ファイル ID: ${errorFileId}`);
                const errorContent = await client.files.content(errorFileId);
                const errorText = await errorContent.text();
                console.log('\n--- エラー情報 ---');
                console.log(errorText);
            }

            console.log('\n=== テストが正常に完了しました ===');
        } else if (status === 'failed') {
            console.error('\n✗ バッチタスクが失敗しました');
            if (latestBatch.errors) {
                console.error('エラーメッセージ:', latestBatch.errors);
            }
            console.error('\nエラーコードのドキュメントをご参照ください: https://www.alibabacloud.com/help/zh/model-studio/developer-reference/error-code');
        } else {
            console.log(`\nタスクステータス: ${status}`);
        }

    } catch (error) {
        console.error('エラーが発生しました:', error.message);
        console.error(error);
    }
}

main();

Java（HTTP）

import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.util.Scanner;

/**
 * Model Studio バッチ API テスト - HTTP API を使用
 *
 * 前提条件:
 * 1. 環境変数 DASHSCOPE_API_KEY が設定されていること
 * 2. テストファイル test_model.jsonl（プロジェクトのルートディレクトリ内）が準備されていること
 *
 * リージョン構成:
 * - 北京リージョン: https://dashscope.aliyuncs.com/compatible-mode/v1
 * - シンガポールリージョン: https://dashscope-intl.aliyuncs.com/compatible-mode/v1
 */
public class BatchAPITest {

    // シンガポールリージョンの base_url
    private static final String BASE_URL = "https://dashscope-intl.aliyuncs.com/compatible-mode/v1";
    // 北京の場合は: private static final String BASE_URL = "https://dashscope.aliyuncs.com/compatible-mode/v1";

    private static String API_KEY;

    public static void main(String[] args) throws Exception {
        // API キーを環境変数から取得
        API_KEY = System.getenv("DASHSCOPE_API_KEY");
        if (API_KEY == null || API_KEY.isEmpty()) {
            System.err.println("エラー: 環境変数 DASHSCOPE_API_KEY を設定してください");
            System.exit(1);
        }

        System.out.println("=== バッチ API テストを開始 ===\n");

        try {
            // ステップ 1: ファイルのアップロード
            System.out.println("ステップ 1: リクエスト情報を含む JSONL ファイルをアップロード中...");
            String fileId = uploadFile("test_model.jsonl");
            System.out.println("✓ ファイルのアップロードが正常に完了しました。ファイル ID: " + fileId + "\n");

            // ステップ 2: バッチタスクの作成
            System.out.println("ステップ 2: バッチタスクを作成中...");
            String batchId = createBatch(fileId);
            System.out.println("✓ バッチタスクが正常に作成されました。タスク ID: " + batchId + "\n");

            // ステップ 3: タスクステータスのポーリング
            System.out.println("ステップ 3: タスク完了を待機中...");
            String status = "";
            int pollCount = 0;

            while (!isTerminalStatus(status)) {
                Thread.sleep(10000); // 10 秒待機
                String batchInfo = getBatch(batchId);
                status = parseStatus(batchInfo);
                pollCount++;
                System.out.println("  [" + pollCount + "] タスクステータス: " + status);

                // ステップ 4: 完了した場合、結果をダウンロード
                if ("completed".equals(status)) {
                    System.out.println("\n✓ タスクが完了しました！\n");
                    System.out.println("ステップ 4: 結果ファイルをダウンロード中...");

                    String outputFileId = parseOutputFileId(batchInfo);
                    if (outputFileId != null && !outputFileId.isEmpty()) {
                        System.out.println("  出力ファイル ID: " + outputFileId);
                        String content = getFileContent(outputFileId);
                        System.out.println("\n--- 成功した結果（先頭 500 文字） ---");
                        System.out.println(content.substring(0, Math.min(500, content.length())));
                        System.out.println("...\n");
                    }

                    String errorFileId = parseErrorFileId(batchInfo);
                    if (errorFileId != null && !errorFileId.isEmpty() && !"null".equals(errorFileId)) {
                        System.out.println("  エラー ファイル ID: " + errorFileId);
                        String errorContent = getFileContent(errorFileId);
                        System.out.println("\n--- エラー情報 ---");
                        System.out.println(errorContent);
                    }

                    System.out.println("\n=== テストが正常に完了しました ===");
                    break;
                } else if ("failed".equals(status)) {
                    System.err.println("\n✗ バッチタスクが失敗しました");
                    System.err.println("タスク情報: " + batchInfo);
                    System.err.println("\nエラーコードのドキュメントをご参照ください: https://www.alibabacloud.com/help/zh/model-studio/developer-reference/error-code");
                    break;
                } else if ("expired".equals(status) || "cancelled".equals(status)) {
                    System.out.println("\nタスクステータス: " + status);
                    break;
                }
            }

        } catch (Exception e) {
            System.err.println("エラーが発生しました: " + e.getMessage());
            e.printStackTrace();
        }
    }

    /**
     * ファイルのアップロード
     */
    private static String uploadFile(String filePath) throws Exception {
        String boundary = "----WebKitFormBoundary" + System.currentTimeMillis();
        URL url = new URL(BASE_URL + "/files");
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setDoOutput(true);
        conn.setRequestMethod("POST");
        conn.setRequestProperty("Authorization", "Bearer " + API_KEY);
        conn.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);

        try (DataOutputStream out = new DataOutputStream(conn.getOutputStream())) {
            // purpose フィールドの追加
            out.writeBytes("--" + boundary + "\r\n");
            out.writeBytes("Content-Disposition: form-data; name=\"purpose\"\r\n\r\n");
            out.writeBytes("batch\r\n");

            // ファイルの追加
            out.writeBytes("--" + boundary + "\r\n");
            out.writeBytes("Content-Disposition: form-data; name=\"file\"; filename=\"" + filePath + "\"\r\n");
            out.writeBytes("Content-Type: application/octet-stream\r\n\r\n");

            byte[] fileBytes = Files.readAllBytes(Paths.get(filePath));
            out.write(fileBytes);
            out.writeBytes("\r\n");
            out.writeBytes("--" + boundary + "--\r\n");
        }

        String response = readResponse(conn);
        return parseField(response, "\"id\":\\s*\"([^\"]+)\"");
    }

    /**
     * バッチタスクの作成
     */
    private static String createBatch(String fileId) throws Exception {
        String jsonBody = String.format(
            "{\"input_file_id\":\"%s\",\"endpoint\":\"/v1/chat/ds-test\",\"completion_window\":\"24h\"}",
            fileId
        );

        String response = sendRequest("POST", "/batches", jsonBody);
        return parseField(response, "\"id\":\\s*\"([^\"]+)\"");
    }

    /**
     * バッチタスク情報の取得
     */
    private static String getBatch(String batchId) throws Exception {
        return sendRequest("GET", "/batches/" + batchId, null);
    }

    /**
     * ファイルコンテンツの取得
     */
    private static String getFileContent(String fileId) throws Exception {
        return sendRequest("GET", "/files/" + fileId + "/content", null);
    }

    /**
     * HTTP リクエストの送信
     */
    private static String sendRequest(String method, String path, String jsonBody) throws Exception {
        URL url = new URL(BASE_URL + path);
        HttpURLConnection conn = (HttpURLConnection) url.openConnection();
        conn.setRequestMethod(method);
        conn.setRequestProperty("Authorization", "Bearer " + API_KEY);

        if (jsonBody != null) {
            conn.setDoOutput(true);
            conn.setRequestProperty("Content-Type", "application/json");
            try (OutputStream os = conn.getOutputStream()) {
                os.write(jsonBody.getBytes("UTF-8"));
            }
        }

        return readResponse(conn);
    }

    /**
     * レスポンスの読み取り
     */
    private static String readResponse(HttpURLConnection conn) throws Exception {
        int responseCode = conn.getResponseCode();
        InputStream is = (responseCode < 400) ? conn.getInputStream() : conn.getErrorStream();

        try (Scanner scanner = new Scanner(is, "UTF-8").useDelimiter("\\A")) {
            return scanner.hasNext() ? scanner.next() : "";
        }
    }

    /**
     * JSON フィールドの解析（簡易実装）
     */
    private static String parseField(String json, String regex) {
        java.util.regex.Pattern pattern = java.util.regex.Pattern.compile(regex);
        java.util.regex.Matcher matcher = pattern.matcher(json);
        return matcher.find() ? matcher.group(1) : null;
    }

    private static String parseStatus(String json) {
        return parseField(json, "\"status\":\\s*\"([^\"]+)\"");
    }

    private static String parseOutputFileId(String json) {
        return parseField(json, "\"output_file_id\":\\s*\"([^\"]+)\"");
    }

    private static String parseErrorFileId(String json) {
        return parseField(json, "\"error_file_id\":\\s*\"([^\"]+)\"");
    }

    /**
     * ステータスが終了状態かどうかを確認
     */
    private static boolean isTerminalStatus(String status) {
        return "completed".equals(status)
            || "failed".equals(status)
            || "expired".equals(status)
            || "cancelled".equals(status);
    }
}

curl（HTTP）

#!/bin/bash
# Model Studio バッチ API テスト - curl を使用
#
# 前提条件:
# 1. 環境変数 DASHSCOPE_API_KEY が設定されていること
# 2. テストファイル test_model.jsonl（現在のディレクトリ内）が準備されていること
#
# リージョン構成:
# - 北京リージョン: https://dashscope.aliyuncs.com/compatible-mode/v1
# - シンガポールリージョン: https://dashscope-intl.aliyuncs.com/compatible-mode/v1

API_KEY="${DASHSCOPE_API_KEY}"
BASE_URL="https://dashscope-intl.aliyuncs.com/compatible-mode/v1"

# 北京の場合は: BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"

# API キーの確認
if [ -z "$API_KEY" ]; then
    echo "エラー: 環境変数 DASHSCOPE_API_KEY を設定してください"
    exit 1
fi

echo "=== バッチ API テストを開始 ==="
echo ""

# ステップ 1: ファイルのアップロード
echo "ステップ 1: リクエスト情報を含む JSONL ファイルをアップロード中..."
UPLOAD_RESPONSE=$(curl -s -X POST "${BASE_URL}/files" \
  -H "Authorization: Bearer ${API_KEY}" \
  -F 'file=@test_model.jsonl' \
  -F 'purpose=batch')

FILE_ID=$(echo $UPLOAD_RESPONSE | grep -o '"id":"[^"]*"' | head -1 | cut -d'"' -f4)
echo "✓ ファイルのアップロードが正常に完了しました。ファイル ID: ${FILE_ID}"
echo ""

# ステップ 2: バッチタスクの作成
echo "ステップ 2: バッチタスクを作成中..."
BATCH_RESPONSE=$(curl -s -X POST "${BASE_URL}/batches" \
  -H "Authorization: Bearer ${API_KEY}" \
  -H "Content-Type: application/json" \
  -d "{\"input_file_id\":\"${FILE_ID}\",\"endpoint\":\"/v1/chat/ds-test\",\"completion_window\":\"24h\"}")

BATCH_ID=$(echo $BATCH_RESPONSE | grep -o '"id":"[^"]*"' | head -1 | cut -d'"' -f4)
echo "✓ バッチタスクが正常に作成されました。タスク ID: ${BATCH_ID}"
echo ""

# ステップ 3: タスクステータスのポーリング
echo "ステップ 3: タスク完了を待機中..."
STATUS=""
POLL_COUNT=0

while [[ "$STATUS" != "completed" && "$STATUS" != "failed" && "$STATUS" != "expired" && "$STATUS" != "cancelled" ]]; do
    sleep 10
    BATCH_INFO=$(curl -s -X GET "${BASE_URL}/batches/${BATCH_ID}" \
      -H "Authorization: Bearer ${API_KEY}")
    STATUS=$(echo $BATCH_INFO | grep -o '"status":"[^"]*"' | cut -d'"' -f4)
    POLL_COUNT=$((POLL_COUNT + 1))
    echo "  [${POLL_COUNT}] タスクステータス: ${STATUS}"
done

echo ""
echo "✓ タスクが完了しました。最終ステータス: ${STATUS}"
echo ""

# ステップ 4: 結果のダウンロード
if [[ "$STATUS" == "completed" ]]; then
    echo "ステップ 4: 結果ファイルをダウンロード中..."

    OUTPUT_FILE_ID=$(echo $BATCH_INFO | grep -o '"output_file_id":"[^"]*"' | cut -d'"' -f4)
    if [[ -n "$OUTPUT_FILE_ID" && "$OUTPUT_FILE_ID" != "null" ]]; then
        echo "  出力ファイル ID: ${OUTPUT_FILE_ID}"

        RESULT_CONTENT=$(curl -s -X GET "${BASE_URL}/files/${OUTPUT_FILE_ID}/content" \
          -H "Authorization: Bearer ${API_KEY}")

        echo ""
        echo "--- 成功した結果（先頭 500 文字） ---"
        echo "${RESULT_CONTENT:0:500}"
        echo "..."
        echo ""
    fi

    ERROR_FILE_ID=$(echo $BATCH_INFO | grep -o '"error_file_id":"[^"]*"' | cut -d'"' -f4)
    if [[ -n "$ERROR_FILE_ID" && "$ERROR_FILE_ID" != "null" ]]; then
        echo "  エラー ファイル ID: ${ERROR_FILE_ID}"

        ERROR_CONTENT=$(curl -s -X GET "${BASE_URL}/files/${ERROR_FILE_ID}/content" \
          -H "Authorization: Bearer ${API_KEY}")

        echo ""
        echo "--- エラー情報 ---"
        echo "${ERROR_CONTENT}"
    fi

    echo ""
    echo "=== テストが正常に完了しました ==="
elif [[ "$STATUS" == "failed" ]]; then
    echo ""
    echo "✗ バッチタスクが失敗しました"
    echo "タスク情報: ${BATCH_INFO}"
    echo ""
    echo "エラーコードのドキュメントをご参照ください: https://www.alibabacloud.com/help/zh/model-studio/developer-reference/error-code"
else
    echo ""
    echo "タスクステータス: ${STATUS}"
fi

OpenAI Python SDK

import os
from openai import OpenAI

client = OpenAI(
    # 環境変数が設定されていない場合は、api_key="sk-xxx" を使用（本番環境では漏洩リスクを避けるため使用しないでください）。
    # API キーはリージョンによって異なります。
    api_key=os.getenv("DASHSCOPE_API_KEY"), 
    # 北京リージョンの base_url。シンガポールの場合は: https://dashscope-intl.aliyuncs.com/compatible-mode/v1 および API キーの更新。
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

batch = client.batches.create(
    input_file_id="file-batch-xxx",  # ファイルアップロード後に返される ID
    endpoint="/v1/chat/completions",  # テキスト埋め込みモデルの場合は "/v1/embeddings" を入力。テストモデル batch-test-model の場合は /v1/chat/ds-test を入力。その他のモデルの場合は /v1/chat/completions を入力。
    completion_window="24h", 
    metadata={
            "ds_batch_finish_callback": "https://xxx/xxx"
          }
)
print(batch)

curl（HTTP）

curl -X POST --location "https://dashscope.aliyuncs.com/compatible-mode/v1/batches" \
    -H "Authorization: Bearer $DASHSCOPE_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
          "input_file_id": "file-batch-xxxxx",
          "endpoint": "/v1/chat/completions",
          "completion_window": "24h",
          "metadata": {
            "ds_batch_finish_callback": "https://xxx/xxx"
          }
        }'