Alibaba Cloud Model Studio:API または CLI を使用したファインチューニング

SFT トレーニングセット

SFT ChatML (Chat Markup Language) フォーマットのトレーニングデータは、マルチターン対話とさまざまなロール設定をサポートします。

OpenAI の name および weight パラメーターはサポートされていません。すべてのアシスタントの出力がトレーニングされます。

# トレーニングデータの 1 行 (JSON 形式) を展開すると、一般的な構造は次のようになります:
{"messages": [
  {"role": "system", "content": "システム入力 1"},
  {"role": "user", "content": "ユーザー入力 1"},
  {"role": "assistant", "content": "期待されるモデル出力 1"},
  {"role": "user", "content": "ユーザー入力 2"},
  {"role": "assistant", "content": "期待されるモデル出力 2"}
  ...
]}

system、user、assistant の違いについては、概要をご参照ください。トレーニングデータセットのサンプル：SFT-ChatML_format_example.jsonl、SFT-ChatML_format_example.xlsx。XLS および XLSX フォーマットは、シングルターンの対話のみをサポートします。

単一のトレーニングデータ入力におけるすべてのアシスタント行は、"loss_weight" パラメーターをサポートしており、これによりトレーニング中のその行の相対的な重要度を設定します。(有効値：0.0 から 1.0。値が大きいほど重要度が高くなります。)

このパラメーターは招待プレビューで利用可能です。使用するには、アカウントマネージャーにお問い合わせください。

 {"role": "assistant", "content": "期待されるモデル出力 1", "loss_weight": 1.0},
 {"role": "assistant", "content": "期待されるモデル出力 2", "loss_weight": 0.5}

OpenAI 互換 Files API

import os
from pathlib import Path
from openai import OpenAI

client = OpenAI(
    # 環境変数を設定していない場合は、次の行を api_key="sk-xxx" に置き換え、Model Studio API キーを使用してください。
    # シンガポールリージョンと中国 (北京) リージョンの API キーは異なります。API キーの取得：https://www.alibabacloud.com/help/model-studio/get-api-key
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    # 以下はシンガポールリージョンの URL です。中国 (北京) リージョンのサービスを使用する場合は、URL を https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1 に置き換えてください。
    base_url="https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1",
)

# test.jsonl はローカルのサンプルファイルです。
file_object = client.files.create(file=Path("test.jsonl"), purpose="fine-tune")

print(file_object.model_dump_json())

import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.files.*;

import java.nio.file.Path;
import java.nio.file.Paths;

public class Main {
    public static void main(String[] args) {
        // クライアントを作成し、環境変数から API キーを使用します。
        OpenAIClient client = OpenAIOkHttpClient.builder()
                // シンガポールリージョンと中国 (北京) リージョンの API キーは異なります。API キーの取得：https://www.alibabacloud.com/help/model-studio/get-api-key
                .apiKey(System.getenv("DASHSCOPE_API_KEY"))
                // 以下はシンガポールリージョンの URL です。中国 (北京) リージョンのサービスを使用する場合は、URL を https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1 に置き換えてください。
                .baseUrl("https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1")
                .build();
        // ファイルパスを設定します。必要に応じてパスとファイル名を変更してください。
        Path filePath = Paths.get("src/main/java/org/example/test.txt");
        // ファイルアップロードパラメーターを作成します。
        FileCreateParams params = FileCreateParams.builder()
                .file(filePath)
                .purpose(FilePurpose.of("fine-tune"))
                .build();

        // ファイルをアップロードします。
        FileObject fileObject = client.files().create(params);
        System.out.println(fileObject);
    }
}

# ======= 重要 =======
# シンガポールリージョンと中国 (北京) リージョンの API キーは異なります。API キーの取得：https://www.alibabacloud.com/help/model-studio/get-api-key
# 以下はシンガポールリージョンの URL です。中国 (北京) リージョンのサービスを使用する場合は、URL を https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1/files に置き換えてください。
# === 実行前にこのコメントを削除してください ===

curl -X POST https://{WorkspaceId}.ap-southeast-1.maas.aliyuncs.com/compatible-mode/v1/files \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'file=@"test.jsonl"' \
--form 'purpose="fine-tune"'

HTTP

Windows CMD の場合は、${DASHSCOPE_API_KEY} を %DASHSCOPE_API_KEY% に置き換えてください。PowerShell の場合は、$env:DASHSCOPE_API_KEY を使用してください。

curl --location "https://dashscope.aliyuncs.com/api/v1/fine-tunes" \
--header "Authorization: Bearer ${DASHSCOPE_API_KEY}" \
--header 'Content-Type: application/json' \
--data '{
    "model":"qwen3-8b",
    "training_file_ids":[
        "<your_training_file_id_1>",
        "<your_training_file_id_2>"
    ],
    "hyper_parameters":
    {
        "n_epochs": 3,
        "batch_size": 16,
        "max_length": 8192,
        "learning_rate": "1.6e-5",
        "lr_scheduler_type": "linear",
        "split": 0.9,
        "warmup_ratio": 0.05,
        "eval_steps": 50,
        "data_augmentation": true,
        "augmentation_ratio": "0.1,0.05,0.15",
        "augmentation_types": "dialogue_CN,general_purpose_CN,NLP",
        "save_strategy": "epoch",
        "save_total_limit": 10
    },
    "training_type":"sft"
}'

パラメーター

応答

{
    "request_id": "635f7047-003e-4be3-b1db-6f98e239f57b",
    "output":
    {
        "job_id": "ft-202511272033-8ae7",
        "job_name": "ft-202511272033-8ae7",
        "status": "PENDING",
        "finetuned_output": "qwen3-8b-ft-202511272033-8ae7",
        "model": "qwen3-8b",
        "base_model": "qwen3-8b",
        "training_file_ids":
        [
            "9e9ffdfa-c3bf-436e-9613-6f053c66aa6e"
        ],
        "validation_file_ids":
        [],
        "hyper_parameters":
        {
            "n_epochs": 3,
            "batch_size": 16,
            "max_length": 8192,
            "learning_rate": "1.6e-5",
            "lr_scheduler_type": "linear",
            "split": 0.9,
            "warmup_ratio": 0.05,
            "eval_steps": 50,
            "data_augmentation": true,
            "augmentation_ratio": "0.1,0.05,0.15",
            "augmentation_types": "dialogue_CN,general_purpose_CN,NLP",
            "save_strategy": "epoch",
            "save_total_limit": 10
        },
        "training_type": "sft",
        "create_time": "2025-11-27 20:33:15",
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "user_identity": "1654290265984853",
        "modifier": "1654290265984853",
        "creator": "1654290265984853",
        "group": "llm",
        "max_output_cnt": 10
    }
}

HTTP

curl 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<job_id>' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

リクエストパラメーター

成功応答

{
    "request_id": "d100cddb-ac85-4c82-bd5c-9b5421c5e94d",
    "output":
    {
        "job_id": "ft-202511272033-8ae7",
        "job_name": "ft-202511272033-8ae7",
        "status": "RUNNING",
        "finetuned_output": "qwen3-8b-ft-202511272033-8ae7",
        "model": "qwen3-8b",
        "base_model": "qwen3-8b",
        "training_file_ids":
        [
            "9e9ffdfa-c3bf-436e-9613-6f053c66aa6e"
        ],
        "validation_file_ids":
        [],
        "hyper_parameters":
        {
            "n_epochs": 3,
            "batch_size": 16,
            "max_length": 8192,
            "learning_rate": "1.6e-5",
            "lr_scheduler_type": "linear",
            "split": 0.9,
            "warmup_ratio": 0.05,
            "eval_steps": 50,
            "data_augmentation": true,
            "augmentation_ratio": "0.1,0.05,0.15",
            "augmentation_types": "dialogue_CN,general_purpose_CN,NLP",
            "save_strategy": "epoch",
            "save_total_limit": 10
        },
        "training_type": "sft",
        "create_time": "2025-11-27 20:33:15",
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "user_identity": "1654290265984853",
        "modifier": "1654290265984853",
        "creator": "1654290265984853",
        "group": "llm",
        "max_output_cnt": 10
    }
}

HTTP

curl 'https://dashscope.aliyuncs.com/api/v1/fine-tunes/<job_id>/logs?offset=0&line=1000' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

offset (開始行) と line (返す最大行数) を使用して、ログ出力をページ分割します。

応答のサンプル：

{
    "request_id":"1100d073-4673-47df-aed8-c35b3108e968",
    "output":{
        "total":57,
        "logs":[
            "{ファインチューニングログ 1}",
            "{ファインチューニングログ 2}",
            ...
            ...
            ...
        ]
    }
}