:Qwen のファインチューニング

SFT トレーニングセット

SFT では、マルチターン対話と複数のロール設定をサポートする Chat Markup Language (ChatML) 形式の訓練データを使用します。

OpenAI の name パラメーターおよび weight パラメーターはサポートされていません。すべてのアシスタント出力が訓練対象となります。

# 訓練データの 1 行（JSON 形式）。展開した場合の典型的な構造は次のとおりです。
{"messages": [
  {"role": "system", "content": "システム入力 1"}, 
  {"role": "user", "content": "ユーザー入力 1"}, 
  {"role": "assistant", "content": "期待されるモデル出力 1"}, 
  {"role": "user", "content": "ユーザー入力 2"}, 
  {"role": "assistant", "content": "期待されるモデル出力 2"}
  ...
]}

system、user、assistant ロールの詳細については、「テキスト生成モデルの概要」をご参照ください。訓練セットのサンプル：SFT-ChatML_format_example.jsonl および SFT-ChatML_format_example.xlsx。XLS および XLSX 形式は、シングルターン対話のみをサポートします。

1 つの訓練エントリにおいて、すべての assistant 行は、訓練中の相対的な重要度を設定する "loss_weight" パラメーターをサポートします。有効値の範囲は 0.0 ～ 1.0 です。値が高いほど重要度が高くなります。

このパラメーターは招待プレビュー段階です。使用するには、アカウントマネージャーにお問い合わせください。

 {"role": "assistant", "content": "期待されるモデル出力 1", "loss_weight": 1.0}, 
 {"role": "assistant", "content": "期待されるモデル出力 2", "loss_weight": 0.5}

思考モデル向け SFT

訓練データはマルチターン対話と複数のロール設定をサポートしますが、最終的なアシスタント出力のみが訓練対象となります。

\n 文字は think タグの前後に必ず保持してください。

# 訓練データの 1 行（JSON 形式）。展開した場合の典型的な構造は次のとおりです。
{"messages": [
  {"role": "system", "content": "システム入力 1"}, 
  {"role": "user", "content": "ユーザー入力 1"}, 
  {"role": "assistant", "content": "モデル出力 1"}, --中間のアシスタント出力には <think> タグを含めないでください
   ...
  {"role": "user", "content": "ユーザー入力 2"}, 
  {"role": "assistant", "content": "<think>\n期待される思考内容 2\n</think>\n\n期待される出力 2"} --思考内容は最終アシスタント出力にのみ含めることができます。 
]}

system、user、assistant ロールの詳細については、「テキスト生成モデルの概要」をご参照ください。訓練セットのサンプル：SFT-deep_thinking_content_example.jsonl。

訓練サンプルで <think> タグを省略するようにモデルを設定できます。この出力方法を使用する場合、モデル訓練後に呼び出し時に思考モードを有効にしないでください。

{"role": "assistant", "content": "期待されるモデル出力 2"}  --モデルに思考を有効にしないことを指示

1 つの訓練エントリの最終的な assistant 行は、訓練中の相対的な重要度を設定する "loss_weight" パラメーターをサポートします。有効値の範囲は 0.0 ～ 1.0 です。値が高いほど重要度が高くなります。

このパラメーターは招待プレビュー段階です。使用するには、アカウントマネージャーにお問い合わせください。

 {"role": "assistant", "content": "<think>\n期待される思考内容 2\n</think>\n\n期待される出力 2", "loss_weight": 1.0}

画像理解向け SFT（Qwen-VL）

OpenAI の name パラメーターおよび weight パラメーターはサポートされていません。すべてのアシスタント出力が訓練対象となります。

system、user、assistant ロールの違いの詳細については、「テキスト生成モデルの概要」をご参照ください。ChatML 形式の訓練データサンプル：

# 訓練データの 1 行（JSON 形式）。展開した場合の典型的な構造は次のとおりです。
{"messages":[
  {"role":"user",
    "content":[
      {"text":"ユーザー入力 1"},
      {"image":"画像ファイル名 1"}]},
  {"role":"assistant",
    "content":[
      {"text":"期待されるモデル出力 1"}]},
  {"role":"user",
    "content":[
      {"text":"ユーザー入力 2"}]},
  {"role":"assistant",
    "content":[
      {"text":"期待されるモデル出力 2"}]},
  ...
  ...
  ...
 ]}

ZIP ファイルの要件は次のとおりです。

1. 形式：ZIP。最大サイズ：2 GB。ZIP ファイル内のフォルダおよびファイル名には、ASCII 文字（a–z、A–Z）、数字（0–9）、アンダースコア（_）、ハイフン（-）のみを使用できます。

2. 訓練テキストデータファイルは data.jsonl という名前で、ZIP ファイルのルートディレクトリに配置する必要があります。ZIP ファイルを開いたときに、data.jsonl ファイルがすぐに表示されることを確認してください。

3. 1 枚の画像の幅または高さは 1024 ピクセルを超えてはなりません。最大サイズは 10 MB です。サポートされる形式：.bmp、.jpeg /.jpg、.png、.tif /.tiff、および .webp。

4. 画像ファイル名は、異なるフォルダに保存されている場合でも重複してはなりません。

5. ZIP ファイルのディレクトリ構造：

   シングルレベルディレクトリ（推奨）

   画像ファイルおよび data.jsonl ファイルは、ZIP ファイルのルートディレクトリに配置します。

   Trainingdata_vl.zip
      |--- data.jsonl # 注：外側のフォルダでラップしないでください
      |--- image1.png
      |--- image2.jpg

   マルチレベルディレクトリ

   1. data.jsonl ファイルは ZIP ファイルのルートディレクトリに配置する必要があります。

   2. data.jsonl ファイル内では、画像ファイル名のみを宣言でき、ファイルパスは宣言できません。例：

      正しい：image1.jpg。誤り：jpg_folder/image1.jpg。

   3. ZIP ファイル内で画像ファイル名はグローバルに一意である必要があります。

   Trainingdata_vl.zip
       |--- data.jsonl # 注：外側のフォルダでラップしないでください
       |--- jpg_folder
       |   └── image1.jpg
       |--- png_folder
           └── image2.png

HTTP

Windows CMD の場合、${DASHSCOPE_API_KEY} を %DASHSCOPE_API_KEY% に置き換えることができます。PowerShell の場合、$env:DASHSCOPE_API_KEY

curl -X POST https://dashscope-intl.aliyuncs.com/compatible-mode/v1/files \
-H "Authorization: Bearer $DASHSCOPE_API_KEY" \
--form 'file=@"path/to/your/sample.jsonl"' \
--form 'purpose="fine-tune"'

応答：

{
    "id": "file-ft-e73cafa11cef43a0ab75fb8e",
    "object": "file",
    "bytes": 23149,
    "filename": "qwen-fine-tune-sample.jsonl",
    "purpose": "fine-tune",
    "status": "processed",
    "created_at": 1769138847
}

HTTP

curl 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<job_id>' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json'

{
    "request_id": "d100cddb-ac85-4c82-bd5c-9b5421c5e94d",
    "output":
    {
        "job_id": "ft-202511272033-8ae7",
        "job_name": "ft-202511272033-8ae7",
        "status": "RUNNING",
        "finetuned_output": "qwen3-14b-ft-202511272033-8ae7",
        "model": "qwen3-14b",
        "base_model": "qwen3-14b",
        "training_file_ids":
        [
            "9e9ffdfa-c3bf-436e-9613-6f053c66aa6e"
        ],
        "validation_file_ids":
        [],
        "hyper_parameters":
        {
            "n_epochs": 1,
            "batch_size": 16,
            "learning_rate": "1.6e-5",
            "split": 0.9,
            "warmup_ratio": 0.0,
            "eval_steps": 1,
            "save_strategy": "epoch",
            "save_total_limit": 10
        },
        "training_type": "sft",
        "create_time": "2025-11-27 20:33:15",
        "workspace_id": "llm-8v53etv3hwb8orx1",
        "user_identity": "1654290265984853",
        "modifier": "1654290265984853",
        "creator": "1654290265984853",
        "group": "llm",
        "max_output_cnt": 10
    }
}

HTTP

curl 'https://dashscope-intl.aliyuncs.com/api/v1/fine-tunes/<job_id>/logs?offset=0&line=1000' \
--header 'Authorization: Bearer '${DASHSCOPE_API_KEY} \
--header 'Content-Type: application/json' 

offset パラメーターおよび line パラメーターを使用して、特定範囲のログを取得します。offset パラメーターは開始位置を指定し、line はログエントリの最大数を指定します。

応答サンプル：

{
    "request_id":"1100d073-4673-47df-aed8-c35b3108e968",
    "output":{
        "total":57,
        "logs":[
            "{ログ出力 1}",
            "{ログ出力 2}",
            ...
            ...
            ...
        ]
    }
}