Alibaba Cloud Model Studio:コンソールでのモデルのファインチューニング

このトピックでは、コンソールでモデルのファインチューニングタスクを実行する方法について説明し、適切なファインチューニング方法とパラメーターを選択するのに役立ちます。モデルのファインチューニングには、教師ありファインチューニング (SFT)、継続的事前学習 (CPT)、Direct Preference Optimization (DPO) の 3 つのトレーニング方法が含まれます。

モデルファインチューニングのプロセス

ステップ 1：ファインチューニング方法の選択

[モデルファインチューニング] ページに移動し、トレーニングタスクを作成する ボタンをクリックします。

[トレーニングタスクの作成] ページに入った後、[トレーニング設定] エリアで [トレーニング方法] を [効率的なトレーニング] または [全パラメーターのトレーニング] として選択できます。ページの右側にある [トレーニングタスクの概要] パネルには、現在のタスクのモデル、優先度、課金方法、その他の設定概要がリアルタイムで表示されます。

[基本情報] セクションで、[ジョブ名] と [ジョブの優先度] を設定します。ジョブの優先度には L0、L1、L2、L3 の 4 つのレベルがあり、高い順にリストされています。優先度はトレーニングジョブのスケジューリング順序に影響します。優先度が高いほど、実行が早くなります。

CPT、SFT、DPO の選択方法

CPT (継続的事前学習) は、大量のラベルなしデータを使用して、特定の業界におけるモデルのパフォーマンスを向上させます。

SFT (教師ありファインチューニング) は、ターゲットを絞ったデータセットとトレーニングを使用して、特定のビジネスシナリオにおけるモデルのパフォーマンスを向上させます。

DPO (Direct Preference Optimization) は、トレーニングデータセットで正例と負のサンプルのペアを使用します。否定的なフィードバックを取り入れることで、ハルシネーションを減らし、特定の不適切なケースを最適化します。

Model Studio が提供する 3 つのファインチューニング方法は相互排他的ではなく、進歩的かつ補完的です。

CPT (オプション) → SFT → DPO (オプション)

1. CPT (継続的事前学習) - 知識を補完します (一般的なモデルは広範だが浅い知識しか持たず、専門分野の深さと精度の要件を満たせない場合があります)

   • 金融モデル：金融用語を学習
   • 医療モデル：薬剤の病理を記憶
   • 法律モデル：法律の条文や判例を理解

2. SFT (教師ありファインチューニング) - タスクの実行方法を学習します

   • カスタマーサービスボット：カスタマーサービスの手順を学習
   • コードアシスタント：プログラミングパラダイムを学習
   • ツール呼び出し (エージェント)：MCP の使用方法を学習

3. DPO (Direct Preference Optimization) - タスクをより良く実行します

   • 安全性と責任：有害な提案を拒否
   • 簡潔さと有効性：簡潔な回答を提供
   • 客観性と中立性：公正かつ客観的に評価

# トレーニングデータの 1 行 (JSON 形式) は、展開すると次のような典型的な構造になります：
{"messages": [
  {"role": "system", "content": "システム入力 1"},
  {"role": "user", "content": "ユーザー入力 1"},
  {"role": "assistant", "content": "期待されるモデル出力 1"},
  {"role": "user", "content": "ユーザー入力 2"},
  {"role": "assistant", "content": "期待されるモデル出力 2"}
  ...
]}

 {"role": "assistant", "content": "期待されるモデル出力 1", "loss_weight": 1.0},
 {"role": "assistant", "content": "期待されるモデル出力 2", "loss_weight": 0.5}

各トレーニング方法のデータ量要件については、「データセットサイズの要件」をご参照ください。

1. まず、大量 (少なくとも 1,000 万トークン) のラベルなしドメイン固有データを収集し、CPT を実行してモデルを業界やドメインの専門家にします。
2. アプリケーションを起動する前に、特定のシナリオやビジネスに対して十分な (1,000+) 正例 (入力と期待されるモデル出力のペア) を収集し、SFT を実行します。
3. アプリケーションが起動または試用運用に入った後、十分な (100+) ユーザーフィードバック (いいね、嫌い、または直接のフィードバックなど) または不適切なケースを収集します。このデータを DPO トレーニングセットに変換し、DPO を実行します。

初めてモデルをファインチューニングする場合は、公式モデルを選択します。

パフォーマンスが低いためにモデルを再トレーニングする場合は、[マイモデル] > 再トレーニングしたいモデルを選択します。

モデルを選択した後、一部のモデルでは[トレーニングモダリティ] オプション (テキスト生成や視覚理解など) が表示されます。ビジネスシナリオに合ったモダリティを選択してください。サポートされている場合は、[思考モード] オプション (Instruct や Thinking など) も表示されます。必要に応じて選択してください。

全パラメーターのトレーニング vs. 効率的なトレーニング

• 全パラメーターのトレーニングは、学習中にすべてのモデルパラメーターを更新します。
• 効率的なトレーニングは、Low-Rank Adaptation (LoRA) を使用します。これは、重み行列を分解し、低ランクのコンポーネントのみを更新します。

両方の方法のコストは同じであるため、Alibaba Cloud Model Studio は、モデルがサポートしている場合は全パラメーターのトレーニングを使用することを推奨します。これは、効率的なトレーニングよりも優れた結果と高いコスト効率を実現するためです。

ステップ 2：ハイパーパラメーターの設定

トレーニングパラメーターの説明：

すべてのモデルがすべてのパラメーターをサポートしているわけではありません。利用可能なオプションについては、コンソールをご参照ください。

学習率スケジューリング戦略の紹介

「学習率スケジューラ」は、[ハイパーパラメーター設定] > [設定の展開] の最初の設定です。8 つの戦略を提供します。

詳細については、以下をご参照ください：

ステップ 3：トレーニングデータの選択

データセット構築のヒントについては、「データセット構築のヒント」をご参照ください。ファインチューニングデータセットをアップロードするには、 [データ管理] ページに移動します。

[データ設定] セクションで、以下を設定します：

• トレーニングセット: [データセットの選択] と [データセットのマウント] の 2 つの方法をサポートしています。[データセットの選択] では、アップロード済みのファインチューニングデータセットを使用します。[データセットのマウント] では、OSS からデータファイルを直接マウントします。
• 混合トレーニング：有効にすると、追加の混合トレーニングデータセットを追加できます。混合トレーニングは、ファインチューニング中にモデルの一般的な能力を維持し、タスク固有のデータに過学習して一般的な対話能力を失うのを防ぎます。複数のビジネスシナリオのデータがある場合は、これを有効にしてください。
• 検証セット：[自動分割] と [データセットの選択] をサポートします。[自動分割] は、トレーニングデータの 10% をランダムに検証セットとして選択します。別の検証データセットをアップロードすることもできます。検証セットは、トレーニング中のモデルのパフォーマンスを評価し、検証損失と検証トークン精度を表示します。

ステップ 4：トレーニングリソースの設定

[トレーニングリソースの設定] セクションで、トレーニングジョブの課金方法を選択します。

• トークンベースの課金：共有のアイドルリソースを使用します。トレーニング中に消費されたトークンの数に基づいて課金されます。トレーニング速度はリソースの可用性に依存し、キューイングが発生する場合があります。

ステップ 5：トレーニング出力

以下の設定は、SFT、DPO、および CPT トレーニングに適用されます。

モデルのエクスポート で、以下を設定します：

• モデル名：出力モデルの名前を設定します。トレーニングが完了すると、最終的なチェックポイントがこの名前で My Models に自動的に公開されます。
• [最大スナップショット数]：保持するチェックポイントの最大数を設定します。
• [チェックポイント間隔]：チェックポイントを保存する頻度を、エポック (トレーニングサイクル) またはステップ (トレーニングステップ) で設定します。
• モデル暗号化 (セキュリティアップグレード)：有効にすると、プラットフォームはフルマネージドキーを使用して OSS サーバーサイド暗号化 (SSE-OSS) でモデルファイルを暗号化します。暗号化アルゴリズム：AES256。

ステップ 6：モデルのトレーニング

[トレーニングの開始] をクリックし、[モデルファインチューニング課金通知] を確認して、トレーニングを開始します。

権限が不十分な場合は、「モデルのファインチューニングで権限が不足している場合の対処法

トレーニング中に、[ログ] ボタンをクリックしてリアルタイムのトレーニングログを表示できます。また、[メトリック] タブに移動して、トレーニング損失、検証損失、または検証トークン精度をモニターすることもできます。

トレーニング完了後、トレーニング損失と検証損失の傾向を確認します。

1. トレーニング損失が減少し、検証損失が増加する場合、モデルは過学習しています。トレーニングは失敗したか、結果が悪い可能性があります。以下の最適化を (推奨順に) 適用し、再トレーニングします：

   1. データ拡張を使用して、データの多様性と量を増やします。
   2. より多くのトレーニングデータを収集して、多様性と量を増やします。
   3. ハイパーパラメーターを調整します：エポック数を減らし、学習率を下げ、バッチサイズを小さくし、重み減衰を増やし、LoRA ドロップアウトを上げ、ウォームアップ比率を増やします。

2. トレーニング損失がほとんど変化しないか、増加する場合 (まれ)、モデルは学習不足です。トレーニングは失敗しました。以下の最適化を (推奨順に) 適用し、トレーニングを続行します：

   1. データ品質を確認し、徹底的なデータクレンジングを確保します。
   2. ハイパーパラメーターを調整します：エポック数を増やし、学習率を上げ、バッチサイズを大きくし、重み減衰を減らし、LoRA ドロップアウトを下げ、ウォームアップ比率を減らします。

3. どちらの問題も発生しない場合は、次のステップに進みます。

ステップ 7：デプロイメントのためにモデルを公開する

中間モデルのスナップショットの公開は、SFT ファインチューニングのみがサポートしています。

トレーニングが完了すると、最終的なチェックポイントは、ステップ 5：トレーニング出力で設定した名前で [マイモデル] に自動的に公開されます。

中間チェックポイントを公開するには、トレーニングジョブの詳細ページの 出力 タブに移動します。保存されたチェックポイントのリストを表示し、ターゲットのチェックポイントを選択して、モデル公開 をクリックします。

出力 タブには、チェックポイント ID、保存情報、公開ステータス、モデル名、残りの保持期間、作成時刻、およびアクションが表示されます。

公開されたモデルは [マイモデル] ページに表示され、デプロイできます。

ステップ 8：モデルのデプロイ

[マイモデル] ページに移動して、サポートされているデプロイモード、モデル ID、その他の詳細をすばやく見つけます。デプロイ後、ファインチューニングされたモデルを評価します。デプロイの詳細については、「モデルデプロイ」をご参照ください。

ステップ 9：モデルの評価

Alibaba Cloud Model Studio の [モデル評価] 機能を使用して、カスタムモデルのパフォーマンスを評価します。詳細については、「ヘルプセンター：モデル評価の概要」をご参照ください。

よくある質問

モデルのファインチューニングはいつ使用すべきですか？

• テキスト生成モデルのファインチューニングは、特定のビジネスシナリオで優れた結果を達成できますが、以下の制限があります：

  • 時間のかかる作業：大規模な CPT データセット (少なくとも 5,000 万トークン) の作成、効果的な SFT データセット (1,000+ エントリ) の構築、モデルデプロイの課金のための効果的な DPO データセットを構築するための十分な不適切なケース (100+) の収集、およびモデル最適化の反復の遅さなどが含まれます。
  • 高コスト：ファインチューニングされたモデルはデプロイ後にのみ使用でき、モデルデプロイの課金は高額です。

• Alibaba Cloud Model Studio は、まず プロンプトエンジニアリングまたは 関数呼び出しを使用してアプリケーションをカスタマイズすることを推奨します。モデルのファインチューニングは、通常、モデルのパフォーマンスを向上させるための「最後の手段」です。これは、以下の理由によります：

  1. 多くのタスクでは、モデルは最初はパフォーマンスが低いかもしれませんが、正しいプロンプト技術を適用することで、モデルのファインチューニングを必要とせずに結果を改善できます。
  2. プロンプトとプラグインを反復的に最適化する方が、モデルのファインチューニングの反復よりも機敏でコスト効率が高いです。なぜなら、ファインチューニングには、データの再収集、クレンジング、最適化、不適切なケースの収集、顧客調査の実施が必要になる場合があるためです。
  3. 最終的にモデルのファインチューニングを行うことを決定した場合でも、プロンプトエンジニアリングとプラグイン最適化に関する初期作業は無駄にはなりません。この予備作業は、ファインチューニングデータセットを構築する際に完全に再利用できます。

モデルのファインチューニング中に権限エラーが発生した場合はどうすればよいですか？

プラットフォームまたはワークスペースの管理者に連絡して、以下の権限を確認し、付与してもらってください：

1. ご利用のアカウントには、ファインチューニングジョブを実行するワークスペースで、[モデルファインチューニング – 操作]、[モデルデプロイ – 操作]、および [モデル評価 – 操作] のページ権限が必要です。

   詳細については、「アカウント権限管理」をご参照ください。コンソールリンク： Model Studio – アカウント管理。

2. ファインチューニングジョブを実行するワークスペースには、特定のモデルに対する Model Training (ファインチューニング) 権限が必要です。

   詳細については、「サブワークスペースにモデルの呼び出し、トレーニング、およびデプロイメントの権限を付与する」をご参照ください。コンソールリンク： Model Studio – ワークスペース管理。

   [ビジネススペース管理] の [モデルリスト] ページで、ターゲットモデル (例：Qwen3-8B) の Model Training 列が [承認済み] ステータスであることを確認します。

ファインチューニング後の評価結果が悪い場合はどうすればよいですか？

1. 手動評価を使用している場合は、評価基準がビジネスやシナリオと一致していることを確認します。
2. 評価結果が悪いテストケースを収集し、なぜ失敗したかを分析し、それに応じてトレーニングデータセットを調整します。その後、ファインチューニングを反復します。
3. 評価の悪いケースから DPO の例を生成し、DPO トレーニングを実行します。

Alibaba Cloud Model Studio でファインチューニングしたモデルをローカルデプロイ用にダウンロードできますか？

Alibaba Cloud Model Studio でファインチューニングされたモデルはエクスポートできません。Model Studio にデプロイした後にのみテストおよび呼び出しが可能です。

トレーニングデータが不足しているためにモデルのファインチューニングが失敗した場合はどうすればよいですか？

データ不足のためにファインチューニングが失敗した場合は、[シーケンス長] (max_length) パラメーターを調整してみてください。

シーケンス長は、トレーニングサンプルごとの最大トークン長を設定します。SFT (教師ありファインチューニング) では、この長さを超えるサンプルは破棄されます。シーケンス長が大きすぎると、多くのサンプルが破棄され、トレーニングに十分なデータが残らず、失敗の原因となる可能性があります。

1. トレーニングジョブを作成する際に、[パラメーター設定] を展開し、[max_length] (シーケンス長) を見つけます。
2. シーケンス長を短くして (例えば 8192 に)、より多くのサンプルが長さの要件を満たし、トレーニングに参加できるようにします。
3. トレーニングジョブを再送信します。

ファインチューニングされたモデルがプレイグラウンドでまだベースモデルの ID で応答する場合はどうすればよいですか？

Model Studio コンソールの [プレイグラウンド] ページは、システムプロンプトの設定をサポートしていません。その結果、ファインチューニングデータからの ID 設定が有効にならず、モデルはベースモデルとして応答します。

ファインチューニングされた ID 設定を確認するには、次のいずれかの方法を使用します：

• 方法 1：API を介してモデルを呼び出し、リクエストに system パラメーターを含めてシステムプロンプトを渡します。
• 方法 2：Model Studio コンソールの [モデルデバッグ] ページを使用して、テスト前にシステムプロンプトを設定します。