:トレーニングセットと評価セット

データセットは、モデルのトレーニングと評価の基盤です。Alibaba Cloud Model Studio (Model Studio) のデータ管理機能は、データセットの効率的な作成と管理をサポートします。

データセットの概要

Alibaba Cloud Model Studio の データ管理 は、ビジネスワークスペース内のすべての⼤規模モデル関連のデータセットを一元管理します。データセットは、訓練データセット (モデルのファインチューニング用、SFT/DPO/CPT をサポート) と 評価データセット (モデル評価用) に分けられます。

トレーニングセットは、テキスト生成、マルチモーダル理解、イメージツービデオ (最初のフレーム)、およびイメージツービデオ (最初と最後のフレーム) の 4 つのトレーニングシナリオをサポートします。評価セットは、テキスト生成シナリオのみをサポートします。データセットのタイプは作成後に変更できないため、後続の用途に基づいて慎重に選択してください。

データセット名は最大 50 文字 (中国語、英語、数字、アンダースコア、ハイフン、ピリオドをサポート) で、説明は最大 200 文字です。空のデータセットの作成や公開はサポートされていません。作成できるデータセットの数に制限はなく、インポートできるデータ量にも上限はありません。

DPO/CPT トレーニング方法とクラウドストレージのマウントは、北京リージョンでのみサポートされています。

トレーニング方法とシナリオ

トレーニングセットは、ユースケースと最小データ要件が異なる 3 つのトレーニング方法をサポートしています。

• [SFT (教師ありファインチューニング)]：モデルが特定のタスクを解決できるようにするための指示ファインチューニングです。1,000 件以上のデータが推奨されます。すべてのサイトで利用可能です。
• [DPO (直接選好最適化)]：選好のアライメントトレーニングです。100 件以上のデータが推奨されます。
• [CPT (継続的事前学習)]：ドメイン知識の注入です。5,000 万トークン以上のデータが推奨されます。ドラフトステータスとデータ継承はサポートされていません。

CPT およびイメージツービデオのトレーニングセットは、ドラフトステータスをサポートしていません。作成時に即時公開のみ可能です。SFT および DPO のテキスト生成トレーニングセットは、公開前にドラフトとして保存できます。

トレーニング方法	目的	推奨データ量	サイトの可用性	ドラフトのサポート
SFT	教師ありファインチューニング (指示ファインチューニング)	1,000 件以上	すべてのサイト	サポート
DPO	直接選好最適化 (選好のアライメント)	100 件以上	北京リージョン	サポート
CPT	継続的事前学習 (ドメイン知識)	5,000 万トークン	北京リージョン	非サポート

インポート方法

データセットは、ユースケースと前提条件が異なる 3 つのインポート方法をサポートしています。

• [ローカルからアップロードする]：前提条件なし。ローカルファイルを直接アップロードし、小規模なデータバッチに適しています。
• [OSSインポート]: ターゲットバケットにタグ bailian-datahub-access=read を追加します。大量のデータに適しています。評価セットではサポートされていません。
• [ログのフィードバック]：SLS の推論ログからトレーニングデータを自動的に抽出します。サービスにリンクされたロールの承認を必要とし、推論 → データ → ファインチューニングの強化ループを形成します。

ログバックフローは、過去 30 日間のログのみをサポートし、1 回のインポート制限は 100,000 件で、API キーとモデルのフィルター条件の指定が必要です。

インポートされたデータは、OSS サーバーサイド暗号化 (SSE-OSS、AES256) で自動的に暗号化されます。ログバックフローが利用可能です。制限事項の完全なリストについては、「データセットの概要」をご参照ください。

インポート方法	前提条件	ユースケース	評価セットのサポート
ローカルアップロード	なし	小規模なデータバッチ	サポート
OSS インポート	バケットタグ bailian-datahub-access=read	大規模なデータバッチ	非サポート
ログバックフロー	承認 + API キー / モデルフィルター	推論ログからトレーニングデータを構築	非サポート

[データ準備]

高品質なデータを準備することは、モデルファインチューニングの結果の鍵となります。各トレーニング方法 (SFT/DPO/CPT テキスト生成) の推奨データ量については、「チューニングデータのアップロードルール」をご参照ください。

マルチモーダル理解およびイメージツービデオのトレーニングセットには、公式の推奨データ量はありません。実際のシナリオに基づいて十分なサンプルを準備してください。

データ形式とテンプレート

各トレーニングシナリオ (SFT テキスト/マルチモーダル理解 (画像/動画 → テキスト)、DPO、CPT、評価セット) のデータファイル形式の仕様については、「チューニングデータのアップロードルール」をご参照ください。

データ管理 のデータセット作成ページで、対応するシナリオのデータテンプレートをダウンロードできます。テンプレートの構造に従ってデータを準備することで、インポートの失敗を防ぐことができます。

データの多様性と拡張戦略については、「モデルファインチューニング」のドキュメントをご参照ください。評価セットについては、モデルの汎化能力を客観的に評価するために、重複しない独立したデータセットを準備してください。

データセットの作成

データセットを作成する前に、Model Studio サービスをアクティブ化し、OSS インポートの場合はターゲットバケットにタグ bailian-datahub-access=read を追加し、ログのバックフローの場合はサービスリンクロールを承認する必要があります。

[データ管理] > Dataset のリストページで、データセットの追加 をクリックし、以下の手順で操作します。

1. データセット名 (最大 50 文字) と説明 (最大 200 文字、任意) を入力します。
2. データセットタイプを選択します：訓練データセット または 評価データセット (作成後は変更不可)。
3. トレーニングシナリオを選択します：テキスト生成、マルチモーダル理解、イメージツービデオ (最初のフレーム)、またはイメージツービデオ (最初と最後のフレーム)。評価セットはテキスト生成のみをサポートします。
4. トレーニング方法を選択します：SFT、DPO、または CPT。
5. ストレージの場所を選択します：[プラットフォーム OSS ストレージ] (無料、データ量制限なし) または クラウドストレージのマウント (評価セットでは利用不可)。
6. インポート方法を選択し、データをアップロードします：ローカルアップロード、OSS インポート、またはログバックフロー (以下のタブの説明をご参照ください)。
7. 公開設定を選択します：下書き または Publish。CPT およびイメージツービデオのトレーニングセットはドラフトをサポートしておらず、即時公開のみ可能です。
8. 送信 をクリックして、データセットの作成を完了します。

3 つのインポート方法はそれぞれ異なるタブで操作します。各タブには異なるフィールドと操作があります。SFT テキスト生成および DPO テキスト生成のトレーニングセットは、複数のファイルを同時にアップロードすることが可能です。

パラメーター	説明	必須	値の説明
データセット名	データセットの識別子	はい	最大 50 文字。中国語、英語、数字、アンダースコア (_)、ハイフン (-)、ピリオド (.)
データセットの説明	データセットの説明	いいえ	最大 200 文字
データセットタイプ	トレーニングセットまたは評価セット。作成後は変更不可	はい	トレーニングセット / 評価セット
トレーニングシナリオ	データが対応するトレーニングシナリオ	はい	テキスト生成 / マルチモーダル理解 / イメージツービデオ (最初のフレーム) / イメージツービデオ (最初と最後のフレーム)
トレーニング方法	トレーニングアルゴリズムのタイプ	はい	SFT / DPO / CPT
ストレージの場所	データセットのストレージ方法	はい	プラットフォーム OSS ストレージ / クラウドストレージのマウント
インポート方法	データインポートソース	はい	ローカルアップロード / OSS インポート / ログバックフロー
公開設定	ドラフトまたは即時公開	はい	ドラフト / 即時公開 (CPT とイメージツービデオはドラフトをサポートしていません)

ローカルアップロード

アップロード をクリックしてローカルデータファイルを選択します。SFT テキスト生成および DPO テキスト生成は、複数ファイルのアップロードが可能です。ファイル形式はシナリオの要件を満たす必要があり (「[データ準備]」セクションをご参照ください)、インポートされたデータは SSE-OSS で自動的に暗号化されます。

OSS インポート

対象のバケットにタグ bailian-datahub-access=read を追加した後、バケットを選択し、データファイルパスを指定します。大規模なデータインポートに適していますが、評価セットには対応していません。

ログバックフロー

まず、サービスにリンクされたロールを承認します。API キーとモデルを選択し、過去 30 日間の推論ログをフィルタリングします (1 回の制限は 100,000 件)。システムはログからトレーニングデータを自動的に抽出し、推論 → データ → ファインチューニングの強化ループを形成します。操作の詳細については、ログバックフローの専用トピックをご参照ください。

バージョン管理

データセットは複数の独立したバージョンを持つことができ、バージョン番号は自動的にインクリメントされます。データセットの詳細ページで、バージョンの追加 をクリックして新しいバージョンを作成します。

バージョンを追加する際に、データ継承戦略を選択します。

• Inheritance Mode：以前のバージョンに基づいてデータを増分的に変更します。マイナーなイテレーションに適しています。
• Create Mode：すべてのデータを再インポートします。大規模な更新に適しています。

CPT トレーニングセットはデータ継承をサポートしていません。新しいバージョンごとに新しいデータが必要です。

ドラフトバージョンのデータセットは、データ処理 (データクレンジングとデータ拡張) に使用して、公開前にデータ品質を向上させることができます。

データセット管理

[データ管理] > Dataset のリストページでは、すべてのデータセットを表示し、タイプ (トレーニングセット/評価セット) でフィルタリングし、名前で検索できます。インポート中のデータセットは 5 秒ごとにステータスを自動更新するため、手動での更新は不要です。

公開と削除

公開 操作は元に戻せません。公開されたバージョンは編集できません。公開済みのバージョンは削除できません。ドラフトバージョンに対してのみ 削除 を実行でき、この操作は元に戻せません。

編集とエクスポート

ドラフトバージョンのみオンラインで編集できます (Prompt / Completion コンテンツは編集可能)。公開されたバージョンは編集できません。データセットをエクスポートする際、タイプごとに形式が異なります：SFT トレーニングセットは .jsonl、マルチモーダルトレーニングセットは .zip、評価セットは .xlsx としてエクスポートされます。空のデータセットのエクスポートはサポートされていません。

課金

データ管理機能は無料ですが、データセットのストレージと下流のリソースには料金が発生します。詳細については、「Model Studio の課金ページ」をご参照ください。

• [プラットフォーム OSS ストレージ]：料金は Model Studio の課金ページに準じます。
• [クラウドストレージのマウント]：料金はユーザー自身の OSS アカウントに請求されます。
• [ログのフィードバック]：発生した SLS 料金は SLS 製品アカウントに請求されます。

使用前に Model Studio の課金ドキュメントで最新の価格を確認してください。

次のステップ

データセットが作成され公開されると、以下の下流シナリオで使用できます。

• トレーニングセットが公開されると、モデルファインチューニング (SFT/DPO/CPT) に使用されます。
• 評価セットが公開されると、モデル評価 に使用されます。

ログバックフロー の操作詳細 (承認フロー、フィルターロジック) については、専用のトピックをご参照ください。

データセットの CRUD は現在コンソールでのみサポートされています。モデルファインチューニング API は、training_file_ids パラメーターを介して公開済みのトレーニングセット ID を参照できます。