Platform For AI:Chain-of-Thought 推論蒸留

概要

CoT 推論蒸留テンプレートは、数学、論理、コード生成など、複数ステップの推論が必要なドメイン向けに設計されています。教師モデルが質問セットに対して完全な推論トレースを生成します。各トレースは、推論の詳細度 (RV) と認知的難易度 (CD) でスコアリングされます。難易度に基づくビンサンプリングにより、難易度分布のバランスが取れたデータセットを生成し、易しい質問への過度な集中を防ぎます。出力は、生徒モデルのファインチューニングに利用できる Chain-of-Thought SFT データセットです。

CoT 推論蒸留パイプラインは、次のステップで構成されます：

操作手順

1. PAI コンソールにログインします。左側のナビゲーションペインで、モデルアプリケーション> モデル蒸留 (ModelDistill) を選択します。

2. タスクの作成 をクリックして 知識蒸留テンプレート タブに移動するか、知識蒸留テンプレート タブに直接移動します。

3. Chain-of-thought 推論の蒸留を選択し、テンプレートの使用 をクリックして 知識蒸留ジョブの作成 ページに移動します。以下で説明する主要なパラメーターを設定し、その他の設定はデフォルト値のままにします。

4. 基本設定を構成します:

   • [タスク名]: システムによって自動入力されます。

   • [出力パス]: アクセス権限のある OSS パスを、たとえば oss://mybucket.oss-cn-hangzhou-internal.aliyuncs.com/cot-distill/ のように指定します。

     説明

     ファイルの上書きを防ぐため、蒸留タスクごとに別の出力ディレクトリを作成してください。OSS バケットは PAI サービスと同じリージョンにある必要があります。

5. 次へ をクリックして、蒸留データ構築 ページに移動します：

   • [教師モデル]：教師モデルのソース には Token Service を選択し、qwen3.8-max のような推論能力の高いモデルを選択します。

   • [データセット]：アクセス権限のある OSS ディレクトリまたはファイルを選択します。サンプルデータセットをダウンロードして使用できます。

   • [知識蒸留の設定]：デフォルト値があらかじめ入力されています。必要に応じて変更してください。

     • dataset.input_path： [データセット] セクションでファイルがすでに選択されている場合、ここで設定したファイル名は有効になりません。

     • CoT 推論蒸留テンプレート固有のパラメータ (RV/CD スコアリング次元やビンミキシング戦略など) については、以下の 設定パラメータ セクションをご参照ください。

   • [計算リソース]: リソースタイプ を 汎用コンピューティングリソース に設定し、リソースのソース を パブリックリソース に設定して、タスクリソース から ecs.c6.large などの適切な リソース仕様 を選択します。

6. 次のステップ：学生モデルのトレーニング をクリックして設定を続行するか、蒸留データ構築のみ実行 を選択してスキップします。

   • [生徒モデル]: パブリックモデル を選択し、ドロップダウンリストから Qwen3-4B などの小さなモデルを選択します。

   • [トレーニング方法]：LoRA を選択します。

   • [計算リソース]: リソースタイプ を 汎用コンピューティングリソース に設定し、リソースのソース を パブリックリソース に設定し、タスクリソース から適切な リソース仕様 を選択します。

7. 作成 をクリックし、次に課金確認ダイアログボックスで OK をクリックすると、ページがタスク詳細の基本設定ページにリダイレクトされ、そこでタスクのステータスを追跡できます。

設定パラメータ

このセクションでは、CoT 推論蒸留テンプレートに固有の主要パラメータについて説明します。基本設定とリソース設定は一般的な蒸留と同じです。ここでは、このテンプレートに固有のパラメータのみを説明します。

{"instruction": "Prove that the square root of 2 is an irrational number."}
{"instruction": "If 4 machines can produce 800 parts in 5 hours, how many parts can 6 machines produce in 8 hours?"}