モデルギャラリーでは、モデル蒸留のエントリーポイントを提供しています。モデルカードから汎用蒸留タスクを作成し、大規模な教師モデルから小規模な生徒モデルへ知識を転移させることで、推論コストを削減できます。
概要
モデルギャラリーの蒸留機能は、オープンソースの PAI-EasyDistill フレームワークをベースに構築されています。ブラックボックス蒸留を使用し、データ生成から生徒モデルのトレーニングまでの全パイプラインを、コーディングなしで完了できます。
モデルギャラリーでは、汎用蒸留 タスクのみをサポートしています。シナリオ固有のテンプレート (Chain-of-Thought 推論、マルチモーダル、エージェントツール呼び出しなど) については、モデル蒸留 (ModelDistill) をご参照ください。
モデルギャラリーから作成した蒸留タスクは、以下のいずれかの場所で表示および管理できます。
モデルギャラリー > [タスク管理] > [蒸留タスク]
[モデル蒸留 (ModelDistill)] > [タスクリスト]
モデル蒸留 (ModelDistill) ページから作成したタスクは、タスク一覧にのみ表示され、モデルギャラリーのタスク管理には表示されません。
蒸留タスクの作成
PAI コンソール にログインします。左側メニューで、[クイックスタート] > モデルギャラリー を選択します。
モデルギャラリーページで、[知識蒸留] フィルターから [サポートされる操作] を選択します。蒸留をサポートするすべての教師モデルが表示されます。
対象のモデルカードをクリックして、モデル詳細ページに進みます。右上隅の [知識蒸留] をクリックして、タスク作成ページに進みます。
完全な手順とパラメーターの説明については、「汎用蒸留」をご参照ください。