モデルギャラリーは、大規模言語モデルを評価するためのエントリーポイントです。カスタムデータセットまたはパブリックデータセットを使用して、モデルの能力を評価できます。
機能範囲
モデルギャラリーでサポートされているのは、単一モデルのオンライン推論結果をスコアリングする単一モデル評価のみです。デュアルモデルバトル ([デュアルモデルオンライン対戦] および [デュアルモデル・オフライン対戦]) の場合は、Model evaluation (ModelEval) に移動してください。
説明
モデルギャラリーで作成された評価タスクは、次のいずれかの場所で表示および管理できます。
[モデルギャラリー] > タスク管理 > 評価ジョブ
- [モデル評価 (ModelEval)]
評価タスクの作成
PAI コンソール にログインします。左側メニューで、クイックスタート > [モデルギャラリー] を選択します。
-
モデルカタログ ページで、サポートされる操作 フィルターから 評価 を選択し、評価可能なモデルのみを表示します。
説明評価に対応しているモデルをファインチューニングして作成したモデルも、評価可能です。タスク管理 > トレーニングジョブ で、タスクをクリックして詳細ページに移動します。ページの右上に 評価 ボタンがあります。
対象のモデルカードをクリックして詳細ページに移動し、ページの右上にある 評価 をクリックします。
評価モードとパラメーターの詳細については、「Model evaluation (ModelEval)」をご参照ください。