Platform For AI:モデル評価 (ModelEval)

クイックスタート

5 分で最初の評価を実行します。CMMLU データセットを使用して、Qwen3-4B の中国語理解および推論能力を測定します。

1. PAI コンソールの左側のナビゲーションペインで、モデルアプリケーション > モデル評価 (ModelEval) を選択します。

2. 「モデル評価」ページで、タスクの作成 をクリックします。

3. 次のパラメータを設定します。

   • [基本設定]: タスク名 と 結果出力パス は自動的に生成されます。デフォルト値を使用するか、必要に応じて変更します。

     説明

     ワークスペースにデフォルトの OSS ストレージパスが設定されていない場合は、手動で出力パスを選択してください。

   • 評価モードの設定[：]単一モデルのオンライン評価 を選択します[。]

   • [評価オブジェクトの設定]：評価対象 には、パブリックモデル を選択します。パブリックモデル ドロップダウンリストで、Qwen3-4B を検索して選択します。

   • [評価方式の構成]: パブリックデータセットの評価 を選択します。データセットリストから CMMLU を選択します。

   • [リソース設定]: [シングルノード - スタンダード] を選択します。

     • [リソースタイプ]：汎用コンピューティングリソース を選択します。

     • [リソースのソース]: パブリックリソース を選択します。

     • [タスクリソース]：GPU インスタンスタイプ (例: ecs.gn7i-c8g1.2xlarge (24 GB)) を選択します。

     • 選択したインスタンスタイプの在庫がない場合は、別の GPU インスタンスを選択してください。

4. ページの下部にあるOKをクリックすると、タスク詳細ページが開きます。

   タスクステータスが 完了しました になると、評価レポート タブを開いて CMMLU データセットにおける Qwen3-4B のスコアを確認できます。

評価の設定

{"question": "What is the capital of France?", "answer": "Paris"}

{"question": "Describe the history of artificial intelligence."}

タスクの管理

[Model Evaluation] ページで、評価タスクを管理します。

• [レポートの表示]: ステータスが完了しましたのタスクの場合、このボタンをクリックすると詳細な評価レポートを表示できます。

• [比較]: 完了したタスクを 2～5 個選択し、比較 をクリックすると、スコアを並べて比較できます。

• [停止]: 実行中 のタスクを停止します。この操作は元に戻せません。タスクを再開することはできず、消費されたコンピューティングリソースは返金されません。

• [削除]：タスクレコードを削除します。この操作は元に戻せません。

課金

ModelEval では、次の項目に対して料金が発生します。