Platform For AI:モデル評価 (ModelEval)

クイックスタート

5 分で最初の評価を実行します。CMMLU データセットを使用して、Qwen3-4B の中国語理解および推論能力を測定します。

1. PAI コンソールの左側のナビゲーションペインで、Model Application > Model Evaluation (ModelEval) を選択します。

2. 「モデル評価」ページで、Create Task をクリックします。

3. 次のパラメータを設定します。

   • [Basic Configuration]: Task name と Result Output Path は自動的に生成されます。デフォルト値を使用するか、必要に応じて変更します。

     説明

     ワークスペースにデフォルトの OSS ストレージパスが設定されていない場合は、手動で出力パスを選択してください。

   • Evaluation Mode Configuration[:]Single Model Online Evaluation を選択します[. ]

   • [Evaluation Object Configurations]：Evaluation Object には、Public Model を選択します。Public Model ドロップダウンリストで、Qwen3-4B を検索して選択します。

   • [Evaluation Method Configuration]: Public Dataset Evaluation を選択します。データセットリストから CMMLU を選択します。

   • [Resource Configuration]: [シングルノード - スタンダード] を選択します。

     • [Resource Type]：General Computing を選択します。

     • [Source]: Public Resources を選択します。

     • [Job Resource]：GPU インスタンスタイプ (例: ecs.gn7i-c8g1.2xlarge (24 GB)) を選択します。

     • 選択したインスタンスタイプの在庫がない場合は、別の GPU インスタンスを選択してください。

4. ページの下部にあるOKをクリックすると、タスク詳細ページが開きます。

   タスクステータスが Succeeded になると、Evaluation Report タブを開いて CMMLU データセットにおける Qwen3-4B のスコアを確認できます。

評価の設定

{"question": "What is the capital of France?", "answer": "Paris"}

{"question": "Describe the history of artificial intelligence."}

タスクの管理

[Model Evaluation] ページで、評価タスクを管理します。

• [View Report]: ステータスがSucceededのタスクの場合、このボタンをクリックすると詳細な評価レポートを表示できます。

• [Compare]: 完了したタスクを 2～5 個選択し、Compare をクリックすると、スコアを並べて比較できます。

• [Stop]: In operation のタスクを停止します。この操作は元に戻せません。タスクを再開することはできず、消費されたコンピューティングリソースは返金されません。

• [Delete]：タスクレコードを削除します。この操作は元に戻せません。

課金

ModelEval では、次の項目に対して料金が発生します。