大規模言語モデルを迅速に評価 - Platform For AI - Alibaba Cloud ドキュメントセンター

概要

モデル評価は、2 つの評価アプローチをサポートしています。

カスタムデータセット評価
- ルールベースの評価：ROUGE および BLEU メトリクスを使用して、モデルの予測と参照回答との類似度を測定します。
- ジャッジモデル評価：Token Service のジャッジモデルを使用して、モデルの出力を項目ごとにスコアリングします。このアプローチは、自由形式で複雑な質疑応答シナリオに最適です。
パブリックデータセット評価
- MMLU、TriviaQA、HellaSwag、GSM8K、C-Eval、TruthfulQA などの業界標準のパブリックデータセットに対してモデルを評価します。
- 業界の評価基準に準拠したベンチマークスコアを生成します。

サポート対象モデル：すべての HuggingFace AutoModelForCausalLM モデルタイプがサポートされています。

ユースケース

モデル評価のユースケースは次のとおりです。

モデルのベンチマーク：パブリックデータセットに対してモデルの汎用能力を評価し、その結果を業界モデルやベースラインと比較します。
ドメイン固有の評価：特定のドメインでモデルをテストし、事前学習済みモデルとファインチューニング済みモデルのパフォーマンスを比較して、モデルがドメイン知識をどの程度うまく適用できるかを評価します。
リグレッションテスト：リグレッションテストセットを構築して、実際のビジネスシナリオにおけるモデルのパフォーマンスを評価し、モデルが本番環境の基準を満たしているかどうかを判断します。

課金

OSS ストレージ料金：評価データセットと結果の保存に適用されます。詳細については、「OSS の課金」をご参照ください。
DLC 評価ジョブ料金：評価ジョブの実行に適用されます。詳細については、「DLC の課金」をご参照ください。
ジャッジモデル評価：詳細については、「PAI Token Service の料金」をご参照ください。

データ準備

モデル評価は、カスタムデータセットと、C-Eval を含むパブリックデータセットの両方をサポートしています。

パブリックデータセット：

PAI は、MMLU、TriviaQA、HellaSwag、GSM8K、C-Eval、TruthfulQA といったパブリックデータセットを提供しています。現在のリストについてはコンソールでご確認ください。任意のデータセットを選択して直接使用できます。
カスタムデータセット：

JSONL 形式でカスタム評価ファイルを準備し、OSS にアップロードします。その後、カスタムデータセットを作成します。詳細については、「OSS ファイルのアップロード」および「データセットの作成と管理」をご参照ください。ファイル形式は次のとおりです。

質問列には question を、参照回答列には answer を使用します。これらの列マッピングは評価ページで変更することもできます。ジャッジモデル評価のみが必要な場合、answer 列は省略可能です。
```
{"question": "Did ancient China invent papermaking?", "answer": "Yes"}
{"question": "Did ancient China invent gunpowder?", "answer": "Yes"}
```
サンプルファイル：eval.jsonl

モデルの評価

ステップ 1：モデルの選択

モデルギャラリーページに移動します。
1. PAI コンソールにログインします。
2. 左側のナビゲーションペインで Workspaces をクリックし、対象のワークスペースを選択します。
3. 左側のナビゲーションペインで、QuickStart > [Model Gallery] を選択します。
評価をサポートするモデルを検索します。
- Models から評価可能なモデルをフィルタリングします。Supported Operations フィルターエリアで Evaluate を選択すると、評価可能なモデルのみが表示されます。
- ファインチューニング済みモデルを評価します。ファインチューニング済みモデルは評価機能を保持しています。モデルギャラリーページで、Job Management > Training Jobs をクリックし、ジョブ名をクリックしてジョブ詳細ページを開きます。右上に Evaluate ボタンが表示されます。

ステップ 2：評価ジョブの設定

データセットを選択し、ハイパーパラメータを設定し、オプションでジャッジモデル評価を有効にして、評価ジョブを設定します。

基本パラメータを設定します。
- [Job Name]：自動生成される一意の名前。
- [Result Output Path]：評価結果が保存される OSS パス。
- [Label]：多次元のリソース検索、一括操作、コスト配分に使用されます。
評価方法を設定します。
- [Evaluation Method]：Custom Dataset Evaluation または Public Dataset Evaluation を選択します。
  - [Public Dataset Evaluation]：
    - 複数のドメイン (数学やコーディングなど) をカバーするオープンソースデータセットを使用して、LLM の能力を総合的に評価します。スコアが高いほど、モデルのパフォーマンスが優れていることを示します。
    - 複数のデータセットを同時に選択できます。GSM8K、TriviaQA、HellaSwag は大規模なデータセットであり、評価に時間がかかる場合があります。
  - [Custom Dataset Evaluation]：カスタムデータセットの質問列と参照回答列を指定します。ジャッジモデル評価のみが必要な場合は、参照回答列は空のままにしておくことができます。
    - [Dataset Source]：Select OSS File または Select an existing dataset. を選択します。
    - [Evaluation Method]：次の評価方法のいずれか、または両方を選択します。
      - [General NLP Metric Evaluation]：ROUGE および BLEU メトリクスを使用して、モデルの予測と参照回答の間のテキスト類似度を計算します。明確な回答があるシナリオに適しています。データセットには質問と回答のペアが含まれている必要があります。
      - [Multi-Metric Evaluation with LLM-as-a-Judge]：ジャッジモデルを使用してモデルの回答を自動的にスコアリングし、カスタムメトリクスもサポートします。複雑または自由形式の回答に適しています。データセットには、質問のみ、または質問と回答のペアを含めることができます。
コンピューティングリソースを設定します。
- [Resource Type]：サポートされているリソースタイプはモデルによって異なります。利用可能なオプションについては、コンソールをご参照ください。
- [Source]：パブリックリソース、リソースクォータ、またはスポットリソースから選択します。

すべてのパラメータを設定した後、OK をクリックしてジョブを送信します。ジョブの詳細ページにリダイレクトされます。ジョブが完了したら、Evaluation Report をクリックして評価レポートを表示します。

ステップ 3：評価結果の表示

ジョブが完了したら、以下の「評価結果の表示」セクションを参照して、単一ジョブの結果を表示する方法、複数の評価ジョブを比較する方法、スコアを解釈する方法を確認してください。

評価結果の表示

評価ジョブ一覧

モデルギャラリーページで Job Management をクリックし、Evaluation Jobs タブに切り替えます。

単一ジョブの結果

評価ジョブ一覧ページで、対象ジョブの [Actions] 列にある View Report をクリックします。ジョブ詳細ページが開き、[Evaluation report] セクションにカスタムデータセットとパブリックデータセットでのモデルの評価スコアが表示されます。

カスタムデータセットの評価結果

ルールベースの評価：
- 標準的な NLP のテキストマッチング手法を用いて、モデルの出力と参照回答の類似度を計算します。値が高いほど、モデルのパフォーマンスが優れていることを示します。
- ドメイン固有のデータを使用して、モデルが特定のドメインにどれだけ適応しているかを評価するのに適しています。
- レーダーチャートには、13 の ROUGE および BLEU メトリクスにおけるモデルのスコアが表示されます。メトリクスの定義については、「付録：メトリクスリファレンス」をご参照ください。
ジャッジモデル評価：
- LLM を使用して、意味レベルで出力品質を評価します。平均値と中央値が高く、標準偏差が低いほど、モデルのパフォーマンスが優れていることを示します。このアプローチは、ルールベースのテキストマッチングよりも正確です。
- テーブルには、ジャッジモデルのスコアから得られた次の統計メトリクスが表示されます。
  - 平均値：ジャッジモデルによって割り当てられた平均スコア (無効なスコアを除く)。スケールは 1～5 です。値が高いほど、回答が優れていることを示します。
  - 中央値：ジャッジモデルによって割り当てられた中央スコア (無効なスコアを除く)。スケールは 1～5 です。値が高いほど、回答が優れていることを示します。
  - 標準偏差：ジャッジモデルのスコアの標準偏差 (無効なスコアを除く)。平均値と中央値が等しい場合、標準偏差が低いほど、モデルの一貫性が高いことを示します。
  - 歪度：ジャッジモデルのスコア分布の歪度 (無効なスコアを除く)。正の歪度は右側 (高スコア側) の裾が長いことを示し、負の歪度は左側 (低スコア側) の裾が長いことを示します。
評価ファイルからの質問ごとの評価詳細もページ下部に表示されます。

パブリックデータセットの評価結果

評価ジョブでパブリックデータセットが使用された場合、レーダーチャートにそれらのデータセットに対するモデルのスコアが表示されます。

左のチャートは、ドメインごとのモデルのスコアを示します。各ドメインには複数のデータセットが含まれる場合があります。同じドメインのデータセットについては、スコアが平均化されてドメインスコアが算出されます。
右のチャートは、個々のパブリックデータセットに対するモデルのスコアを示します。各データセットの評価範囲については、それぞれの公式ドキュメントをご参照ください。

複数評価ジョブの比較

複数のモデルの結果を比較するには、評価ジョブ一覧ページの左側で評価ジョブを選択し、右上の [Compare] をクリックします。

カスタムデータセットの比較

パブリックデータセットの比較

付録：メトリクスリファレンス

この付録では、カスタムデータセットのルールベースの評価で使用される各メトリクスの詳細な定義を説明します。

ROUGE メトリクス

ROUGE メトリクスは、モデルの予測と参照回答の類似度を測定します。

ROUGE-N メトリクスは、N-gram (連続する N 個の単語のシーケンス) の重複を計算します。ROUGE-1 と ROUGE-2 が最も広く使用されており、それぞれ unigram (1-gram) と bigram (2-gram) の重複を測定します。
ROUGE-L は、最長共通部分列 (LCS) に基づいています。
メトリクスの接尾辞：-p (適合率)、-r (再現率)、-f (F スコア)。

メトリクス	説明
rouge-1-p	モデルの予測内の unigram が参照回答内の unigram と一致する割合。
rouge-1-r	参照回答内の unigram がモデルの予測内に現れる割合。
rouge-1-f	rouge-1-p と rouge-1-r の調和平均。
rouge-2-p	モデルの予測内の bigram が参照回答内の bigram と一致する割合。
rouge-2-r	参照回答内の bigram がモデルの予測内に現れる割合。
rouge-2-f	rouge-2-p と rouge-2-r の調和平均。
rouge-l-p	LCS の長さをモデルの出力の長さで割った比率 (適合率)。
rouge-l-r	LCS の長さを参照回答の長さで割った比率 (再現率)。
rouge-l-f	rouge-l-p と rouge-l-r の調和平均。

BLEU メトリクス

Bilingual Evaluation Understudy (BLEU) は、機械翻訳の品質を評価するために広く使用されているメトリクスです。モデルの出力と参照回答の間の N-gram の重複を測定してスコアリングします。

メトリクス	説明
bleu-1	unigram の重複を測定します。
bleu-2	bigram の重複を測定します。
bleu-3	trigram (3-gram) の重複を測定します。
bleu-4	4-gram の重複を測定します。

Platform For AI:モデル評価

概要