PAI の LLM 評価機能では、基盤モデル、ファインチューニングされたバージョン、および量子化されたバージョンを比較できます。このトピックでは、カスタムデータセットと公開データセットを使用してモデルを評価し、ユースケースに最適なモデルを見つける方法を説明します。
背景情報
はじめに
LLM が進化するにつれて、体系的な評価プロセスは、開発者によるモデルの比較や選択、デプロイの迅速化に役立ちます。プラットフォームベース の評価のベストプラクティスにより、このプロセスを再現可能かつ効率的に実行できます。
本ガイドを使用して、モデルのパフォーマンスを正確に反映する評価ワークフローを PAI 上で構築します。本ガイドでは、以下の方法を説明します。
-
評価 データセット の準備と選択
-
ユースケースに応じたオープンソースまたはファインチューニング済み モデル の選択
-
評価ジョブの作成と適切な 評価方法 の選択
-
単一ジョブまたは複数ジョブのシナリオでの 評価結果 の解釈
プラットフォームの機能
PAI の LLM 評価は、以下のような比較をサポートしています。
-
Qwen2-7B-Instruct と Baichuan2-7B-Chat のような、異なる基盤モデルの比較。
-
プライベートデータで異なるエポック数でトレーニングされた Qwen2-7B-Instruct バージョンなど、同じモデルの異なるファインチューニング済みバージョンの比較。
-
Qwen2-7B-Instruct-GPTQ-Int4 と Qwen2-7B-Instruct-GPTQ-Int8 のような、同じモデルの異なる量子化バージョンの比較。
このトピックでは、エンタープライズ開発者 と アルゴリズム研究者 を例に、カスタムデータセット と 公開データセット (MMLU や C-Eval など) を組み合わせてターゲットを絞った評価を行う方法を説明します。プラットフォームの主な機能は次のとおりです。
-
主流のオープンソース LLM 向けのノーコード・エンドツーエンド評価パイプラインと、ファインチューニング済み LLM のワンクリック評価。
-
カスタムデータセットのアップロード、10 種類以上の組み込み NLP メトリクス、および統合された結果表示 (評価スクリプトは不要)。
-
複数のドメインにわたる組み込みの公開データセット、公式の評価方法の完全な再現、およびレーダーチャートによる概要。
-
チャートベースの比較とレコードごとの詳細を備えた、複数モデル・複数ジョブの同時評価。
-
eval-scope リポジトリ (ModelScope と共同開発) のオープンソース評価コードにより、完全な透明性と再現性を確保。
課金
-
PAI の LLM 評価は、PAI クイックスタートの機能です。クイックスタート自体は無料ですが、Deep Learning Containers (DLC) の評価ジョブには料金が発生する場合があります。詳細については、「Deep Learning Containers (DLC) の課金」をご参照ください。
-
カスタムデータセットの評価では、OSS の料金が発生する場合があります。詳細については、「OSS の課金概要」をご参照ください。
ユースケース 1：カスタムデータセットによる評価
エンタープライズ開発者は通常、オープンソース または ファインチューニング済み の LLM を、プライベートかつドメイン固有のデータから構築したカスタムデータセットで評価し、ターゲットドメインにおけるモデルのパフォーマンスを測定します。
PAI は、標準の NLP メトリクスを使用してモデルの出力とグラウンドトゥルースとのテキスト類似性を計算し、カスタムデータセットを評価します。スコアが高いほど、パフォーマンスが優れていることを示します。
主な手順は以下のとおりです。完全な手順については、「モデル評価」をご参照ください。
-
カスタム評価データセットを準備します。
-
データセットをフォーマットします。
カスタムデータセットで評価するには、JSONL 形式の評価ファイルを準備します (例： llmuses_general_qa_test.jsonl、76 KB)。フォーマットは以下のとおりです。
[{"question": "Is it true that China invented papermaking?", "answer": "True"}] [{"question": "Is it true that China invented gunpowder?", "answer": "True"}]questionで質問列を、answerで回答列を識別します。 -
指定の形式の評価ファイルを OSS にアップロードします。詳細については、「OSS へのファイルのアップロード」をご参照ください。
-
OSS ファイルから評価データセットを作成します。詳細については、「Alibaba Cloud 製品からデータセットを作成する」をご参照ください。
-
-
モデルを選択します。
オープンソースモデル
PAI コンソールで、クイックスタート > クイックスタート に移動します。 評価できるモデルについては、モデルカードにカーソルを合わせると 評価 ボタンが表示されます。
モデルカードには、迅速なデプロイのための [Deploy] ボタンも表示されます。
ファインチューニング済みモデル
PAI コンソールで、クイックスタート > [モデルギャラリー]に移動します。評価可能なモデルの場合、モデルカードにカーソルを合わせると評価ボタンが表示されます。モデルをファインチューニングした後、クイックスタート > [モデルギャラリー] > タスク管理 > トレーニングジョブに移動します。正常に完了したジョブをクリックすると、右上隅に評価ボタンが表示されます。
モデル評価機能は、AutoModelForCausalLM タイプのすべての Hugging Face モデルに対応しています。
-
評価ジョブを作成して実行します。
モデルの詳細ページで、右上の 評価 をクリックして評価ジョブを作成します。
主なパラメーターを以下のように設定します。
パラメーター
説明
[基本構成]
[結果出力パス]
評価結果を保存する OSS パスを指定します。
[カスタムデータセットの設定]
[評価メソッド]
以下のオプションがあります。
-
[汎用指標評価]：ROUGE や BLEU などのメトリックを使用して、モデルの予測と参照回答との間のテキストの類似性を計算します。この方法は、明確な回答があるシナリオに適しています。
-
[ジャッジモデルの評価]：Alibaba Cloud PAI が提供する LLM-as-a-Judge モデルを使用して、モデルの回答を自動的にスコアリングします。参照回答は不要です。この方法は、複雑または一意でない回答があるシナリオに適しています。結果には、総合スコアと 5 つのサブメトリックのスコアが含まれます。
LLM-as-a-Judge service token
このパラメーターは、[Judge Model Evaluation] を選択した場合に必要です。トークンを取得するには、LLM-as-a-Judge モデルのページにアクセスしてください。
[データセットのソース]
既存のデータセットを選択します。
[既存のデータセットの選択]
作成したカスタムデータセットを選択します。
[リソース設定]
[リソースグループタイプ]
パブリックリソースグループ、汎用コンピューティングリソース、または Lingjun リソースを選択します。
[タスクリソース]
[Resource group type] で [public resource group] を選択した場合、システムはモデルの仕様に基づいてリソースを推奨します。
コミット をクリックしてジョブを実行します。
-
-
評価結果を表示します。
単一ジョブの結果
クイックスタート > タスク管理 > タスク管理 > 評価ジョブ ページで、ステータス が 完了しました のジョブの 操作 列にある レポートの表示 をクリックします。カスタムデータセットの評価結果 ページでは、さまざまな ROUGE および BLEU メトリックに関するモデルのスコアを表示できます。
このページには、評価ファイル内の各項目ごとの詳細な評価結果も表示されます。
複数ジョブの比較結果
クイックスタート > タスク管理 > 評価ジョブ > 評価ジョブ ページで、比較する評価ジョブを選択し、右上隅にある 比較 をクリックすると、カスタムデータセットの評価結果 ページに比較結果が表示されます。
[Custom Dataset Evaluation Result] タブと [Public Dataset Evaluation Result] タブがあります。[General Metric Evaluation Result] エリアでは、レーダーチャートを使用して、BLEU (bleu-1 から bleu-4) や ROUGE (rouge-1、rouge-2、rouge-l の適合率、再現率、F 値) などのメトリックにわたるモデルのパフォーマンスを比較できます。以下のデータテーブルには、各モデルの詳細なメトリック値が表示され、エクスポートも可能です。
結果の解釈：
カスタムデータセットのデフォルトの評価メトリックには、rouge-1-f、rouge-1-p、rouge-1-r、rouge-2-f、rouge-2-p、rouge-2-r、rouge-l-f、rouge-l-p、rouge-l-r、bleu-1、bleu-2、bleu-3、および bleu-4 が含まれます。
-
ROUGE-n は n-gram の重複度を測定します (ROUGE-1 はユニグラム、ROUGE-2 はバイグラム)。ROUGE-L は最長共通部分列 (LCS) を使用します。
-
BLEU (Bilingual Evaluation Understudy) は、生成された出力と参照回答との間の n-gram の重複度を測定します。BLEU-n は n-gram の一致率を計算します。
最終的な評価結果は、指定した [Result output path] に保存されます。
-
ユースケース 2：公開データセットによる評価
アルゴリズム研究者は、オープンソース モデルの選択や ファインチューニング 結果の検証のために公開データセットを利用しています。PAI は、複数のドメインにわたる公開データセットを統合し、公式の評価メトリックを完全に再現しているため、データセットを個別にダウンロードしたり、各評価ワークフローを習得したりする必要がありません。
PAI は、モデルの総合的な能力を評価するために、公開データセットをドメイン (数学、知識、推論) ごとに分類します。スコアが高いほど、パフォーマンスが優れていることを示します。
主な手順は以下のとおりです。完全な手順については、「モデル評価」をご参照ください。
-
サポートされている公開データセット：
PAI は、以下の公開データセットに対応しています (今後も追加予定です)。
データセット
サイズ
レコード数
ドメイン
166 MB
14,042
知識
14.3 MB
17,944
知識
1.55 MB
12,342
中国語
1.08 MB
11,582
中国語
4.17 MB
1,319
数学
47.5 MB
10,042
推論
0.284 MB
816
安全性
-
モデルを選択します。
オープンソースモデル
PAI コンソールで、クイックスタート > モデルギャラリー に移動します。評価可能なモデルでは、モデルカードにカーソルを合わせると 評価 ボタンが表示されます。
ファインチューニング済みモデル
PAI コンソールで クイックスタート > 評価 に移動し、評価可能なモデルのモデルカードにカーソルを合わせると、評価 ボタンが表示されます。モデルをファインチューニングした後、クイックスタート > タスク管理 > タスク管理 > トレーニングジョブ に移動します。正常に完了したジョブをクリックすると、右上隅に 評価 ボタンが表示されます。
モデル評価機能は、AutoModelForCausalLM タイプのすべての Hugging Face モデルに対応しています。
-
評価ジョブを作成して実行します。
モデルの詳細ページで、右上の 評価 をクリックして評価ジョブを作成します。
[Base configuration] セクションで、[Job Name] を入力し、[Model] ドロップダウンリストから評価するモデル (例： [Qwen3-235B-A22B]) を選択します。
パラメーター
説明
[基本構成]
[結果出力パス]
評価結果を保存する OSS パスを指定します。
公開データセットの設定
[パブリックデータセット]
1 つ以上の公開データセットを選択します。
[リソース設定]
[リソースグループタイプ]
パブリックリソースグループ、汎用コンピューティングリソース、または Lingjun リソースを選択します。
[タスクリソース]
[Resource group type] で [public resource group] を選択した場合、システムはモデルの仕様に基づいてリソースを推奨します。
コミット をクリックしてジョブを実行します。
-
評価結果を表示します。
単一ジョブの結果
クイックスタート > タスク管理 > 評価ジョブ ページで、ステータス が 完了しました のジョブの 操作 列にある レポートの表示 をクリックします。そうすると、カスタムデータセットの評価結果 ページで、さまざまなドメインとデータセットにわたるモデルのスコアを表示できます。
[Evaluation Report] タブで、[Public Dataset Evaluation Result] サブタブに切り替えると、C-Eval、CMMLU、GSM8K、HellaSwag、MMLU、TriviaQA、TruthfulQA などの公開データセットにおけるモデルのスコア分布をレーダーチャートで表示できます。
複数ジョブの比較結果
クイックスタート > [モデルギャラリー] > タスク管理 > 評価ジョブ ページで、比較する評価ジョブを選択し、右上隅の 比較 をクリックすると、パブリックデータセットの評価結果 ページに結果が表示されます。
ページ上部のレーダーチャートには、[各データセットのスコア] が表示されます。以下の表には、各評価ジョブの [Job Name]、[Model]、およびデータセットのスコアが一覧表示されます。
結果の解釈：
-
あるドメインに複数のデータセットが含まれている場合、PAI の LLM 評価は、それらのデータセットでのモデルのスコアを平均し、ドメインスコアを計算します。
-
レポートには、データセットごとのスコアも表示されます。サポートされている公開データセットのセクションに、各データセットの対象範囲が記載されています。
最終的な評価結果は、指定した [Result output path] に保存されます。
-