Platform for AI (PAI) の LLM 評価機能では、基盤モデル、ファインチューニング済みバージョン、量子化済みバージョンを比較できます。このトピックでは、カスタムデータセットと公開データセットを使用してモデルを評価し、ユースケースに最適なモデルを見つける方法について説明します。
背景情報
概要
LLM が進化するにつれて、体系的な評価プロセスは、開発者がモデルを比較し、選定を導き、デプロイを加速させるのに役立ちます。プラットフォームベース の評価のベストプラクティスは、このプロセスを反復可能で効率的なものにします。
このガイドを使用して、PAI 上でモデルのパフォーマンスを正確に反映する評価ワークフローを構築します。このガイドでは、以下の方法について説明します。
-
評価データセット の準備と選択
-
ユースケースに適したオープンソースまたはファインチューニング済みモデル の選択
-
評価ジョブの作成と適切な評価方法 の選択
-
シングルタスクまたはマルチタスクシナリオにおける評価結果 の解釈
プラットフォームの機能
PAI の LLM 評価は、次のような比較をサポートしています。
-
Qwen2-7B-Instruct と Baichuan2-7B-Chat など、異なる基盤モデルの比較。
-
非公開データで異なるエポック数でトレーニングされた Qwen2-7B-Instruct のバージョンなど、同じモデルの異なるファインチューニング済みバージョンの比較。
-
Qwen2-7B-Instruct-GPTQ-Int4 と Qwen2-7B-Instruct-GPTQ-Int8 など、同じモデルの異なる量子化済みバージョンの比較。
このトピックでは、エンタープライズ開発者 とアルゴリズム研究者 を例に、カスタムデータセット と公開データセット (MMLU や C-Eval など) を組み合わせてターゲットを絞った評価を行う方法を示します。主なプラットフォームの機能は次のとおりです。
-
主要なオープンソース LLM 向けのノーコードのエンドツーエンド評価パイプラインと、ファインチューニング済み LLM 向けのワンクリック評価。
-
カスタムデータセットのアップロード、10 以上の組み込み NLP メトリクス、および統合された結果 (評価スクリプトは不要)。
-
複数のドメインにわたる組み込みの公開データセットと、完全に再現された公式の評価方法、およびレーダーチャートによる概要。
-
チャートベースの比較とレコードごとの詳細を含む、複数モデル、複数タスクの同時評価。
-
eval-scope リポジトリ (ModelScope と共同開発) のオープンソース評価コードによる完全な透明性と再現性。
課金
-
PAI の LLM 評価は、PAI クイックスタートの機能です。クイックスタート自体は無料ですが、Deep Learning Containers (DLC) 評価ジョブには料金が発生する場合があります。詳細については、「Deep Learning Containers (DLC) の課金」をご参照ください。
-
カスタムデータセットの評価では、Object Storage Service (OSS) 料金が発生する場合があります。詳細については、「OSS の課金の概要」をご参照ください。
ユースケース1：カスタムデータセットの評価
エンタープライズ開発者は通常、非公開でドメイン固有のデータから構築されたカスタムデータセットを使用して、オープンソース またはファインチューニング済み の LLM を評価し、ターゲットドメインでのモデルパフォーマンスを測定します。
PAI は、標準の NLP メトリクスを使用してモデルの出力とグラウンドトゥルース間のテキスト類似度を計算することにより、カスタムデータセットを評価します。スコアが高いほど、パフォーマンスが優れていることを示します。
主要な手順を以下に示します。完全な手順については、「モデル評価」をご参照ください。
-
カスタム評価データセットを準備します。
-
データセットをフォーマットします。
カスタムデータセットで評価するには、JSONL 形式の評価ファイルを準備します (例：llmuses_general_qa_test.jsonl、76 KB)。フォーマットは次のとおりです。
[{"question": "Is it true that China invented papermaking?", "answer": "True"}] [{"question": "Is it true that China invented gunpowder?", "answer": "True"}]questionを使用して質問列を識別し、answerを使用して回答列を識別します。 -
必要な形式の評価ファイルを OSS にアップロードします。詳細については、「OSSへのファイルのアップロード」をご参照ください。
-
OSS ファイルから評価データセットを作成します。詳細については、「Alibaba Cloud製品からのデータセットの作成」をご参照ください。
-
-
モデルを選択します。
オープンソースモデル
PAIコンソールで、Quick Start > [Model Gallery] に移動します。評価可能なモデルについては、モデルカードにカーソルを合わせると Evaluate ボタンが表示されます。
モデルカードには、迅速なデプロイのための [Deploy] ボタンも表示されます。
ファインチューニング済みモデル
PAIコンソールで、Quick Start > [Model Gallery] に移動します。評価可能なモデルについては、モデルカードにカーソルを合わせると Evaluate ボタンが表示されます。モデルをファインチューニングした後、Quick Start > [Model Gallery] > Job Management > Training Jobs に移動します。正常に完了したジョブをクリックすると、右上隅に Evaluate ボタンが表示されます。
モデル評価機能は、AutoModelForCausalLM タイプのすべての Hugging Face モデルをサポートしています。
-
評価ジョブを作成して実行します。
モデル詳細ページで、右上隅の Evaluate をクリックして評価ジョブを作成します。
主要なパラメーターを次のように設定します。
パラメーター
説明
[Base configuration]
Result Output Path
評価結果を保存する OSS パスを指定します。
[Custom Dataset Configuration]
Evaluation Method
オプションは次のとおりです。
-
General Metric Evaluation：ROUGE や BLEU などのメトリクスを使用して、モデルの予測と参照回答のテキスト類似度を計算します。この方法は、明確な答えがあるシナリオに適しています。
-
Judge Model Evaluation：Alibaba Cloud PAI が提供する LLM-as-a-Judge モデルを使用して、モデルの回答を自動的にスコアリングします。参照回答は必要ありません。この方法は、複雑または一意でない回答があるシナリオに適しています。結果には、総合スコアと 5 つのサブメトリクスのスコアが含まれます。
[LLM-as-a-Judge service token]
このパラメーターは、[LLM-as-a-Judge Evaluation] を選択した場合に必要です。トークンを取得するには、LLM-as-a-Judgeモデルページにアクセスしてください。
Dataset Source
既存のデータセットを選択します。
Select an existing dataset.
作成したカスタムデータセットを選択します。
[Resource Configuration]
Resource Group Type
パブリックリソースグループ、汎用コンピューティングリソース、または Lingjun リソースを選択します。
Job Resource
[Resource group type] で [public resource group] を選択した場合、システムはモデルの仕様に基づいてリソースを推奨します。
Submit をクリックしてジョブを実行します。
-
-
評価結果を表示します。
シングルタスクの結果
Quick Start > [Model Gallery] > Job Management > Evaluation Jobs ページで、Status が Succeeded のジョブの Actions 列にある View Report をクリックします。Custom Dataset Evaluation Result ページで、さまざまな ROUGE および BLEU メトリクスでのモデルのスコアを表示できます。
このページには、評価ファイル内の各項目の詳細な評価結果も表示されます。
マルチタスクの比較結果
QuickStart > [Model Gallery] > Job Management > Evaluation Jobs ページで、比較する評価ジョブを選択し、右上隅の Compare をクリックすると、Custom Dataset Evaluation Result ページで比較結果が表示されます。
[Custom Dataset Evaluation Result] タブと [Public Dataset Evaluation Result] タブがあります。[General Metric Evaluation Result] エリアでは、BLEU (bleu-1 から bleu-4) や ROUGE (rouge-1、rouge-2、rouge-l の適合率、再現率、F値) などのメトリクスでモデルのパフォーマンスをレーダーチャートで比較できます。以下のデータテーブルには、各モデルの詳細なメトリクス値が表示され、エクスポートも可能です。
結果の解釈：
カスタムデータセットのデフォルトの評価メトリクスには、rouge-1-f、rouge-1-p、rouge-1-r、rouge-2-f、rouge-2-p、rouge-2-r、rouge-l-f、rouge-l-p、rouge-l-r、bleu-1、bleu-2、bleu-3、および bleu-4 が含まれます。
-
ROUGE-n は n-gram の重複を測定します (ROUGE-1 はユニグラム、ROUGE-2 はバイグラム)。ROUGE-L は最長共通部分列 (LCS) を使用します。
-
BLEU (Bilingual Evaluation Understudy) は、生成された出力と参照翻訳との間の n-gram の重複を測定します。BLEU-n は n-gram の一致率を計算します。
最終的な評価結果は、指定した [Result Output Path] に保存されます。
-
ユースケース2：公開データセットの評価
アルゴリズム研究者は、オープンソースモデルを選択したり、ファインチューニング の結果を検証したりするために、公開データセットに依存しています。PAI は、複数のドメインにわたる公開データセットを統合し、公式の評価メトリクスを完全に再現しているため、データセットを個別にダウンロードしたり、各評価ワークフローを把握したりする必要がありません。
PAI は、モデルの全体的な能力を評価するために、公開データセットをドメイン (数学、知識、推論) 別に分類しています。スコアが高いほど、パフォーマンスが優れていることを示します。
主要な手順を以下に示します。完全な手順については、「モデル評価」をご参照ください。
-
サポートされている公開データセット：
PAI は以下の公開データセットをサポートしています (さらに追加予定です)。
データセット
サイズ
レコード
ドメイン
166 MB
14,042
知識
14.3 MB
17,944
知識
1.55 MB
12,342
中国語
1.08 MB
11,582
中国語
4.17 MB
1,319
数学
47.5 MB
10,042
推論
0.284 MB
816
安全性
-
モデルを選択します。
オープンソースモデル
PAIコンソールで、QuickStart > [Model Gallery] に移動します。評価可能なモデルについては、モデルカードにカーソルを合わせると Evaluate ボタンが表示されます。
ファインチューニング済みモデル
PAIコンソールで、QuickStart > [Model Gallery] に移動します。評価可能なモデルについては、モデルカードにカーソルを合わせると Evaluate ボタンが表示されます。モデルをファインチューニングした後、QuickStart > [Model Gallery] > Job Management > Training Jobs に移動します。正常に完了したジョブをクリックすると、右上隅に Evaluate ボタンが表示されます。
モデル評価機能は、AutoModelForCausalLM タイプのすべての Hugging Face モデルをサポートしています。
-
評価ジョブを作成して実行します。
モデル詳細ページで、右上隅の Evaluate をクリックして評価ジョブを作成します。
[Base configuration] セクションで、[Job Name] を入力し、[Model] ドロップダウンリストから評価するモデル (例：Qwen3-235B-A22B) を選択します。
パラメーター
説明
[Base configuration]
Result Output Path
評価結果を保存する OSS パスを指定します。
公開データセット設定
Public Dataset
1 つ以上の公開データセットを選択します。
[Resource Configuration]
Resource Group Type
パブリックリソースグループ、汎用コンピューティングリソース、または Lingjun リソースを選択します。
Job Resource
[Resource group type] で [public resource group] を選択した場合、システムはモデルの仕様に基づいてリソースを推奨します。
Submit をクリックしてジョブを実行します。
-
評価結果を表示します。
シングルタスクの結果
Quick Start > [Model Gallery] > Job Management > Evaluation Jobs ページで、Status が Succeeded のジョブの Actions 列にある View Report をクリックします。その後、Custom Dataset Evaluation Result ページで、さまざまなドメインやデータセットにおけるモデルのスコアを表示できます。
[Evaluation Report] タブで、[Public Dataset Evaluation Result] サブタブに切り替えると、C-Eval、CMMLU、GSM8K、HellaSwag、MMLU、TriviaQA、TruthfulQA などの公開データセットにおけるモデルのスコア分布をレーダーチャートで表示できます。
マルチタスクの比較結果
Quick Start > [Model Gallery] > Job Management > Evaluation Jobs ページで、比較する評価ジョブを選択し、右上隅の Compare をクリックすると、Evaluation Results of Public Datasets ページに結果が表示されます。
ページの上部にあるレーダーチャートには、各データセットのスコア が表示されます。以下のテーブルには、各評価ジョブの [Job Name]、[Model]、およびデータセットのスコアが一覧表示されます。
結果の解釈：
-
あるドメインに複数のデータセットが含まれている場合、PAI の LLM 評価は、それらのデータセットにおけるモデルのスコアを平均し、ドメインスコアを計算します。
-
レポートには、データセットごとのスコアも表示されます。「サポートされている公開データセット」セクションに、各データセットの対象範囲が記載されています。
最終的な評価結果は、指定した [Result Output Path] に保存されます。
-