評価軸_Alibaba Cloud Model Studio(Model Studio) - Alibaba Cloud Model Studio

評価軸テンプレートの作成方法と管理方法について説明します。

評価軸の概要

評価軸は、モデル評価タスクの採点ルールを定義します。各評価軸には 1 つのスコアラーが設定されます。テンプレートとして作成すると、複数の評価タスクから参照できるため、評価基準の統一管理と再利用が可能になります。

Model Studio プラットフォームでは、LLM による自動評価、ルールマッチング、人力レビューという 3 つの主要な評価パラダイムをカバーする、次の 5 種類のスコアラータイプが提供されています。

LLM評価 - カテゴリ型：判定モデルが、ユーザー定義のラベル（Pass/Fail）に基づいてモデルの出力を分類します。コンテンツの安全性チェックや回答の正確性判定など、意味理解が必要なシナリオに適しています。
LLM評価 - 数値型：判定モデルが、モデルの出力に連続的な数値スコア（例：0~5）を付けます。Q&A の品質評価やコンテンツ生成品質の採点など、細かい定量化が必要なシナリオに適しています。
ルール評価 - 文字列マッチング：モデルの出力と参照テキストの正確な一致関係（等しい/等しくない/含む）をプログラムで判定します。Function Calling や NL2SQL など、確定的な標準回答があるシナリオに適しています。
ルール評価 - テキスト類似度：アルゴリズムを使用して、モデルの出力と参照テキストの類似度（BLEU/ROUGE/コサイン類似度など）を計算します。翻訳、要約、書き換えなど、自由記述形式の回答の類似度を定量化するのに適しています。
人力評価 - カテゴリ型：評価者が手動でラベルに基づいてモデルの出力を分類します。トーン＆スタイルやコンプライアンスレビューなど、主観的判断が必要なシナリオに適しています。

評価軸タイプ	評価方法	適用シナリオ	参照回答の要否	自動化のレベル
LLM評価 - カテゴリ型	判定モデルがラベルで分類	コンテンツの安全性、回答の正確性	不要	完全自動化
LLM評価 - 数値型	判定モデルが範囲で採点	Q&A 品質、生成品質	不要	完全自動化
ルール評価 - 文字列マッチング	文字列の完全/部分マッチング	Function Calling、NL2SQL	要	完全自動化
ルール評価 - テキスト類似度	BLEU/ROUGE/コサイン類似度などのアルゴリズム	翻訳、要約、書き換え	要	完全自動化
人力評価 - カテゴリ型	ラベルによる手動レビュー	トーン＆スタイル、コンプライアンスレビュー	不要	手動

スコアラータイプを選択する際は、次の判断パスを参考にできます。

固定形式の標準回答がある場合：ルール評価 - 文字列マッチングを推奨します。コストが最も低く、速度が最も速いためです。
表現が多様な標準回答がある場合：ルール評価 - テキスト類似度を使用します。アルゴリズムによって表現の違いを吸収できます。
標準回答がなく、意味理解が必要な場合：LLM評価（カテゴリ型または数値型）を使用し、判定モデルに意味レベルで評価させます。
主観的判断または専門的レビューが必要な場合：人力評価 - カテゴリ型を使用し、評価者が 1 件ずつレビューします。

Model Studio では、LLM 評価タイプ向けにプリセットのスコアラーテンプレート（標準マッチング、センチメント分析、総合評価など）が提供されています。選択すると、スコアラーのプロンプトとデフォルトのラベル設定が自動的に入力されるため、一般的なシナリオを素早く開始できます。特定の業務ロジックに合わせた判定基準をカスタマイズするには、カスタムスコアラーを選択してプロンプトを手動で作成できます。

評価軸テンプレートを作成すると、評価タスクで判定基準として参照できます。評価タスクの作成と実行の詳細については、モデル評価を参照してください。

評価軸テンプレートの作成

Model Studio コンソールにログインします。左側のナビゲーションウィンドウでモデル評価 > 評価軸を選択し、評価軸の作成をクリックして作成ページに入ります。

評価軸テンプレートを作成する際は、まず次の共通フィールドを入力する必要があります。

評価軸名：必須。20 文字以内です。
説明：任意。100 文字以内です。評価軸の判定目的を補足するために使用します。
タイプ：必須。5 種類のスコアラータイプから 1 つ選択します。スコアラータイプは作成後に変更できません。誤って選択した場合は、削除して再作成するしかありません。

次の表は、評価軸テンプレート作成時の共通パラメーターとタイプ固有のパラメーターの一覧です。

パラメーター	説明	必須	値の説明
評価軸名	評価軸テンプレートの名前	必須	20 文字以内
説明	評価軸の補足説明	任意	100 文字以内
タイプ	スコアラーの評価方法。作成後は変更できません	必須	5 種類から 1 つ選択
判定モデル	評価を実行する大規模言語モデル	LLM 評価タイプでは必須	ドロップダウンリストから選択
スコアラーテンプレート	判定モデルを導くプロンプトテンプレート	LLM 評価タイプでは必須	プリセットテンプレートまたはカスタム
スコア範囲	数値採点の最小値と最大値	数値タイプでは必須	整数、デフォルトは 0~5
合格しきい値	合格判定のための最小スコアまたは類似度	数値/類似度タイプでは必須	数値

タイプを選択すると、ページにタイプ固有の設定項目が表示されます。各タイプの完全な作成手順は以下のとおりです。

重要スコアラータイプは作成後に変更できません。誤って選択した場合は、削除して再作成するしかありません。

LLM評価 - カテゴリ型

LLM評価 - カテゴリ型では、判定モデルを使用してモデルの出力をラベルで分類します。完全な作成手順：

判定モデルを選択します：ドロップダウンリストから、評価に使用する大規模言語モデルを選択します。
スコアラーテンプレートを選択します：プリセットテンプレート（標準マッチングまたはセンチメント分析）またはカスタムスコアラーを選択します。プリセットテンプレートを選択すると、システムがプロンプトとデフォルトラベルを自動的に入力します。詳細については、スコアラープロンプトの設定を参照してください。
スコアラープロンプトを作成します：プロンプトには少なくとも 1 つの変数（${prompt}、${output}、${completion}）が含まれている必要があり、50000 文字以内です。プロンプトは判定モデルの判定基準と出力形式を定義します。
PassラベルとFailラベルを設定します：合格と不合格の分類ラベルを定義します。各ラベルは 20 文字以内です。PassラベルとFailラベルは重複できません。
保存をクリックします。

LLM評価 - 数値型

LLM評価 - 数値型では、判定モデルを使用してスコア範囲内でスコアを付けます。完全な作成手順：

判定モデルを選択します。
スコアラーテンプレートを選択します：プリセットテンプレート（総合評価または意味類似度）またはカスタムスコアラーを選択します。
スコアラープロンプトを作成します：少なくとも 1 つの変数を含める必要があります。
スコア範囲を設定します：最小値と最大値を設定します。両方とも整数です。最小値は ≥ 0、最大値は ≥ 1 である必要があり、デフォルトは 0~5 です。
合格しきい値を設定します：この値以上のスコアは合格と判定されます。ステップは 0.1 です。しきい値はスコア範囲に自動的に追従します。
保存をクリックします。

ルール評価 - 文字列マッチング

ルール評価 - 文字列マッチングでは、プログラムによるルールを使用してモデルの出力を判定します。完全な作成手順：

評価入力（左側）を設定します：参照テキストを入力します。変数を使用して評価データを参照できます。
比較演算子を選択します：等しい（出力が参照と完全に一致した場合に合格）、等しくない（一致しない場合に合格）、含む（出力に参照テキストが含まれる場合に合格）から選択します。
モデル出力（右側）を設定します：マッチング対象のテキストを入力します。変数を使用できます。評価入力とモデル出力の少なくとも一方には変数が含まれている必要があります。
保存をクリックします。

ルール評価 - テキスト類似度

ルール評価 - テキスト類似度では、アルゴリズムを使用して出力と参照テキストの類似度を計算します。完全な作成手順：

評価入力を設定します：参照テキストを入力します。変数を使用できます。
評価指標を選択します：ファジーマッチング、BLEU、コサイン類似度、ROUGE-1、ROUGE-2、ROUGE-L、正解率の 7 つのアルゴリズムがサポートされています。
モデル出力を設定します：評価対象のテキストを入力します。変数を使用できます。評価入力とモデル出力の少なくとも一方には変数が含まれている必要があります。
合格しきい値を設定します：範囲は 0~1、ステップは 0.01 で、この値以上の類似度は合格と判定されます。
保存をクリックします。

人力評価 - カテゴリ型

人力評価 - カテゴリ型は、評価者による手動レビューに基づきます。完全な作成手順：

Passラベルを設定します：合格判定用ラベルの意味を定義します。
Failラベルを設定します：不合格判定用ラベルの意味を定義します。PassラベルとFailラベルは重複できません。
保存をクリックします。

スコアラープロンプトの設定

スコアラープロンプトは、判定モデルが出力品質を評価する際の指針となる指示です。LLM 評価タイプ（カテゴリ型および数値型）にのみ適用されます。プロンプトを作成することで、判定モデルの判定基準と出力形式を定義します。

プロンプト変数

スコアラープロンプトは次の 3 つの変数をサポートしており、評価実行時にシステムが実際の値に自動的に置き換えます。

${prompt}：ユーザーが入力した質問または指示。つまり、被評価モデルに送信された元のプロンプトです。
${output}：被評価モデルの出力。つまり、ユーザー入力に対するモデルの返答です。
${completion}：参照標準回答。つまり、評価データセットに事前設定された期待出力です。

プロンプト内では ${変数名} という構文を使用して変数を参照します。プロンプトには少なくとも 1 つの変数が含まれている必要があります。含まれていない場合、送信できません。

プリセットテンプレート

システムでは、LLM 評価タイプ向けにプリセットのスコアラーテンプレートが提供されています。選択すると、プロンプトの内容とデフォルトのラベル設定が自動的に入力されます。テンプレート一覧はシステム設定から動的に取得されます。

カテゴリ型のプリセットテンプレート：

標準マッチング（デフォルト）：判定モデルが出力が期待される基準を満たしているかどうかを判定します。
センチメント分析：判定モデルが出力のセンチメント傾向を判定します。
カスタムスコアラー：自分で作成したカスタムプロンプトを使用します。

数値型のプリセットテンプレート：

総合評価（デフォルト）：判定モデルが複数の品質次元にわたって総合的に採点します。
意味類似度：判定モデルが出力が参照回答と意味的にどれくらい近いかを評価します。
カスタムスコアラー：自分で作成したカスタムプロンプトを使用します。

カスタムプロンプトの作成

カスタムテンプレートを選択した場合は、プロンプト編集エリアに採点ガイドラインを記述します。要点：

${prompt}、${output}、${completion} の各変数を使用して評価データを参照します。
採点基準を明確に定義します。カテゴリ型では各ラベルの判定条件を、数値型では各スコアに対応する品質基準を定義します。
出力形式の要件を指定し、判定モデルの評価結果がシステムによって正しく解析されるようにします。

以下は、LLM評価 - カテゴリ型のカスタムプロンプトの例です。

次のモデル応答の品質を評価してください。ユーザーの質問：${prompt}、モデル応答：${output}、参照回答：${completion}。採点基準：応答が参照回答の核心要素を含み、事実誤りがない場合は合格（Pass）と判定します。応答が重要な情報を省略している場合、または事実誤りを含む場合は不合格（Fail）と判定します。Pass または Fail のみを出力してください。

スコアラーテンプレートを切り替えるか、デフォルトのプロンプトに戻すボタンをクリックすると、プロンプトをテンプレートのプリセット内容に戻すことができます。テンプレートを切り替えると、現在のプロンプトの内容が上書きされます。切り替える前に、手動で編集した内容をバックアップしてください。

評価軸テンプレートの管理

評価軸一覧ページで、作成した評価軸テンプレートの表示、変更、削除ができます。

評価軸の表示

評価軸一覧ページには、作成済みのすべての評価軸テンプレートが表示され、次の操作がサポートされています。

名前で検索：検索ボックスに評価軸名のキーワードを入力すると、あいまい検索ができます。
タイプで絞り込み：タイプ列のヘッダーにある絞り込みアイコンをクリックすると、複数のスコアラータイプを選択して絞り込めます。
作成時間でソート：作成時間でソートをクリックすると、昇順と降順が切り替わります。

評価軸一覧で対象の評価軸の名前をクリックすると、詳細ページに移動し、評価軸の完全な設定（スコアラータイプ、プロンプト、ラベル、スコア範囲など）を確認できます。

評価軸の変更

評価軸の詳細ページでは、評価軸名、説明、スコアラープロンプト、ラベルなどの設定項目を変更できます。スコアラータイプは作成後に変更できません。変更は保存後すぐに反映されます。

評価軸の削除

評価軸一覧で対象の評価軸の操作列にある削除ボタンをクリックします。削除操作は取り消せません。評価軸が評価タスクから参照されている場合、その評価軸は削除できません。削除する前に、関連する評価タスクを解除する必要があります。

評価軸の設計に関する推奨事項

高品質の評価軸を設計することは、モデルの性能を正確に測定するのに役立ちます。以下は、実践に基づく主な推奨事項です。

タイプの選択と反復

評価シナリオに基づいて適切なタイプを選択します。標準回答があるシナリオではルール評価を推奨し（コストが低く高速）、意味理解が必要なシナリオでは LLM 評価を、主観的な品質判断には人力評価を使用します。タイプの詳細な比較については、評価軸の概要を参照してください。

まずプリセットテンプレートで評価軸を作成し、小規模なサンプル（10~20 件のデータ）で評価を実行して効果を検証することを推奨します。評価結果の乖離が大きい事例を踏まえて、プロンプトの判定基準やスコア定義を重点的に調整し、検証後に評価の規模を拡大していきます。プリセットテンプレートからカスタムプロンプトへ段階的に移行してください。

パラメーター設定の推奨事項

PassラベルとFailラベルは相互排他かつ網羅的であるべきです。つまり、考えられるすべての出力をどちらか一方に分類できる必要があります。単純なシナリオでは 2 分類で十分であり、複雑なシナリオで複数のラベルが必要な場合も、判断の曖昧さを減らすためにラベルの数を少なく抑えてください。

LLM評価 - 数値型では、スコア範囲は 10 以下を推奨します（範囲が大きすぎると LLM の採点の一貫性が低下します）。デフォルトの 0~5 の範囲で合格しきい値を 3 にするのが一般的な設定です。合格しきい値は品質に対する業務の許容度に基づいて設定してください。しきい値が高いほど、合格基準は厳しくなります。

評価タスクの種類に応じて適切な類似度アルゴリズムを選択します。

翻訳タスク：BLEU（n-gram の完全一致を測定）。
要約タスク：ROUGE-L（最長共通部分列を測定）。
意味的関連性：コサイン類似度（意味ベクトルの距離を測定）。
分類タスク：正解率（完全一致率を測定）。

命名規則

「評価観点 + 評価方法」という命名パターンを推奨します。たとえば、「回答の正確性 - LLM 採点」「センチメント傾向 - ラベル分類」「形式準拠 - 文字列マッチング」などです。明確な命名は、評価タスクで評価軸を素早く識別して選択するのに役立ちます。

よくある質問

以下は、評価軸機能を使用する際によくある問題と解決方法です。

問題：評価軸テンプレートを作成した後、スコアラータイプを誤って選択していたことに気づきました。

スコアラータイプは作成後に変更できません。評価軸テンプレートを削除して再作成するしかありません。評価軸が評価タスクから参照されている場合は、削除する前にまず関連する評価タスクを解除する必要があります。

問題：評価軸テンプレートを削除しようとすると、削除できないことを示すメッセージが表示されます。

評価軸テンプレートは、評価タスクから参照されている場合、削除できません。まず評価タスク一覧でその評価軸を参照している評価タスクを削除または変更してから、評価軸テンプレートを削除してください。

問題：スコアラープロンプトを送信すると、変数が不足していることを示すシステムメッセージが表示されます。

スコアラープロンプトには、少なくとも 1 つの変数（${prompt}、${output}、または ${completion}）が含まれている必要があります。プロンプトの内容を確認し、変数が ${変数名} 形式で正しく参照されていることを確認してください。

問題：Pass/Fail ラベルを設定した後、送信に失敗します。

PassラベルとFailラベルが重複していないか確認してください。同じラベルが Pass と Fail の両方に存在することはできず、Pass 内または Fail 内でもラベルは重複できません。

問題：スコアラーテンプレートを切り替えた後、手動で編集したプロンプトの内容が消えてしまいました。

これは想定された動作です。テンプレートを切り替えると、プロンプトがテンプレートのプリセット内容に置き換えられます。重要なカスタムプロンプトの内容がある場合は、テンプレートを切り替える前にバックアップしてください。

問題：LLM 評価タイプの評価軸を使用すると料金は発生しますか？

評価軸テンプレートの作成と管理は無料です。ただし、評価タスクの実行中、LLM 評価タイプは推論のために判定モデルを呼び出すため、その推論料金は判定モデルの課金基準に従って請求されます。