Judge モデルは、他のモデルの出力品質を評価する補助モデルです。Judge として大規模言語モデル（LLM）の出力を評価およびスコアリングします。Platform for AI（PAI）は、モデル評価のための正確、効率的、かつユーザーフレンドリーなソリューションを提供する、すぐに使える LLM-as-a-Judge サービスである Judge モデル機能を導入しています。
背景情報
モデル評価は、LLM の開発とデプロイにおける重要なステップであり、パフォーマンスが期待どおりであることを保証します。これにより、モデルの調整と最適化が促進され、ユーザーに高品質で信頼性の高いモデルサービスが提供されます。一般的な評価方法には、次のものがあります。
メトリック評価：BLEU、ROUGE、METEOR などのメトリックを使用して、生成されたテキストと参照テキストの類似性を計算し、迅速な結果を提供します。ただし、この方法は、参照テキストに依存し、より深いセマンティクスとコヒーレンスを無視する可能性があるため、テキスト要約や機械翻訳などの特定のシナリオにのみ有効です。
ベンチマーク評価：MMLU、GSM8k、HumanEval などの標準化されたデータセットを使用して、事前定義されたタスクに対してモデルをテストします。ベンチマークは、標準化された比較可能な結果を提供し、LLM リーダーボードの作成を促進します。ただし、この方法は、主観的で自由回答形式の質問のパフォーマンス評価には不十分です。
手動評価：人間のレビュー担当者が、確立された基準に基づいて分析のために出力をスコアリングします。ルールベースの評価とは異なり、手動評価は、明確な参照回答のない主観的で自由回答形式の質問を処理し、複雑なセマンティクスを理解し、人間の判断に合わせることができます。ただし、この方法はリソースを大量に消費し、時間がかかります。
これらの制限に対処するために、PAI は Judge モデルサービスを導入します。これは、手動でのラベル付けを必要とせずに、主観的および客観的な質問に基づいて LLM の評価を自動化し、特定のタスクに限定されません。
概要
Judge モデルは、評価プロセスを簡素化します。質問とモデルからの回答を提供するだけで済みます。その後、Judge モデルは、次の図に示すように、スコアを自動的に返します。
Judge モデルの主な機能は次のとおりです。
正確性：Judge モデルは、主観的な質問を、自由形式のディスカッション、クリエイティブライティング、コード生成、ロールプレイングなどのシナリオに分類できます。次に、各シナリオに合わせて調整された基準を開発し、評価の精度を大幅に向上させます。
効率性：手動でのデータラベル付けを必要とせずに、Judge モデルは質問とモデルの回答に基づいて LLM を独立して分析および評価できるため、評価効率が大幅に向上します。
使いやすさ：PAI は、コンソールでのタスク作成、API 呼び出し、SDK 呼び出しなど、さまざまな使用方法を提供しています。これにより、迅速な試用と開発者向けの柔軟な統合の両方が可能になります。
費用対効果：Judge モデルは、競争力のある価格でパフォーマンス評価を提供します。そのパフォーマンスは、中国語のシナリオにおける ChatGPT-4 のパフォーマンスに匹敵します。
Judge モデルを使用する
Judge モデル機能がアクティブ化されると、次の方法で Judge モデルサービスを使用できます。
初心者の場合、PAI コンソールを使用すると、Judge モデル機能をすぐに使い始めることができます。
Python SDK または HTTP メソッドを使用して Judge モデルサービスを呼び出すか、バッチデータを準備して Judge モデルサービスをオフラインで呼び出します。質問とモデルからの回答を入力すると、Judge モデルサービスは評価スコアと説明を生成します。
コンソールで複数のプリセット LLM からモデルを選択し、推論と評価の統合プロセスを実装します。