Alibaba Cloud Model Studio:モデル評価

シナリオ 1：モデル選択の意思決定

課題：数十もの大規模モデル (Qwen、GPT、Claude、ERNIE Bot など) がある中で、どれが自社のビジネスニーズに最も適しているかがわかりません。

ソリューション：

1. ビジネスシナリオから 100 件のテストケースを準備します。

2. 同じデータセットを使用して、すべての候補モデルを評価します。

3. 評価レポート (スコア、合格率、サンプルパフォーマンス) を比較します。

4. ビジネス要件に最も適合するモデルを選択します。

価値：

• 主観的な判断を避け、データに基づいて意思決定を行います。

• 各モデルを手動でテストする場合と比較して時間を節約します。

• 不適切なモデル選択のリスクを低減します。

シナリオ 2：ファインチューニング効果の検証

課題：1,000 個のトレーニングサンプルで Qwen をファインチューニングしましたが、実際にパフォーマンスが向上したかどうかわかりません。

ソリューション：

1. 評価データセット (トレーニングセットと重複しないもの) を準備します。

2. ファインチューニング前とファインチューニング後の両方のモデルを評価します。

3. 2 つの評価結果を比較します：

   • ファインチューニング前のスコア：75

   • ファインチューニング後のスコア：85

   • 結論：ファインチューニングは機能し、10 ポイント向上しました。

価値：

• ファインチューニングの影響を定量化し、ROI を検証します。

• ファインチューニングの方向性が正しかったかを確認します。

• 継続的な最適化のためのデータサポートを提供します。

シナリオ 3：モデル能力の定量化

課題：特定のタスクにおけるモデルのパフォーマンスをチームや経営陣に報告する必要がありますが、客観的なデータが不足しています。

ソリューション：

1. 評価機能を使用してレポートを生成します。

2. レポートには以下が含まれます：

   • 総合スコア：85/100

   • 合格率：90% (3 点以上のスコアのサンプル)

   • スコア分布：5 点が 30 サンプル、4 点が 40 サンプル、3 点が 20 サンプル、2 点が 10 サンプル

   • 典型的なケース：高スコアと低スコアのサンプル

3. レポートデータを使用して、意思決定やプレゼンテーションをサポートします。

価値：

• 「かなり良い」といった主観的な説明を、「85 点、合格率 90%」のようなデータに置き換えます。

• チーム間の明確なコミュニケーションと認識合わせを可能にします。

• 将来の最適化のためのベースライン参照を確立します。

シナリオ 4：モデルパフォーマンスの継続的なモニタリング

課題：デプロイ後、モデルのパフォーマンスは時間経過やビジネスの変化に伴い低下する可能性がありますが、これを迅速に検出するのは困難です。

ソリューション：

1. 定期的な評価サイクル (例：月次) を確立します。

2. 同一の評価データセットとディメンションを使用します。

3. パフォーマンストレンドを追跡します：

   • 2024 年 1 月：スコア 85

   • 2024 年 2 月：スコア 87 (向上)

   • 2024 年 3 月：スコア 78 (低下 — 調査が必要)

価値：

• パフォーマンスの低下を早期に検出します。

• モデルの反復のためのデータ基盤を提供します。

• モデル能力プロファイルを構築します。

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

関連ノート：

スコアリングテンプレート の選択では、インターフェイスに 3 つのラジオボタンが表示されます — 1 つを選択してください。詳細については、プロンプト変数のドキュメントとシステムプロンプトの違いをご参照ください。

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「QA 精度テスト」タスクを見つけ、その Evaluation Status 列を確認します：

• 実行待ち：リクエストが集中している時間帯には、評価タスクが実行キューに入ります。

• 実行中：システムが評価中です — しばらくお待ちください。

• 評価完了：評価が終了しました — 結果を表示できます。

• 評価失敗：評価タスクの実行に失敗しました。

• 評価終了：ユーザーによって評価タスクが手動で停止されました。

右上隅の更新ボタン () をクリックします。タスクのステータスが 評価完了 に変わったら、タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択して、各データポイントの詳細なスコアリングを表示します。

  列名	説明
  状態	評価ステータス：保留中、進行中、評価完了、評価失敗、評価停止
  番号	サンプル ID
  [プロンプト]	元の質問
  完了	参照回答
  [出力]	モデルが生成した応答
  [評価ディメンション名]	評価ディメンション名に対応します — 例えば、「一般常識 QA 精度」— そしてスコアリング結果を表示します。
  操作	利用可能なユーザー操作 — 例えば、[詳細] をクリックして完全な質問、回答、評価結果を表示します。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア	100
  通過率	しきい値 (3 点以上) を満たすサンプルの割合	90%
  評価セット総量	テストデータ項目の総数	10 項目
  完了量	完了した評価の数	10 項目
  未完了量	未完了の評価の数	0 項目

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

関連ノート：

スコアリングテンプレート の選択では、インターフェイスに 3 つのラジオボタンが表示されます — 1 つを選択してください。詳細については、プロンプト変数のドキュメントとシステムプロンプトの違いをご参照ください。

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「QA 精度テスト」タスクを見つけ、その Evaluation Status 列を確認します：

• 実行待ち：リクエストが集中している時間帯には、評価タスクが実行キューに入ります。

• 実行中：システムが評価中です — しばらくお待ちください。

• 評価完了：評価が終了しました — 結果を表示できます。

• 評価失敗：評価タスクの実行に失敗しました。

• 評価終了：ユーザーによって評価タスクが手動で停止されました。

右上隅の更新ボタン () をクリックします。タスクのステータスが 評価完了 に変わったら、タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択して、各データポイントの詳細なスコアリングを表示します。

  列名	説明
  状態	評価ステータス：保留中、進行中、評価完了、評価失敗、評価停止
  番号	サンプル ID
  [プロンプト]	元の質問
  [Completion]	参照回答
  [出力]	モデルが生成した応答
  [評価ディメンション名]	評価ディメンション名に対応します — 例えば、「一般常識 QA 精度」— そしてスコアリング結果を表示します。
  操作	利用可能なユーザー操作 — 例えば、[詳細] をクリックして完全な質問、回答、評価結果を表示します。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア	100
  通過率	しきい値 (3 点以上) を満たすサンプルの割合	90%
  評価セット総量	テストデータ項目の総数	10 項目
  完了量	完了した評価の数	10 項目
  未完了量	未完了の評価の数	0 項目

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

関連ノート：

スコアリングテンプレート の選択では、インターフェイスに 3 つのラジオボタンが表示されます — 1 つを選択してください。詳細については、プロンプト変数のドキュメントとシステムプロンプトの違いをご参照ください。

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「感情分析テスト」タスクを見つけ、その Evaluation Status 列を確認します：

• 実行待ち：リクエストが集中している時間帯には、評価タスクが実行キューに入ります。

• 実行中：システムが評価中です — しばらくお待ちください。

• 評価完了：評価が終了しました — 結果を表示できます。

• 評価失敗：評価タスクの実行に失敗しました。

• 評価終了：ユーザーによって評価タスクが手動で停止されました。

右上隅の更新ボタン () をクリックします。タスクのステータスが 評価完了 に変わったら、タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択して、各データポイントの詳細なスコアリングを表示します。

  列名	説明
  状態	評価ステータス：保留中、進行中、評価完了、評価失敗、評価中断
  番号	サンプル ID
  プロンプト	元の質問
  参照回答	参照回答
  出力	モデルが生成した応答
  [評価ディメンション名]	評価ディメンション名 (例：「感情分析」) に対応し、分析結果を表示します。
  操作	ユーザーが実行できる操作です。例えば、[詳細] をクリックすると、完全な質問、回答、および評価結果が表示されます。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア	40
  通過率	合格したサンプルの割合	40%
  得点の詳細 - データ項目の分布	分類評価結果の分布
  評価セット総量	テストデータ項目の総数	10 項目
  完了量	完了した評価の数	10 項目
  未完了量	未完了の評価の数	0 項目

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

関連ノート：

スコアリングテンプレート の選択では、インターフェイスに 3 つのラジオボタンが表示されます — 1 つを選択してください。詳細については、プロンプト変数のドキュメントとシステムプロンプトの違いをご参照ください。

[スコア範囲] と [合格しきい値] について：

• [スコア範囲]：ジャッジモデルのスコアリングの最小値と最大値の整数値を設定します (デフォルトは 0〜5)。ジャッジモデルはこの範囲内で各評価項目をスコアリングします。

• [合格しきい値]：スコアがしきい値以上の場合は合格、下回る場合は不合格とマークされます。しきい値の範囲はスコア範囲によって制約され、小数 (ステップサイズ 0.1) をサポートします。デフォルトは 3.0 です。

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「総合品質評価テスト」タスクを見つけ、その Evaluation Status 列を確認します：

• 実行待ち：リクエストが集中している時間帯には、評価タスクが実行キューに入ります。

• 実行中：システムが評価中です — しばらくお待ちください。

• 評価完了：評価が終了しました — 結果を表示できます。

• 評価失敗：評価タスクの実行に失敗しました。

• 評価終了：ユーザーによって評価タスクが手動で停止されました。

右上隅の更新ボタン () をクリックします。タスクのステータスが 評価完了 に変わったら、タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択して、各データポイントの詳細なスコアリングを表示します。

  カラム名	説明
  状態	評価ステータス：保留中、進行中、評価完了、評価失敗、評価中止
  番号	サンプル ID
  プロンプト	元の質問
  参照回答	参照回答
  出力	モデルが生成した応答
  [評価ディメンション名]	評価ディメンション名 (例：「包括的な品質評価」) と一致し、ジャッジモデルの数値スコアが表示されます。
  操作	ユーザーが実行できる操作です。例として、[詳細] をクリックすると、質問、回答、および評価結果の全文を確認できます。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア (数値ディメンションの場合、これは全サンプルスコアの算術平均です)	3.8
  通過率	合格しきい値以上のスコアを持つサンプルの割合	70%
  評価セット総量	テストデータ項目の総数	10 項目
  完了量	完了した評価の数	10 項目
  未完了量	未完了の評価の数	0 項目

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

マッチング規則の選択方法：

評価データの例：

{"prompt": "今日の北京の天気は？","completion": "query_weather"}

マッチング規則が「含む」の場合、モデルの出力に query_weather が含まれていれば、合格とマークされます。

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「Function Calling テスト」タスクを見つけ、その Evaluation Status 列を確認します：

• 実行待ち：リクエストが集中している時間帯には、評価タスクが実行キューに入ります。

• 実行中：システムが評価中です — しばらくお待ちください。

• 評価完了：評価が終了しました — 結果を表示できます。

• 評価失敗：評価タスクの実行に失敗しました。

• 評価終了：ユーザーによって評価タスクが手動で停止されました。

右上隅の更新ボタン () をクリックします。タスクのステータスが 評価完了 に変わったら、タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択して、各データポイントの詳細なスコアリングを表示します。

  列名	説明
  状態	評価ステータス：保留中、進行中、評価完了、評価失敗、評価終了
  番号	サンプル ID
  プロンプト	元の質問
  コンプリーション	参照回答
  出力	モデルが生成した応答
  [評価ディメンション名]	評価ディメンション名 (例：「Function Calling 検証」) と一致し、分析結果が表示されます。
  操作	利用可能なユーザー操作です。例えば、[詳細] をクリックすると、完全な質問、回答、および評価結果が表示されます。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア	100
  通過率	合格したサンプルの割合	100%
  評価セット総量	テストデータ項目の総数	2 項目
  完了量	完了した評価の数	2 項目
  未完了量	未完了の評価の数	0 項目

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

類似度アルゴリズムの選択方法：

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「翻訳品質評価」タスクを見つけ、その Evaluation Status 列を確認します：

• 実行待ち：リクエストが集中している時間帯には、評価タスクが実行キューに入ります。

• 実行中：システムが評価中です — しばらくお待ちください。

• 評価完了：評価が終了しました — 結果を表示できます。

• 評価失敗：評価タスクの実行に失敗しました。

• 評価終了：ユーザーによって評価タスクが手動で停止されました。

右上隅の更新ボタン () をクリックします。タスクのステータスが 評価完了 に変わったら、タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択して、各データポイントの詳細なスコアリングを表示します。

  列名	説明
  状態	評価ステータス：保留中、進行中、評価完了、評価失敗、評価中断
  番号	サンプル ID
  プロンプト	元の質問
  参照回答	参照回答
  出力	モデルが生成した応答
  [評価ディメンション名]	この列には、「翻訳品質」評価ディメンションの分析結果が表示されます。
  操作	ユーザーが実行できる操作です。例えば、[詳細] をクリックすると、完全な質問、回答、および評価結果を表示できます。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア	100
  通過率	合格したサンプルの割合	100%
  評価セット総量	テストデータ項目の総数	3 件
  完了量	完了した評価の数	3 件
  未完了量	未完了の評価の数	0 件

1. 評価ディメンションの作成

インターフェイスの場所： モデル評価 ページに移動し、評価次元 タブを選択し、右上隅の 評価ディメンションを作成する ボタンをクリックします。

フォームに記入し、保存 ボタンをクリックします。

2. テストデータの準備

インターフェイスの場所： Data Management ページに移動し、右上隅の データセットを追加 ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

3. 評価タスクの作成

インターフェイスの場所： モデル評価 ページに移動し、Evaluation Task タブを選択し、右上隅の 評価タスクを作成 ボタンをクリックします。

フォームに記入し、Evaluate ボタンをクリックします。

4. タスクステータスの確認

「コンテンツ創造性評価」タスクを見つけ、その Evaluation Status 列を確認します — 実行中 ステータスが表示されます。手動評価には手動でのアノテーションが必要です — システムは自動的にスコアリングしません。タスク名 列をクリックして詳細ページに移動します。

• データ明細 タブを選択し、Actions 列の Annotate ボタンをクリックして手動でアノテーションを行います。すべてのデータにラベルを付けた後、タスクの Evaluation Status は 評価完了 に変わります。

  列名	説明
  状態	評価ステータス：進行中
  番号	サンプル ID
  プロンプト	元の質問
  完了	参照回答
  [出力]	モデルが生成した応答
  [評価ディメンション名]	評価ディメンション名に対応します — 例えば、「コンテンツ創造性評価」— そして分析結果を表示します。
  操作	利用可能なユーザー操作 — 例えば、[詳細] をクリックして完全な質問、回答、評価結果を表示します。

• 指標統計 タブを選択して評価統計を表示します。

  メトリック名	説明	値の例
  総合スコア	評価ディメンション全体の平均スコア	100
  得点の詳細 - データ項目の分布	分類評価結果の分布
  通過率	合格したサンプルの割合	100%
  評価セット総量	テストデータ項目の総数	3 項目
  完了量	完了した評価の数	3 項目
  未完了量	未完了の評価の数	0 項目

1. リーダーボードの作成

インターフェイスの場所： モデル評価 ページに移動し、ランキング タブを選択し、右上隅の ランキングを作成する ボタンをクリックします。

フォームに記入し、OK ボタンをクリックします。

注意：

• 各リーダーボードは最大 50 の評価タスクをサポートします。

• リーダーボードを作成した後、その評価ディメンションは変更できません。

• 公正な比較を保証するため、同じリーダーボード内のすべてのタスクは同じ評価ディメンションを使用します。

2. リーダーボードに評価タスクを追加する

インターフェイスの場所： モデル評価 ページに移動し、ランキング タブを選択し、リーダーボード名をクリックして詳細ページに移動します。

リーダーボードは 2 つの方法で 評価タスクを追加 をサポートします：

方法 1：新しいタスクを作成する

1. リーダーボードの詳細ページで、評価タスクを追加 ボタンをクリックします。

2. 新しいタスクを作成する をクリックします。

3. システムは自動的にタスク作成ページにリダイレクトし、リーダーボードが事前にリンクされます：

   • ランキングに参加するかどうか：自動的にチェックされ、ロックされます — チェックを外すことはできません。

   • ランキング：現在のリーダーボード名が自動的に入力され、ロックされます。

   • 評価次元：リーダーボードにリンクされたディメンションが自動的に入力され、ロックされます。

4. その他の必須フィールドを入力します：

   • タスク名：タスク名を入力します — 簡単に識別できるようにモデル情報を含めます。

   • 評価モデル：評価するモデルを選択します。

   • データソース：評価データセットを選択します。

5. Evaluate ボタンをクリックします。

方法 2：既存のタスクを選択する

1. リーダーボードの詳細ページで、評価タスクを追加 ボタンをクリックします。

2. 既存のタスクを選択する をクリックします。

3. リーダーボードに追加する完了した評価タスクを選択します。

4. OK ボタンをクリックします。

注意：

• 同じ評価ディメンションを使用した完了済みのタスクのみがリーダーボードに参加できます。

• 正確な比較結果を得るために、同じ評価データセットを使用してください。

3. リーダーボードの結果を表示する

インターフェイスの場所： モデル評価 ページに移動し、ランキング タブを選択し、リーダーボード名をクリックして詳細ページに移動します。

リーダーボードの詳細ページには以下が表示されます：

注意：

• ランキングスコア は、タスクの評価が進むにつれてリアルタイムで更新されます。

• 進行中のタスクはスコア列に「-」と表示されます。

• タスク名 をクリックすると、詳細な評価データを表示できます。