Python プローブがインストールされると、ARMS は LLM (大規模言語モデル) アプリケーションの監視を開始します。LLM オペレーション ページでは、埋め込み分析、取得オーグメンテーション、ツール呼び出し、メソッド呼び出しなどの操作回数、時間消費量、エラー率などの詳細を表示できます。
前提条件
LLM アプリケーション用にプローブがインストールされている必要があります。詳細な手順については、「LLM 大規模言語モデルアプリケーションを ARMS と統合する」をご参照ください。
LLM アプリケーション操作分析の表示
-
上部のナビゲーションバーで、LLM オペレーション ドロップダウンボックスをクリックし、表示する操作タイプを選択します。
埋め込み分析
大規模モデルアプリケーションにおける埋め込みとは、テキスト、画像、またはその他のデータを低次元のベクターに変換し、類似度計算、取得、分類などのタスクのためにセマンティック情報を取得するプロセスです。
埋め込み分析により、埋め込み機能のパフォーマンス、安定性、および有効性を包括的に監視し、大規模モデルアプリケーションの最適化と管理のための貴重なデータを提供します。
パネル
説明
埋め込み回数
指定された期間内の埋め込み呼び出しの総数。
平均埋め込み時間
指定された期間内のすべての埋め込み呼び出しで消費された平均時間。
埋め込みエラー回数
指定された期間内に失敗した埋め込み呼び出しの数。
埋め込み回数/1m
1 分あたりの埋め込み呼び出しの総数。
埋め込み時間/1m
1 分あたりのすべての埋め込み呼び出しで消費された平均時間。
埋め込みエラー/1m
1 分あたりに失敗した埋め込み呼び出しの数。
上位 5 件の埋め込み回数
呼び出し回数で降順にソートされ、呼び出しボリュームが最も高い上位 5 件の埋め込み機能またはモデルが表示されます。
上位 5 件の埋め込み時間
平均時間で降順にソートされ、時間消費量が最も長い上位 5 件の埋め込み機能またはモデルが表示されます。
上位 5 件の埋め込みエラー
呼び出しエラー回数で降順にソートされ、エラー率が最も高い上位 5 件の埋め込み機能またはモデルが表示されます。
取得オーグメンテーション
大規模モデルアプリケーションにおける取得オーグメンテーション生成 (RAG) とは、取得と再ランク付けを組み合わせることで、コンテンツの関連性と精度を高める手法です。
取得と再ランク付けのメトリックを監視することで、取得オーグメンテーション機能のパフォーマンス、安定性、および有効性を包括的に評価し、大規模モデルアプリケーションの最適化をサポートします。
パネル
説明
取得
呼び出し回数
指定された期間内の取得操作の呼び出しの総数。
平均呼び出し時間
指定された期間内のすべての取得操作で消費された平均時間。
エラー回数
指定された期間内に失敗した取得呼び出しの数。
呼び出し回数/1m
1 分あたりの取得呼び出しの総数。
呼び出し時間/1m
1 分あたりのすべての取得呼び出しで消費された平均時間。
エラー回数/1m
1 分あたりに失敗した取得呼び出しの数。
再ランク付け
呼び出し回数
指定された期間内の再ランク付け操作の呼び出しの総数。
平均呼び出し時間
指定された期間内のすべての再ランク付け操作で消費された平均時間。
エラー回数
指定された期間内に失敗した再ランク付け呼び出しの数。
呼び出し回数/1m
1 分あたりの再ランク付け呼び出しの総数。
呼び出し時間/1m
1 分あたりのすべての再ランク付け呼び出しで消費された平均時間。
エラー回数/1m
1 分あたりに失敗した再ランク付け呼び出しの数。
ツール呼び出し
大規模モデルアプリケーションにおけるツール呼び出しとは、電卓、データベースクエリ、検索エンジン、翻訳サービスなどの外部ツールまたは API を使用して、複雑なタスクまたは特定のタスクに対するモデルの機能を強化することを指します。
ツール呼び出しデータを監視することで、大規模モデルアプリケーションと外部ツール間の相互作用を包括的に評価し、最適化と管理作業をサポートします。
パネル
説明
呼び出し回数
指定された期間内のツール呼び出しの総数。
平均呼び出し時間
指定された期間内のすべてのツール呼び出しで消費された平均時間。
エラー回数
指定された期間内に失敗したツール呼び出しの数。
呼び出し回数/1m
1 分あたりのツール呼び出しの総数。
呼び出し時間/1m
1 分あたりのすべてのツール呼び出しで消費された平均時間。
エラー回数/1m
1 分あたりに失敗したツール呼び出しの数。
上位 5 件の呼び出し回数
呼び出し回数で降順にソートされ、呼び出しボリュームが最も高い上位 5 件のツールが表示されます。
上位 5 件の呼び出し時間
平均時間で降順にソートされ、時間消費量が最も長い上位 5 件のツールが表示されます。
上位 5 件のエラー
呼び出しエラー回数で降順にソートされ、エラー率が最も高い上位 5 件のツールが表示されます。
メソッド呼び出し
大規模モデルアプリケーション内のメソッド呼び出しは、ローカルメソッドの実行や重要なタスク操作など、内部のカスタムメソッドに関連します。
メソッド呼び出しデータを包括的に監視することで、大規模モデルアプリケーションでの内部メソッドの使用状況を評価し、最適化と操作のためのデータサポートを提供します。
パネル
説明
呼び出し回数
指定された期間内のメソッド呼び出しの総数。
平均呼び出し時間
指定された期間内のすべてのメソッド呼び出しで消費された平均時間。
エラー回数
指定された期間内に失敗したメソッド呼び出しの数。
呼び出し回数/1m
1 分あたりのメソッド呼び出しの総数。
呼び出し時間/1m
1 分あたりのすべてのメソッド呼び出しで消費された平均時間。
エラー回数/1m
1 分あたりに失敗したメソッド呼び出しの数。
上位 5 件の呼び出し回数
呼び出し回数で降順にソートされ、呼び出しボリュームが最も高い上位 5 件のメソッドが表示されます。
上位 5 件の呼び出し時間
平均時間で降順にソートされ、時間消費量が最も長い上位 5 件のメソッドが表示されます。
上位 5 件のエラー
呼び出しエラー回数で降順にソートされ、エラー率が最も高い上位 5 件のメソッドが表示されます。