SessionStore は、Simple Log Service (SLS) が AI アプリケーション向けに提供する、セッションレベルのストレージおよび分析リソースです。エージェントのトラブルシューティング、パフォーマンス最適化、効果評価、セキュリティ監査、コスト分析などのシナリオに適しています。SessionStore は、マルチターンのユーザーセッションを、アプリケーションログ、モデルの入力と出力、トラジェクトリ、ツール呼び出しに関連付けます。これにより、異常な応答をレイヤーごとに特定の実行ステップまで追跡し、誤回答、ツール呼び出しの失敗、コールチェーンにおける高レイテンシーなどの問題を特定するとともに、トークン消費量やモデルおよびツールの使用状況を分析できます。SessionStore は、AI アプリケーションを継続的に最適化し運用するためのデータを提供します。
SessionStore とは
SessionStore は Simple Log Service プロジェクト内に存在します。1 つのプロジェクトで異なるアプリケーションの SessionStore を管理でき、同一アプリケーションのデータを複数のビューで確認できます。
|
データビュー |
内容 |
代表的な質問 |
|
生データ |
インジェストされた、または関連付けられた生ログ |
データは正常にレポートされますか。生フィールドは正しいですか。 |
|
単一トラジェクトリ |
実行の入力と出力、ステップ、およびエージェント間の関係 |
リクエストのどこで時間が費やされ、どのツールが使用されていますか。 |
|
セッション |
セッション ID によって関連付けられたマルチターンの対話と実行トラジェクトリ |
セッションのコンテキストは何ですか。どのターンで例外が発生していますか。 |
|
トラジェクトリ機能 |
実行プロセスから抽出されるツール、ファイル、スキル、またはメモリのイベント |
どの種類のツールが頻繁にエラーを返しますか。どのトラジェクトリが特定のファイルにアクセスしましたか。 |
基本概念
|
概念 |
説明 |
|
生データ (Raw) |
アプリケーション、コレクター、またはゲートウェイによってレポートされるログです。生データは、収集やフィールドに関する問題をトラブルシューティングするための基盤です。 |
|
トラジェクトリ |
実行プロセスを構造化した表現であり、入力と出力、実行ステップ、およびデータ内で明示的に提供されるエージェントの呼び出し関係を含みます。各生 span を個別のトラジェクトリとして扱わないでください。 |
|
セッション |
同一のセッション ID によって関連付けられた対話のグループです。1 つのセッションには複数の実行トラジェクトリを含めることができます。 |
|
トラジェクトリ機能 |
ツール呼び出しやファイルの読み書きなど、実行プロセスにおける特定の振る舞いを構造化して記録したものです。機能レコードは検索と統計に使用され、品質スコアと同等ではありません。 |
|
ステップ |
モデルの対話、ツール呼び出し、またはツールのリターンなど、トラジェクトリ内のイベントです。 |
|
トレース ID |
コールチェーンの実行を関連付けるために使用される識別子です。この識別子を利用できるかどうかは、データソースによって異なります。 |
データインジェストモードの選択
SessionStore は 2 つのモードをサポートします:直接書き込みモードと参照モードです。
|
項目 |
直接書き込みモード (managed) |
参照モード (reference) |
|
シナリオ |
新しいアプリケーションからデータをインジェストする場合、または SessionStore にデータを直接書き込みたい場合。 |
アプリケーションデータがすでに標準 Logstore に収集されている場合。 |
|
データの書き込み先 |
現在のプロジェクト内の SessionStore |
元のソース Logstore |
|
作成時にソース Logstore を選択するかどうか |
いいえ |
はい。ソースプロジェクトとソース Logstore を選択する必要があります。 |
|
データソースのスコープ |
現在の SessionStore のインジェストパイプライン |
同一 Alibaba Cloud アカウントに属し、同一リージョン内に存在する標準 Logstore。Logstore は異なるプロジェクトに属していてもかまいません。 |
|
収集設定の管理 |
SessionStore のデータインジェストエントリから管理 |
ソース Logstore で管理 |
|
生データのインデックス |
SessionStore で作成または変更できます |
SessionStore では読み取り専用です。ソース Logstore でインデックスを変更する必要があります。 |
|
SessionStore の保持ポリシーの調整 |
SessionStore が管理するデータを調整します |
ソース Logstore の保持ポリシーは変更されません |
サポートされるデータ形式
|
データ形式 |
適用可能なソース |
|
OpenTelemetry トレース |
OpenTelemetry のトレースまたは span の形式でレポートされる実行チェーンおよび GenAI データ。 Cloud Monitor 2.0 または Application Real-Time Monitoring Service (ARMS) エージェントを使用してインジェストされるトレースログ、または OpenTelemetry SDK を使用してインジェストされるトレースログ。 |
|
OpenTelemetry Log eBPF |
対応する形式で収集される eBPF エージェントログ。 Simple Log Service の LoongCollector の input_agentsight プラグインを使用して収集されるログ。 |
|
OpenTelemetry Log AI Gateway |
Alibaba Cloud AI Gateway のログ |
代表的なシナリオ
異常な応答のトラブルシューティング
エージェントが誤った回答を返す、ツール呼び出しが失敗する、またはタスクが期待どおりに完了しない場合、実行トラジェクトリ内のモデルの入力と出力、ツールパラメータ、返された結果を確認して、例外が発生したステップを特定できます。関連付けられた生ログに基づいて回答の根拠を確認することもできます。例えば、カスタマーサービスエージェントが「注文の支払いを受領していない」と回答した場合、注文照会、支払い記録、障害情報を追跡して、回答が事実に基づいているかどうかを判断できます。
マルチエージェント協調の分析
複数のエージェントでタスクを完了する場合、トラジェクトリに記録されたメインエージェントとサブエージェント間の関係を使用して、タスクの委任、分岐実行、結果の返却プロセスを再構成できます。これにより、どのエージェントが問題を引き起こしているか、分岐結果が最終回答にどのように影響するかを分析できます。例えば、カスタマーサービスエージェントが障害のトラブルシューティングを診断エージェントに委任した後、診断結果が正しく利用されているかを確認できます。
マルチターンセッションとタスク結果の追跡
ユーザーが同一の問題について追加質問を行う場合、セッションを使用して会話の各ターンをその実行トラジェクトリに関連付けることができます。次に、ビジネスステータスの変化、各ターンの照会結果、エージェントの回答を比較し、新しい根拠に基づいてエージェントが判断を更新しているかどうかを確認できます。例えば、「支払い済みだが未着」「サービス復旧」「再度支払いを検証」といった一連の対話では、サービスの復旧と注文の支払いの実受領を区別し、エージェントが古いコンテキストに依存しているケースや、検証なしに「問題は解決した」と主張するケースを特定できます。
実行レイテンシーとリソース消費の分析
エージェントの応答が遅い、または大量のトークンを消費する場合、セッション、ターン、モデル、エージェントごとに呼び出し回数、実行レイテンシー、トークン使用量を分析できます。特定のモデル呼び出し、ツール呼び出し、協調分岐までドリルダウンし、レイテンシーが集中しているステップや繰り返し実行が発生している箇所を特定できます。これにより、モデル選定、コンテキストの整理、協調ワークフローを調整するための根拠を得られます。
エージェント操作と実行根拠の監査
エージェントがタスク要件に従っているかどうかを確認する必要がある場合、ツール名、呼び出しパラメータ、返された結果、生レコードを使用して、実際に実行された操作を追跡し、関連付けられた業務伝票に照らして結果を検証できます。例えば、注文照会のみが許可されるタスクでは、収集された実行レコードに再発行や返金の呼び出しが含まれていないか、また「支払いを受領した」という回答が支払い記録で裏付けられているかを確認できます。
評価および回帰サンプルの作成
モデル、プロンプト、またはエージェントバージョンの変更効果を検証する必要がある場合、本番セッションの連続する質問と回答、実行トラジェクトリ、ツール結果を評価サンプルとして整理できます。これらのサンプルは、AgentLoop などの評価システムに対して、再利用可能なコンテキストと実行エビデンスを提供します。例えば、サービスは復旧しているものの支払い記録が存在しないセッションを回帰ケースとして使用し、新バージョンでも「伝票なしに支払い受領を主張してはならない」というルールに従っているかを確認できます。