LLM (大規模言語モデル) アプリケーションは、大規模な言語モデル上に構築されたさまざまなアプリケーションを網羅しています。膨大なデータセットと多数のパラメーターでトレーニングされたこれらのモデルは、人間と同様に自然言語でクエリに応答できます。自然言語処理、テキスト生成、知的対話などの分野で広く使用されています。
LLM の出力は予測できない場合があり、いくつかの要因がパフォーマンスに影響を与える可能性があります。たとえば、トレーニングと本番環境間の潜在的なドリフト、パフォーマンスの低下につながるデータ分布のシフト、一貫性のないデータ品質、信頼性の低い外部データソースなどです。モデル出力品質の低下を迅速に特定することが不可欠です。
ARMS は、LLM アプリケーション向けに Python プローブによる自動イベントトラッキング を提供します。 ARMS を使用すると、LLM アプリケーションの呼び出しチェーンを簡単に視覚化し、さまざまな操作の入力と出力、およびトークン消費に関するインサイトを提供できます。
監視ビューについては、以下を参照してください。
メトリックとフィールドの説明については、以下を参照してください。