DataLens AI - ApsaraDB for SelectDB - Alibaba Cloud ドキュメントセンター

DataLens AI は、大規模言語モデル (LLM) とエージェントで構築されたアプリケーションにエンドツーエンドの可観測性を提供します。エンドツーエンドトレース、プロンプト管理、自動評価により、実行エラーの特定、トークン消費量の定量化、出力品質の評価に役立ちます。この機能は、本番環境でエージェントを実行する際の、予測不能な出力や隠れたコストといった課題に対処します。

コア機能

LLM の可観測性

LLM アプリケーションには、従来の監視方法では十分に対応できない、複雑で非決定的なインタラクションが含まれます。DataLens AI は、LLM アプリケーションにおけるトークン消費量、呼び出しレイテンシー、ツール呼び出しなどの主要なメトリクスに関する明確なインサイトを提供する包括的なトレース機能を提供し、ディメンションごとのデータスライスをサポートします。

エンドツーエンドトレース：DataLens AI は、複雑な実行プロセスを 3 つのコアレイヤーに分解し、エンドツーエンドの可観測性を提供します。
- セッション：複数ターンにわたるユーザーとの対話を含む、エージェントセッションの完全な記録です。セッションビューを使用してコンテキスト全体を確認し、エージェントがハルシネーションを起こしたり、コンテキストから逸脱したりした箇所を特定できます。
- トレース：ユーザー入力からエージェント出力までの単一のやり取りです。入力、出力、実行時間、トークン消費量の詳細な内訳を提供します。エージェントの実行パスをツリー形式およびグラフ形式で可視化し、パフォーマンスのボトルネックや高コストのオペレーションを迅速に特定するのに役立ちます。
- 生成/スパン：各生成とスパンの実行時間、消費トークン、中間結果など、トレース内のすべてのアトミックオペレーションを確認できます。この詳細情報により、的を絞った最適化が可能になります。
セッションとユーザーの追跡：複数ターンの会話をセッションとして追跡し、ユーザー情報にリンクします。
エージェントの可視化：エージェントの実行フローをツリー形式またはグラフ形式で可視化します。
柔軟なデータ収集：Dify や Ragflow などの人気のある大規模モデル開発フレームワークとのゼロコード統合をサポートします。また、ネイティブの Python/JS SDK、OpenTelemetry、その他の方法を使用してデータを収集することも可能で、14 以上の主流の AI フレームワークに対応しています。

プロンプト管理

プロンプトの管理は、エージェントアプリケーションの開発と反復において重要な部分です。DataLens AI は、プロンプトをコードから分離し、バージョン管理とチームコラボレーションを可能にする専用のプロンプト管理機能を提供します。

プロンプトとコードの分離：アプリケーションコードからプロンプトを分離し、独立して管理・デプロイします。
アジャイルな反復：アプリケーションコードを変更することなく、プロンプトを迅速に調整・最適化します。
A/B テスト：バージョンタグを使用してプロンプトの A/B テストを実行し、最適化を迅速に検証します。
プレイグラウンド：オンラインの実験環境で、さまざまなプロンプトの効果を直接テストします。

評価

DataLens AI は、複数のディメンションにわたって LLM の出力品質を評価するための柔軟な評価システムを提供し、エージェントアプリケーションのパフォーマンスを継続的に向上させるのに役立ちます。

オフラインおよびオンライン評価：データセットに基づくオフライン評価と、本番環境でのオンライン評価の両方をサポートします。
複数のスコアリングタイプ：数値、カテゴリ、ブール値、テキストに基づくスコアなど、さまざまなスコアリング方法をサポートします。
ジャッジとしての LLM： LLM を使用して生成された結果を自動的にスコアリングし、大規模な品質評価を可能にします。
人間によるスコアリングとアノテーション：人間の評価者が生成された結果にスコアリングやアノテーションを行えるアノテーションキューを作成します。
SDK を使用したプログラムによるスコアリング： SDK を使用してカスタムのスコアリングロジックを定義し、CI/CD パイプラインに統合します。

メリット

オープンソースの Langfuse エコシステムと 100% 互換： Langfuse SDK および API と完全な互換性があります。既存の Langfuse 統合をコード変更なしで接続できます。
フルマネージド：ワンクリックでサービスをアクティベートできます。必要なリソースは自動的に作成されるため、基盤となるインフラストラクチャのデプロイやメンテナンスから解放されます。
14 以上の主流 AI フレームワークとの統合： Dify、Ragflow、LangChain、LlamaIndex、OpenAI SDK などの人気のあるフレームワークとのゼロコードまたはローコード統合をサポートします。
柔軟な評価システム：自動評価から人間によるアノテーションまで、完全な評価ワークフローを提供し、あらゆる段階での品質保証のニーズに応えます。

ユースケース

シナリオ	説明	コアバリュー
開発とデバッグ	エンドツーエンドトレースを使用して、エージェントの実行におけるエラーやパフォーマンスのボトルネックを特定します。	トラブルシューティング時間を短縮し、反復を加速します。
プロンプト管理	バージョン管理と A/B テストを使用して、プロンプトを一元管理し、反復開発します。	プロンプトをコードから分離し、効率的なチームコラボレーションを実現します。
品質評価	自動評価と人間によるアノテーションを通じて、エージェントの出力品質を継続的に評価します。	出力品質を定量化し、継続的な改善を推進します。
本番環境の監視	本番環境におけるトークン消費量、レイテンシー、エラー率をリアルタイムで監視します。	コストを管理し、異常を常に把握します。
チームコラボレーション	組織およびプロジェクト管理機能を使用して、複数のチーム間で可観測性データを共有します。	統一された可観測性プラットフォームにより、コラボレーションのオーバーヘッドが削減されます。

制限事項

項目	説明
インスタンスのバージョン要件	必要なコンポーネントのバージョンについては、ドキュメントをご参照ください。
サービスステータス	このサービスは現在、招待制プレビューです。サービスを有効にするには、アクセスを申請する必要があります。
パブリックインターネットアクセス	ジャッジとしての LLM など、パブリックインターネットアクセスを必要とする機能を使用する場合、Langfuse インスタンスがデプロイされている VPC に SNAT を設定する必要があります。設定の詳細については、インターネット NAT ゲートウェイをご参照ください。

ApsaraDB for SelectDB:DataLens AI