EventBridge:EventHouse の概要

コアコンポーネント

EventHouse は、独立して、また協調して動作する 3 つのコアコンポーネントで構成されています：

コアバリュー

ゼロ ETL (シームレスなデータ統合)

RDS や OSS などの外部データソースを直接マッピングし、データを EventHouse に移動することなくフェデレーティッドクエリを実行します。これにより、データレイテンシーとストレージコストを削減します。

統一されたガバナンス

オープンカタログは、しばしば「ダークデータ」と呼ばれるメッセージキュー内のスキーマレスデータに、標準化されたメタデータ管理とデータリネージの追跡をもたらし、データサイロの解消に役立ちます。

エージェント型アナリティクス

EventHouse は MCP をネイティブに統合しており、AI エージェントがイベントデータの構造を理解し、自然言語クエリを使用して分析を実行できるようにします。

統一されたメタデータ管理

• マルチソースマッピング：Kafka、RocketMQ、RDS などのデータソースからメタデータを自動的に検出し、登録します。

• スキーマエボリューション：イベントデータのスキーマバージョンを自動的に推測し、管理します。アップストリームのフィールドが変更された場合でも、互換性のあるバージョン管理によって、ダウンストリームの分析タスクが中断されることなく継続されます。

• データリネージの追跡：イベントのライフサイクル全体を、生成 (Producer)、ストレージ (EventStore)、分析 (Analysis) に至るまで追跡し、トラブルシューティングと影響評価をサポートします。

オープンエコシステムとの互換性

オープンカタログは、Iceberg、Hudi、Delta Lake などのオープンなテーブルフォーマットをサポートしています。データはベンダーロックインされないため、任意のコンピューティングエンジンを自由に選択できます。

権限とセキュリティ

きめ細かなアクセスコントロール (ACL) は、データベース、テーブル、列の 3 つのレベルで利用できます。

適用シナリオ：統一されたデータビュー

E コマースのシナリオでは、注文データがリアルタイムストリーム用の RocketMQ と永続化用の MySQL に分散している場合があります。カタログで統一されたビューを作成して、MQ 内のリアルタイム注文ストリームをデータベース内のユーザー情報テーブルと論理的に関連付けることができます。これにより、基盤となるデータの物理的な保存場所を意識することなく、このビューに直接クエリを実行できます。

インテリジェントクエリエンジン

• マルチモーダルクエリ：構造化クエリ用の SQL、ドキュメントクエリ用の NoSQL、外部データソースクエリ用の External の 3 つのクエリモードをサポートしています。

• ストリームバッチ統合：同じ SQL 構文で、履歴アーカイブデータ (Batch) とリアルタイムの受信イベントストリーム (Streaming) の両方にクエリを実行できます。

• マテリアライズドビュー：事前計算されたマテリアライズドビューは、高頻度で使用されるクエリ結果をキャッシュし、ミリ秒レベルの応答時間を実現します。

フェデレーティッドクエリ

• クロスソース連合分析：データを移行せずに、SQL JOIN を使用して、EventHouse の内部テーブルと、OSS ログファイルや RDS ディメンションテーブルなどの外部データソースを直接関連付けます。

• 述語プッシュダウン：フィルター条件はソースにプッシュダウンされて実行されるため、必要なデータのみがプルされ、クエリ効率が向上します。

リアルタイムの異常検知

• 組み込みの時間窓関数 (タンブル、ホップ、セッション) は、トランザクション成功率やレイテンシー分布などのメトリクスをリアルタイムで計算します。

• これをルールエンジンと組み合わせることで、分析結果がしきい値を超えた場合 (たとえば、「1 分間に 100 件を超える注文の失敗」など) に、アラートイベントを自動的にトリガーします。

技術的利点

DataAgent

Luma には、自律的に「認識-計画-実行」のループを実行する組み込みの DataAgent が含まれています：

1. 認識：トランザクション量の異常な低下が検出されました。

2. 計画：関連する決済ゲートウェイのログとデータベースの接続プールのステータスをクエリすることを決定します。

3. 実行：関連分析のための SQL を自動的に生成し、根本原因レポートを出力します。

適用シナリオ：E コマースのリスク管理

1. 運用チームのメンバーが「過去 30 分間に異常なブラッシング行為はありましたか？」と尋ねます。

2. Luma Agent は MCP を使用してカタログ情報を取得し、Transaction_Table と User_Behavior_Log を特定します。

3. Agent は、関連付け SQL (時間窓、IP 集計、デバイスフィンガープリント分析を含む) を自動的に生成し、EventHouse 分析エンジンで実行します。

4. 疑わしいブラッシング行為を行ったユーザー ID のリストを返し、ナレッジベースを使用してリスクレポートを生成します。