E-MapReduce:ClickHouse

機能

説明

列指向ストレージ

列指向ストレージは、行指向ストレージよりもクエリパフォーマンスに優れ、より高いデータ圧縮率によってストレージ容量を節約します。

MPP アーキテクチャ

各ノードはローカルメモリとストレージのみにアクセスし、ノード間で連携しながらデータを並列に処理します。この設計により高いクエリパフォーマンスを提供し、容易にスケールできます。

ベクトル化エンジン：データを列単位で格納し、ベクトル (列の一部) 単位で処理することで、CPU の利用効率を高めます。

SQL サポート

ClickHouse は、ANSI SQL 標準に類似した宣言型の SQL ベースのクエリ言語をサポートします。GROUP BY、ORDER BY、FROM、JOIN、IN クエリに加え、非相関サブクエリもサポートします。

リアルタイムデータ更新

ClickHouse では、テーブルにプライマリキーを定義できます。データは MergeTree において増分的にソートされて格納されるため、プライマリキーに対する高速な範囲検索が可能です。

ClickHouse は、ニアリアルタイムのデータ挿入、メトリクスの集約、インデックス作成をサポートします。

インデックスサポート

ClickHouse はプライマリキーでデータをソートするため、特定の値またはデータ範囲を数十ミリ秒で特定できます。

シナリオ

説明

ユーザー行動分析

行動分析システム向けに大規模なワイドテーブルを作成します。各テーブルには 1,000 を超える列が含まれます。JOIN 操作の回数を削減でき、パス解析、ファネル分析、パスコンバージョン分析をサポートします。

トラフィックと監視

Flink や Spark Streaming などのストリームコンピューティングエンジンを使用して、システムおよびアプリケーションの監視メトリクスをクレンジングして処理します。データをリアルタイムで ClickHouse に書き込み、Grafana で結果を可視化します。

ユーザープロファイル

さまざまなユーザー特徴を変換し、全ユーザー向けに 1 つ以上の特徴テーブルを作成します。これらのテーブルは、広告やユーザーセグメンテーションなどのビジネス要件に対応する柔軟なユーザープロファイル分析をサポートします。

リアルタイム BI レポート

ビジネス要件を満たす柔軟なリアルタイム BI レポートを作成します。ほとんどのクエリは数秒で結果を返します。例として、注文分析、マーケティング効果分析、販売促進分析などが挙げられます。