E-MapReduce:EMR Serverless StarRocks とは

MPP フレームワーク

StarRocks は、各クエリを物理的な計算ユニットに分割し、専用の CPU とメモリを持つマシン間で並列実行します。クラスターをスケールアウトすると、単一クエリのパフォーマンスもそれに合わせてスケールします。

ベクトル化実行エンジン

ベクトル化実行エンジンは、すべての演算子、関数、スキャンおよびフィルタリングモジュール、インポートおよびエクスポートモジュールを CPU レベルで最適化します。単一命令複数データ (SIMD) 命令を使用して、クロックサイクル当たりに処理できるデータ量を増やします。標準データセットでのベンチマークでは、演算子全体のパフォーマンスが 3～10 倍向上することが示されています。

このエンジンには Operation on Encoded Data も含まれており、デコードせずにエンコードされた文字列に対して直接、結合、集計、式演算子を実行します。これにより SQL 実行の複雑さが低減され、クエリ速度が 2 倍以上向上します。

コンピューティングとストレージの分離

StarRocks 3.0 で導入されたコンピューティングとストレージの分離アーキテクチャは、コンピューティングをストレージから切り離し、それぞれを独立してスケールできるようにします。コンピュートノードは数秒でスケールし、コンピューティングとストレージを同時に増やす必要がある場合に発生する過剰プロビジョニングを解消します。

ストレージ層は、ほぼ無制限の容量を持つさまざまなオブジェクトストレージサービスを使用し、Hadoop 分散ファイルシステム (HDFS) と互換性があります。コンピューティングとストレージの分離アーキテクチャは、コンピューティングとストレージの統合アーキテクチャと機能面で同等です。データ更新、データレイク分析、マテリアライズドビューによる高速化はいずれも同様に動作します。データ書き込みとホットデータのクエリ性能も、2 つのアーキテクチャでほぼ同等です。

コストベースオプティマイザー

複雑な複数テーブルの結合クエリでは、有効な実行計画の数がテーブル数に対して指数関数的に増加するため、最適な計画選択は NP 困難になります。StarRocks CBO は、ベクトル化実行エンジン向けにカスタマイズされた cascades ライクなアーキテクチャを採用しています。次をサポートします：

• 共通部分式の再利用とサブクエリのクエリ書き換え

• Lateral Join と Join Reorder

• 分散結合の実行ポリシー選択

• 低カーディナリティ辞書エンコーディングの最適化

CBO は 99 個すべての TPC-DS SQL ステートメントをサポートします。

リアルタイムカラムナストレージエンジン

StarRocks はデータをカラム形式で格納することで、圧縮率を向上させ、ディスク I/O を削減し、一部の列のみを読み取るクエリを高速化します。これは OLAP ワークロードで一般的なパターンです。StarRocks は数秒でデータをロードでき、ほぼリアルタイムのデータ処理機能を提供します。

ストレージエンジンは、データのインポートに対して ACID (原子性、一貫性、独立性、永続性) を保証します。バッチインポートは原子的に成功または失敗し、同時実行されるトランザクションはスナップショットアイソレーションの恩恵を受けます。また、部分更新とアップサートをサポートし、読み取り時の sort-and-merge のオーバーヘッドを回避するために、Delete-and-Insert モードの主キーインデックスを使用します。セカンダリインデックスは、高スループットのデータ更新シナリオに対応します。

インテリジェントなマテリアライズドビュー

StarRocks のマテリアライズドビューは自動的に動作します：

• 自動同期 ：ソーステーブルのデータが変更されると、対応するマテリアライズドビューが変更を検知し、リアルタイムで更新を適用して、データの一貫性を維持します

• 透過的なクエリ書き換え ：クエリ計画時に、StarRocks がマテリアライズドビューでクエリを高速化できるかどうかを検知し、クエリを自動的に書き換えます。アプリケーションの変更は不要です

• バックグラウンドでのライフサイクル管理 ：手動介入なしでマテリアライズドビューを作成および削除できます。システムがバックグラウンドで処理します

• ETL の置き換え ：マテリアライズドビューを使用して、データをその場で変換および処理し、従来の ETL (抽出、変換、ロード) パイプラインと上流の前処理を置き換えます

データレイク分析

外部カタログを使用してデータレイクを直接クエリできます。データ移行は不要です。StarRocks は次をサポートします：

• テーブル形式 ：Apache Hive、Apache Iceberg、Apache Hudi、Delta Lake

• ファイル形式 ：Parquet、ORC、CSV

• ストレージサービス ：HDFS、Amazon Simple Storage Service (S3)、Object Storage Service (OSS)

このモデルでは、データレイクが BI、AI、アドホッククエリ、レポーティングのワークロードにおける信頼できる唯一の情報源 (SSOT) として機能し、StarRocks はベクトル化実行エンジンと CBO を使用してコンピューティングと分析を担います。