E-MapReduce:StarRocks の概要

StarRocks とは

• StarRocks は、さまざまなシナリオで高速な統合分析を実現する、次世代の超並列処理 (MPP) データベースです。

• StarRocks は MySQL 互換です。MySQL クライアントや BI ツールを使用して接続し、データを分析できます。

• StarRocks は分散アーキテクチャを採用しています。

  • データテーブルを水平方向にパーティション分割し、複数のレプリカとして保存します。

  • クラスターは最大 10 PB のデータを処理できるようにスケールします。

  • MPP 並列コンピューティングを使用してクエリを高速化します。

  • フォールトトレランスを確保するために複数のレプリカをサポートします。

主な機能

StarRocks は、MPP と分散システムの設計を組み合わせています。主な機能は次のとおりです。

シンプルなアーキテクチャ

• StarRocks は MPP フレームワークを介して SQL クエリを実行し、すべてのノードを並列活用することで対話型分析を実現します。

• StarRocks クラスターには外部依存関係がないため、デプロイとメンテナンスが簡素化され、信頼性が向上します。

完全なベクトル化エンジン

計算レイヤーは完全にベクトル化されています。カラムナメモリレイアウトと SIMD 命令を使用して CPU の並列性を最大化し、1 秒未満の多次元分析を可能にします。

インテリジェントなクエリ最適化

StarRocks はコストベースオプティマイザ (CBO) を使用して実行コストを推定し、手動介入なしで最適なクエリプランを生成します。これにより、アドホックおよび ETL ワークロードの効率が向上します。

フェデレーテッドクエリ

StarRocks は外部テーブルへのフェデレーテッドクエリをサポートしています。Hive、MySQL、Elasticsearch、Iceberg、Hudi のデータを、インポートせずに直接クエリできます。

効率的な更新

StarRocks は、詳細、集計、主キー、更新の各データモデルをサポートしています。主キーモデルは Upsert および Delete 操作をサポートします。最適化されたストレージとインデックスにより、同時更新中でも効率的なクエリが可能となり、リアルタイムデータウェアハウスに最適です。

インテリジェントなマテリアライズドビュー

• マテリアライズドビューを作成して集計テーブルを事前計算し、クエリを高速化できます。

• マテリアライズドビューはインポート中にデータを自動的に集計し、ソーステーブルとの整合性を維持します。

• StarRocks は、クエリごとに最適なマテリアライズドビューを自動的に選択します。

標準SQL

• StarRocks は、集計、JOIN、ソート、ウィンドウ関数、およびユーザー定義関数を含む標準 SQL をサポートしています。

• StarRocks は、TPC-H の全 22 クエリと TPC-DS の全 99 クエリに完全に対応しています。

• StarRocks は MySQL 互換です。既存のクライアントツールと BI ソフトウェアを使用して、ドラッグ＆ドロップで分析できます。

ストリーム処理とバッチ処理の統合

• StarRocks は、リアルタイムインポートとバッチインポートの両方に対応しています。

• 対応ソース：Kafka、HDFS、ローカルファイル。

• 対応フォーマット：ORC、Parquet、CSV。

• StarRocks は exactly-once セマンティクスで Kafka データをリアルタイムに取り込みます。

• ローカルファイルや HDFS からのバッチインポートに対応しています。

高可用性と容易なスケーリング

• StarRocks は、メタデータとデータをホットスタンバイサービスを備えた複数のレプリカとして保存し、単一障害点を防止します。

• クラスターは自動的に自己修復します。ノード障害が発生しても、サービス全体の安定性には影響しません。

• ストレージとコンピュートはほぼ線形にスケールします。単一クラスターで数百ノードと最大 10 PB のデータをサポートします。

• サービスを中断せずにスケールアップまたはスケールダウンできます。スケーリング中もクエリは継続して実行されます。

• StarRocks はオンラインでのスキーマ変更をサポートしています。インポートとクエリを継続したまま、列の追加や削除、マテリアライズドビューの作成が可能です。

ユースケース