E-MapReduce:StarRocks

StarRocks とは

• StarRocks は、多様なシナリオで高速な統合分析を実現するように設計された、次世代の超並列処理 (MPP) データベースです。

• StarRocks は MySQL 互換です。MySQL クライアントや BI ツールと接続してデータを分析できます。

• StarRocks は分散アーキテクチャを使用しています：

  • データテーブルを水平にパーティション分割し、複数のレプリカとして保存します。

  • クラスターは、最大 10 PB のデータ量までスケールします。

  • MPP を使用してクエリを高速化します。

  • 複数のレプリカをサポートしてフォールトトレランスを保証します。

主な機能

StarRocks は、MPP と分散システムの設計を組み合わせています。主な機能は次のとおりです：

シンプルなアーキテクチャ

• StarRocks は、MPP フレームワークを通じて SQL クエリを実行し、すべてのノードを並列に活用してインタラクティブ分析を行います。

• StarRocks クラスターには外部依存関係がないため、デプロイメントとメンテナンスが簡素化され、信頼性も向上します。

完全なベクトル化エンジン

計算レイヤーは完全にベクトル化されています。カラムナメモリレイアウトと SIMD 命令を使用して CPU の並列処理を最大限に活用し、サブ秒レベルの多次元分析を可能にします。

インテリジェントなクエリ最適化

StarRocks はコストベースオプティマイザー (CBO) を使用しています。これは実行コストを推定し、手動での介入なしに最適なクエリプランを生成することで、アドホックおよび ETL ワークロードの効率を向上させます。

フェデレーテッドクエリ

StarRocks は、外部テーブルに対するフェデレーテッドクエリをサポートしています。Hive、MySQL、Elasticsearch、Iceberg、Hudi のデータをインポートせずに直接クエリできます。

効率的な更新

StarRocks は、詳細、集計、プライマリキー、更新の各データモデルをサポートしています。プライマリキーモデルは Upsert および Delete 操作をサポートしています。最適化されたストレージとインデックスにより、同時更新中の効率的なクエリが可能となり、リアルタイムデータウェアハウスに最適です。

インテリジェントなマテリアライズドビュー

• マテリアライズドビューを作成して、集計テーブルを事前計算し、クエリを高速化できます。

• マテリアライズドビューは、インポート中にデータを自動的に集計し、ソーステーブルとの一貫性を保ちます。

• StarRocks は、各クエリに最適なマテリアライズドビューを自動的に選択します。

標準 SQL

• StarRocks は、集計、JOIN、ソート、ウィンドウ関数、ユーザー定義関数などの標準 SQL をサポートしています。

• StarRocks は、TPC-H の全 22 クエリと TPC-DS の全 99 クエリを完全にサポートしています。

• StarRocks は MySQL 互換です。既存のクライアントツールや BI ソフトウェアを使用して、ドラッグアンドドロップで分析できます。

ストリームとバッチの統合処理

• StarRocks は、リアルタイムとバッチの両方のデータインポートをサポートしています。

• 対応ソース：Kafka、HDFS、およびローカルファイル。

• 対応フォーマット：ORC、Parquet、CSV。

• StarRocks は、exactly-once セマンティクスで Kafka データをリアルタイムで消費します。

• ローカルファイルおよび HDFS からのバッチインポートをサポートしています。

高可用性と容易なスケーリング

• StarRocks は、メタデータとデータを複数のレプリカとして保存し、ホットスタンバイサービスを利用して単一障害点を防ぎます。

• クラスターは自動的に自己修復します。ノードの障害がサービス全体の安定性に影響を与えることはありません。

• ストレージとコンピュートは、ほぼ線形にスケーリングします。単一のクラスターで数百のノードと最大 10 PB のデータをサポートします。

• サービスを中断することなく、スケールアップまたはスケールダウンできます。スケーリング中もクエリは引き続き実行されます。

• StarRocks はオンラインスキーマ変更をサポートしています。インポートとクエリを継続しながら、列の追加や削除、マテリアライズドビューの作成が可能です。

ユースケース