E-MapReduce:Kyuubi の概要

特徴

• マルチテナンシー：Kyuubi は、統一された認証・認可レイヤーを使用し、リソース取得、データアクセス、メタデータアクセスに対し、エンドツーエンドのマルチテナンシーサポートを提供します。

• 高可用性：Kyuubi は ZooKeeper を使用して負荷分散を行い、エンタープライズレベルの高可用性と無制限のクライアント同時実行性を提供します。

• 複数のワークロード：Kyuubi は、単一のデータレプリカと統一された SQL インターフェイスを使用し、単一のプラットフォームで複数のワークロードを処理します。

シナリオ

• 対話型分析：Kyuubi は、ビッグデータの対話型ビジュアル分析向けに、エンタープライズレベルの分析プラットフォームを実現します。一般的なコンピューティングフレームワーク、Java Database Connectivity (JDBC)、オープンデータベースコネクティビティ (ODBC) インターフェイスをサポートし、SQL または BI ツールによる効率的なクエリを可能にします。Kyuubi は、ユーザーレベルでバックエンドのエンジンインスタンスをキャッシュすることで、リソース共有を改善し、レスポンスを高速化します。大規模なデータセットに対するクエリを並列処理し、結果を迅速に返します。

• バッチデータ処理：Kyuubi は、大規模な抽出、変換、ロード (ETL) プロセスなどの一般的なバッチ処理向けに SQL インターフェイスを提供します。Kyuubi とそのエンジンはストレージに依存せず、多数のデータソースをサポートします。また、Kyuubi は接続レベルでバックエンドのエンジンインスタンスを分離し、リソース分離と安定性を向上させます。

Kyuubi、Livy、Spark ThriftServer の比較

関連ドキュメント

• Kyuubi エンジンの共有レベル

• Kyuubi エンジンの TTL