すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:Kyuubi

最終更新日:Jan 11, 2025

Apache Kyuubi は、Spark、Flink、Trino などのデータレイククエリエンジンに対して SQL クエリなどのクエリサービスを提供する、分散型マルチテナントゲートウェイです。

機能

  • マルチテナンシー: Kyuubi は、統合認証または承認レイヤーを使用して、リソースの取得とデータまたはメタデータへのアクセスに対してエンドツーエンドのマルチテナンシーを提供します。

  • 高可用性: Kyuubi は、ZooKeeper を使用した負荷分散をサポートしています。これにより、エンタープライズレベルの高可用性と無制限のクライアント同時実行性が保証されます。

  • 複数のワークロード: Kyuubi は、1 つのプラットフォーム、1 つのコピーのデータ、および 1 つの SQL インターフェースを使用して、複数のワークロードを簡単にサポートできます。

シナリオ

  • インタラクティブ分析: Kyuubi は、ビッグデータの視覚化されたインタラクティブ分析のためのエンタープライズレベルの分析プラットフォームの構築に役立ちます。このプラットフォームは、一般的なコンピューティングフレームワークをサポートしています。Kyuubi は、Java Database Connectivity(JDBC)および Open Database Connectivity(ODBC)インターフェースをサポートしています。SQL またはビジネスインテリジェンス(BI)ツールを使用して Kyuubi にアクセスし、効率的にクエリを実行できます。Kyuubi は、バックグラウンドエンジンインスタンスをユーザーレベルでキャッシュして、コンピューティングリソースの共有と迅速な応答を保証します。これにより、大量のデータを並列でクエリし、クエリ結果を迅速に返すことができます。

  • バッチ処理: Kyuubi は、特に大規模な抽出、変換、ロード(ETL)プロセス向けに、バッチ処理用の SQL インターフェースを提供します。Kyuubi とそのエンジンは、独立したストレージと多数のデータソースをサポートしています。Kyuubi は、バックグラウンドエンジンインスタンスを接続レベルで分離して、コンピューティングリソースの分離と安定性を向上させます。

Kyuubi、Livy、Spark Thrift Server の比較

項目

Kyuubi

Livy

Spark Thrift Server

サポートされているインターフェース

SQL および Scala

SQL、Scala、Python、および R

SQL

サポートされているエンジン

Spark、Flink、および Trino

Spark

Spark

Spark バージョン

Spark 3.x

Spark 2.x および Spark 3.x

組み込みの Spark コンポーネント

サポートされているプロトコル

Thrift および JDBC

HTTP、および Thrift および JDBC

Thrift および JDBC

クライアント

Kyuubi Beeline

HTTP Client

Spark Beeline

高可用性

サポートされています

サポートされています

サポートされていません

リソースの分離

サポートされています

サポートされています

サポートされていません

Lightweight Directory Access Protocol(LDAP)認証

サポートされています

サポートされています

サポートされています

Alibaba Cloud EMR バージョン

  • V3.42.0 以降

  • V5.8.0 以降

  • V3.40.0 以前

  • V5.6.0 以前

すべてのバージョン

参照