Apache Kyuubi は、Spark、Flink、Trino などのデータレイククエリエンジンに対して SQL クエリなどのクエリサービスを提供する、分散型マルチテナントゲートウェイです。
機能
マルチテナンシー: Kyuubi は、統合認証または承認レイヤーを使用して、リソースの取得とデータまたはメタデータへのアクセスに対してエンドツーエンドのマルチテナンシーを提供します。
高可用性: Kyuubi は、ZooKeeper を使用した負荷分散をサポートしています。これにより、エンタープライズレベルの高可用性と無制限のクライアント同時実行性が保証されます。
複数のワークロード: Kyuubi は、1 つのプラットフォーム、1 つのコピーのデータ、および 1 つの SQL インターフェースを使用して、複数のワークロードを簡単にサポートできます。
シナリオ
インタラクティブ分析: Kyuubi は、ビッグデータの視覚化されたインタラクティブ分析のためのエンタープライズレベルの分析プラットフォームの構築に役立ちます。このプラットフォームは、一般的なコンピューティングフレームワークをサポートしています。Kyuubi は、Java Database Connectivity(JDBC)および Open Database Connectivity(ODBC)インターフェースをサポートしています。SQL またはビジネスインテリジェンス(BI)ツールを使用して Kyuubi にアクセスし、効率的にクエリを実行できます。Kyuubi は、バックグラウンドエンジンインスタンスをユーザーレベルでキャッシュして、コンピューティングリソースの共有と迅速な応答を保証します。これにより、大量のデータを並列でクエリし、クエリ結果を迅速に返すことができます。
バッチ処理: Kyuubi は、特に大規模な抽出、変換、ロード(ETL)プロセス向けに、バッチ処理用の SQL インターフェースを提供します。Kyuubi とそのエンジンは、独立したストレージと多数のデータソースをサポートしています。Kyuubi は、バックグラウンドエンジンインスタンスを接続レベルで分離して、コンピューティングリソースの分離と安定性を向上させます。
Kyuubi、Livy、Spark Thrift Server の比較
項目 | Kyuubi | Livy | Spark Thrift Server |
サポートされているインターフェース | SQL および Scala | SQL、Scala、Python、および R | SQL |
サポートされているエンジン | Spark、Flink、および Trino | Spark | Spark |
Spark バージョン | Spark 3.x | Spark 2.x および Spark 3.x | 組み込みの Spark コンポーネント |
サポートされているプロトコル | Thrift および JDBC | HTTP、および Thrift および JDBC | Thrift および JDBC |
クライアント | Kyuubi Beeline | HTTP Client | Spark Beeline |
高可用性 | サポートされています | サポートされています | サポートされていません |
リソースの分離 | サポートされています | サポートされています | サポートされていません |
Lightweight Directory Access Protocol(LDAP)認証 | サポートされています | サポートされています | サポートされています |
Alibaba Cloud EMR バージョン |
|
| すべてのバージョン |