Apache Kyuubi adalah gerbang terdistribusi multi-tenant yang menyediakan layanan kueri SQL untuk mesin kueri data lake seperti Spark, Flink, dan Trino.
Fitur
-
Multi-tenancy: Kyuubi menyediakan dukungan multi-tenancy end-to-end untuk akuisisi sumber daya, akses data, dan akses metadata melalui lapisan autentikasi dan otorisasi terpadu.
-
Ketersediaan tinggi: Kyuubi memanfaatkan ZooKeeper untuk load balancing, sehingga menawarkan ketersediaan tinggi tingkat enterprise dan konkurensi klien tak terbatas.
-
Beban kerja multipel: Kyuubi menangani beban kerja multipel dalam satu platform dengan satu replika data dan antarmuka SQL terpadu.
Skenario Penggunaan
-
Analisis interaktif: Kyuubi memungkinkan platform analitik tingkat enterprise melakukan analitik visual interaktif pada data besar. Kyuubi mendukung framework komputasi umum serta antarmuka Java Database Connectivity (JDBC) dan Open Database Connectivity (ODBC), sehingga memungkinkan kueri efisien melalui SQL atau alat Intelijen Bisnis (BI). Kyuubi melakukan cache instans mesin back-end di tingkat pengguna untuk meningkatkan berbagi sumber daya dan mempercepat tanggapan. Selain itu, Kyuubi memproses kueri pada dataset besar secara paralel dan mengembalikan hasil dengan cepat.
-
Pemrosesan data batch: Kyuubi menyediakan antarmuka SQL untuk pemrosesan batch umum, seperti proses extract, transform, and load (ETL) skala besar. Kyuubi dan mesinnya bersifat independen terhadap penyimpanan serta mendukung berbagai sumber data. Kyuubi juga dapat mengisolasi instans mesin back-end di tingkat koneksi guna mencapai isolasi sumber daya dan stabilitas yang lebih baik.
Perbandingan Kyuubi, Livy, dan Spark ThriftServer
|
Comparison item |
Kyuubi |
Livy |
Spark ThriftServer |
|
Supported interfaces |
SQL, Scala |
SQL, Scala, Python, and R |
SQL |
|
Supported engines |
Spark, Flink, Trino |
Spark |
Spark |
|
Spark version |
Spark 3.x |
Spark 2.x and Spark 3.x |
Included with the Spark component |
|
Protocol support |
Thrift and JDBC |
HTTP, Thrift, and JDBC |
Thrift and JDBC |
|
Client |
Kyuubi Beeline |
HTTP Client |
Spark Beeline |
|
High availability |
Support |
Support |
Not supported |
|
Resource isolation |
Support |
Support |
Not supported |
|
LDAP authentication |
Support |
Support |
Support |
|
Alibaba Cloud EMR version |
|
|
All versions |