Apache Kyuubi adalah gerbang terdistribusi dan multi-tenant yang menyediakan layanan kueri SQL untuk mesin kueri data lake seperti Spark, Flink, dan Trino.
Fitur
-
Multi-tenancy: Kyuubi menyediakan dukungan multi-tenancy end-to-end untuk akuisisi sumber daya, akses data, dan akses metadata melalui lapisan autentikasi dan otorisasi terpadu.
-
Ketersediaan tinggi: Kyuubi memanfaatkan ZooKeeper untuk load balancing, sehingga menawarkan ketersediaan tinggi tingkat enterprise dan konkurensi klien tak terbatas.
-
Beban kerja multipel: Kyuubi menangani beban kerja multipel dalam satu platform dengan satu replika data dan antarmuka SQL terpadu.
Skenario
-
Analisis interaktif: Kyuubi memungkinkan platform analitik tingkat enterprise melakukan analitik visual interaktif pada data besar. Kyuubi mendukung framework komputasi umum serta antarmuka Java Database Connectivity (JDBC) dan Open Database Connectivity (ODBC), sehingga memungkinkan kueri efisien melalui SQL atau alat Intelijen Bisnis (BI). Kyuubi melakukan cache instans mesin back-end pada tingkat pengguna untuk meningkatkan berbagi sumber daya dan mempercepat tanggapan. Selain itu, Kyuubi memproses kueri pada dataset besar secara paralel dan mengembalikan hasil dengan cepat.
-
Pemrosesan data batch: Kyuubi menyediakan antarmuka SQL untuk pemrosesan batch umum, seperti proses extract, transform, and load (ETL) skala besar. Kyuubi dan mesinnya bersifat independen dari penyimpanan serta mendukung berbagai sumber data. Kyuubi juga dapat mengisolasi instans mesin back-end pada tingkat koneksi guna mencapai isolasi sumber daya dan stabilitas yang lebih baik.
Perbandingan Kyuubi, Livy, dan Spark ThriftServer
|
Item perbandingan |
Kyuubi |
Livy |
Spark ThriftServer |
|
Antarmuka yang didukung |
SQL, Scala |
SQL, Scala, Python, dan R |
SQL |
|
Mesin yang didukung |
Spark, Flink, Trino |
Spark |
Spark |
|
Versi Spark |
Spark 3.x |
Spark 2.x dan Spark 3.x |
Termasuk dalam komponen Spark |
|
Dukungan protokol |
Thrift dan JDBC |
HTTP, Thrift, dan JDBC |
Thrift dan JDBC |
|
Client |
Kyuubi Beeline |
HTTP Client |
Spark Beeline |
|
Ketersediaan tinggi |
Dukungan |
Dukungan |
Tidak didukung |
|
Isolasi resource |
Dukungan |
Dukungan |
Tidak didukung |
|
Autenikasi LDAP |
Dukungan |
Dukungan |
Dukungan |
|
Versi Alibaba Cloud EMR |
|
|
Semua versi |