Apache Kyuubi adalah gateway terdistribusi dan multi-pengguna yang menyediakan layanan kueri SQL untuk mesin kueri data lake seperti Spark, Flink, dan Trino.
Fitur
Multi-pengguna: Kyuubi mendukung multi-penggunaan end-to-end untuk akuisisi sumber daya dan akses ke data atau metadata melalui lapisan otentikasi dan otorisasi terpadu.
Ketersediaan tinggi: Kyuubi mendukung penyeimbangan beban menggunakan ZooKeeper, memastikan ketersediaan tingkat perusahaan dan konkurensi klien tanpa batas.
Beban kerja beragam: Kyuubi mendukung berbagai jenis beban kerja menggunakan satu platform, satu salinan data, dan satu antarmuka SQL.
Skenario
Analitik interaktif: Kyuubi membantu membangun platform analitik tingkat perusahaan untuk analitik visual pada data besar. Platform ini mendukung kerangka komputasi umum serta antarmuka Java Database Connectivity (JDBC) dan Open Database Connectivity (ODBC). Anda dapat menggunakan SQL atau alat business intelligence (BI) untuk mengakses Kyuubi dan menjalankan kueri secara efisien. Kyuubi menyimpan instans mesin latar belakang di tingkat pengguna untuk memastikan berbagi sumber daya komputasi dan respons cepat, sehingga sejumlah besar data dapat dikueri secara paralel dengan hasil yang cepat dikembalikan.
Pemrosesan batch: Kyuubi menyediakan antarmuka SQL untuk pemrosesan batch, terutama untuk proses ekstraksi, transformasi, dan pemuatan (ETL) berskala besar. Kyuubi dan mesinnya mendukung penyimpanan independen serta berbagai sumber data. Instans mesin latar belakang diisolasi di tingkat koneksi untuk meningkatkan isolasi sumber daya komputasi dan stabilitas.
Perbandingan antara Kyuubi, Livy, dan Spark Thrift Server
Item | Kyuubi | Livy | Spark Thrift Server |
Antarmuka yang didukung | SQL dan Scala | SQL, Scala, Python, dan R | SQL |
Mesin yang didukung | Spark, Flink, dan Trino | Spark | Spark |
Versi Spark | Spark 3.x | Spark 2.x dan Spark 3.x | Komponen Spark bawaan |
Protokol yang didukung | Thrift dan JDBC | HTTP, dan Thrift dan JDBC | Thrift dan JDBC |
Klien | Kyuubi Beeline | HTTP Client | Spark Beeline |
Ketersediaan tinggi | Didukung | Didukung | Tidak didukung |
Isolasi sumber daya | Didukung | Didukung | Tidak didukung |
Otentikasi Lightweight Directory Access Protocol (LDAP) | Didukung | Didukung | Didukung |
Versi Alibaba Cloud EMR |
|
| Semua versi |