Apache Kyuubi adalah gerbang terdistribusi dan multi-tenant yang menyediakan layanan SQL dan kueri lainnya untuk mesin kueri data lake seperti Spark, Flink, dan Trino. Di DataWorks, Anda dapat menggunakan node EMR Kyuubi untuk mengembangkan, menjadwalkan secara berkala, serta mengintegrasikan tugas Kyuubi dengan pekerjaan lainnya. Topik ini menjelaskan cara membuat dan mengonfigurasi node EMR Kyuubi.
Prasyarat
Kluster Alibaba Cloud EMR telah dibuat dan didaftarkan ke DataWorks. Untuk informasi selengkapnya, lihat Data Studio (legacy): Daftarkan kluster EMR.
(Diperlukan jika Anda menggunakan RAM user untuk mengembangkan tugas) RAM user telah ditambahkan ke ruang kerja DataWorks sebagai anggota dan diberi peran Develop atau Workspace Administrator. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan. Berhati-hatilah saat memberikan peran tersebut. Untuk informasi selengkapnya tentang cara menambahkan anggota, lihat Tambahkan anggota ke ruang kerja.
Grup sumber daya serverless telah dibeli dan dikonfigurasi. Konfigurasi tersebut mencakup asosiasi dengan ruang kerja dan konfigurasi jaringan. Untuk informasi selengkapnya, lihat Buat dan gunakan grup sumber daya serverless.
Alur kerja telah dibuat di DataStudio.
Operasi pengembangan pada berbagai jenis mesin komputasi dilakukan berdasarkan alur kerja di DataStudio. Oleh karena itu, sebelum membuat node, Anda harus membuat alur kerja terlebih dahulu. Untuk informasi selengkapnya, lihat Buat alur kerja.
Batasan
Jenis tugas ini hanya dapat dijalankan pada grup sumber daya serverless (disarankan) atau grup sumber daya eksklusif untuk penjadwalan.
Langkah 1: Buat node EMR Kyuubi
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Buat node EMR Kyuubi.
-
Klik kanan alur kerja target dan pilih .
CatatanAtau, arahkan kursor ke ikon Create dan pilih .
-
Pada kotak dialog Create Node, masukkan Name dan pilih Engine Instance, Node Type, dan Path. Klik OK untuk membuka editor node EMR Kyuubi.
CatatanNama node dapat berisi huruf besar dan kecil, karakter Tionghoa, angka, garis bawah (_), dan titik (.).
-
Langkah 2: Kembangkan tugas EMR Kyuubi
Di editor node EMR Kyuubi, klik ganda node yang telah dibuat untuk membuka halaman pengembangan tugas.
Kembangkan kode SQL
Di editor SQL, kembangkan kode tugas. Anda dapat mendefinisikan variabel dalam kode menggunakan format ${variable_name}. Anda kemudian dapat memberikan nilai untuk variabel tersebut di panel navigasi kanan di bawah Scheduling > Scheduling Parameter. Hal ini memungkinkan Anda untuk pass parameter secara dinamis selama eksekusi terjadwal. Untuk informasi selengkapnya tentang format parameter penjadwalan yang didukung, lihat Format parameter penjadwalan yang didukung. Contoh berikut disediakan.
show tables;
select * from kyuubi040702 where age >= '${a}'; -- Anda dapat menggunakan parameter penjadwalan.-
Pernyataan SQL tidak boleh melebihi ukuran 130 KB.
-
Jika ruang kerja Anda dikaitkan dengan beberapa sumber daya komputasi EMR di DataStudio, Anda harus memilih engine yang sesuai. Jika hanya satu sumber daya komputasi EMR yang terikat, Anda tidak perlu memilih engine.
(Opsional) Konfigurasi parameter lanjutan
Anda dapat mengonfigurasi properti lanjutan untuk node di bagian Advanced Settings. Untuk informasi selengkapnya tentang pengaturan properti, lihat Spark Configuration.
|
Parameter |
Deskripsi |
|
queue |
Antrian penjadwalan tempat pekerjaan dikirimkan. Nilai default-nya adalah antrian Catatan
Jika Anda mengonfigurasi YARN resource queue tingkat ruang kerja saat mendaftarkan kluster EMR ke ruang kerja DataWorks, DataWorks menggunakan aturan berikut untuk memilih antrian penjadwalan untuk tugas Kyuubi saat runtime:
Untuk informasi selengkapnya tentang EMR YARN, lihat Konfigurasi antrian dasar. Untuk informasi selengkapnya tentang cara mengonfigurasi antrian saat mendaftarkan kluster EMR, lihat Konfigurasi global YARN resource queue. |
|
priority |
Prioritas. Nilai default-nya adalah 1. |
|
FLOW_SKIP_SQL_ANALYZE |
Mengontrol cara pernyataan SQL dieksekusi. Nilai yang valid:
Catatan
Parameter ini hanya berlaku untuk uji coba di lingkungan pengembangan. |
|
DATAWORKS_SESSION_DISABLE |
Berlaku untuk uji coba langsung di lingkungan pengembangan. Nilai yang valid:
Catatan
Jika Anda mengatur parameter ini ke |
Jalankan tugas SQL
-
Di bilah alat, klik ikon
. Di kotak dialog Parameter, pilih grup sumber daya penjadwalan yang telah dibuat dan klik Running.Catatan-
Untuk mengakses sumber data melalui Internet atau VPC, Anda harus menggunakan grup sumber daya penjadwalan yang memiliki konektivitas jaringan yang telah dikonfirmasi ke sumber data tersebut. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
-
Jika Anda perlu mengubah grup sumber daya untuk eksekusi tugas berikutnya, klik ikon Run with Custom Parameters
dan pilih grup sumber daya yang ingin Anda gunakan.
-
-
Klik ikon
untuk menyimpan kode SQL. -
(Opsional) Lakukan pengujian asap.
Jika Anda ingin melakukan pengujian asap di lingkungan pengembangan, Anda dapat melakukannya sebelum atau setelah melakukan commit node. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.
Langkah 3: Konfigurasi properti penjadwalan
Jika Anda ingin sistem menjalankan tugas pada node secara berkala, Anda dapat mengklik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Ikhtisar.
Anda harus mengonfigurasi parameter Rerun dan Parent Nodes pada tab Properties sebelum melakukan commit tugas.
Langkah 4: Deploy tugas
Setelah tugas pada node dikonfigurasi, Anda harus melakukan commit dan deploy tugas tersebut. Setelah tugas di-commit dan di-deploy, sistem akan menjalankan tugas tersebut secara berkala berdasarkan konfigurasi penjadwalan.
-
Klik ikon
di bilah alat atas untuk menyimpan tugas. -
Klik ikon
di bilah alat atas untuk melakukan commit tugas.Pada kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan melakukan tinjauan kode tugas setelah commit berdasarkan kebutuhan bisnis Anda.
Catatan-
Anda harus mengonfigurasi parameter Rerun dan Parent Nodes pada tab Properties sebelum melakukan commit tugas.
-
Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode tugas dan mencegah error eksekusi tugas akibat kode tugas yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode tugas yang di-commit hanya dapat di-deploy setelah kode tersebut lolos tinjauan kode. Untuk informasi selengkapnya, lihat Tinjauan kode.
-
Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus mendeploy tugas tersebut di lingkungan produksi setelah melakukan commit. Untuk mendeploy tugas pada node, klik Deploy di pojok kanan atas tab konfigurasi node. Untuk informasi selengkapnya, lihat Deploy node.
Operasi tambahan
Setelah Anda melakukan commit dan deploy tugas, tugas tersebut akan dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di pojok kanan atas tab konfigurasi node terkait untuk membuka Operation Center dan melihat status penjadwalan tugas tersebut. Untuk informasi selengkapnya, lihat Kelola tugas terjadwal.
FAQ
-
T: Node gagal dengan error timeout koneksi. Apa yang harus saya lakukan?
J: Pastikan grup sumber daya dan kluster dapat saling terhubung melalui jaringan. Buka daftar sumber daya komputasi dan klik Resource Initialization. Di kotak dialog yang muncul, klik Re-initialize. Verifikasi bahwa inisialisasi berhasil.
Pesan di bagian atas kotak dialog menunjukkan bahwa Anda harus menginisialisasi grup sumber daya saat pertama kali mengikat kluster atau saat konfigurasi layanan kluster berubah, misalnya modifikasi pada
hive-site.xml. Jika tidak, tugas mungkin gagal. Setelah inisialisasi berhasil, kolom status akan menampilkan Successfully initialized beserta waktu penyelesaiannya.