DataWorks：Serverless Kyuubi node

Kasus penggunaan

• Batasan resource komputasi: Anda hanya dapat menyambungkan resource komputasi EMR Serverless Spark. Pastikan konektivitas jaringan tersedia antara kelompok sumber daya dan resource komputasi tersebut.

  Kelompok sumber daya: Jenis tugas ini memerlukan kelompok sumber daya Serverless.

• (Opsional, wajib bagi Pengguna RAM) Tambahkan Pengguna Resource Access Management (RAM) yang bertanggung jawab atas pengembangan tugas ke Ruang Kerja dan berikan peran Developer atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, sehingga berikan dengan hati-hati. Untuk informasi selengkapnya tentang penambahan anggota, lihat Tambahkan anggota ke ruang kerja.

  Jika Anda menggunakan Akun Alibaba Cloud, Anda dapat melewati langkah ini.

Buat node

Untuk petunjuknya, lihat Buat node.

Kembangkan node

Kembangkan kode Anda di editor SQL. Definisikan variabel dalam kode menggunakan format ${variable_name} dan tetapkan nilainya di bagian Scheduling configuration > Scheduling parameters. Hal ini memungkinkan penggantian parameter secara dinamis saat penjadwalan. Untuk informasi selengkapnya tentang parameter penjadwalan, lihat Sumber dan ekspresi parameter penjadwalan. Kode berikut memberikan contoh:

SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- Variabel '${a}' dapat diatur melalui parameter penjadwalan.

Debug node

1. Pada panel Run Configuration, konfigurasikan sumber daya komputasi dan kelompok sumber daya.

   Parameter	Deskripsi
   Resource komputasi	Pilih sumber daya komputasi EMR Serverless Spark yang terikat. Sumber daya komputasi tersebut harus dikonfigurasi sesuai dengan Mengonfigurasi koneksi Kyuubi. Jika tidak tersedia sumber daya komputasi, pilih Create compute resource dari daftar drop-down.
   Kelompok sumber daya	Pilih kelompok sumber daya yang telah diikat ke ruang kerja.
   Parameter skrip	Jika Anda mendefinisikan variabel dalam kode menggunakan format ${parameter_name}, Anda harus menentukan Parameter name dan Parameter value di sini. Saat waktu proses, sistem akan mengganti variabel tersebut secara dinamis dengan nilai yang telah dikonfigurasi. Untuk informasi selengkapnya, lihat Sumber dan ekspresi parameter penjadwalan.
   ServerlessSpark node parameter	Tentukan properti konfigurasi Spark native. Untuk informasi selengkapnya, lihat properti Spark open-source dan Parameter SparkConf kustom. Gunakan format berikut: spark.eventLog.enabled : false. Catatan Anda dapat mengatur parameter Spark global untuk semua modul dalam suatu ruang kerja. Anda dapat menentukan apakah parameter global ini memiliki prioritas lebih tinggi dibandingkan parameter Spark spesifik modul. Untuk informasi selengkapnya tentang cara mengonfigurasi parameter Spark global, lihat Konfigurasi parameter Spark global.

2. Pada bilah alat di bagian atas editor node, klik Run.

   Penting

   Sebelum menerbitkan node, Anda harus menyinkronkan pengaturan dari Run Configuration > ServerlessSpark node parameter ke Scheduling configuration > ServerlessSpark node parameter.

Langkah selanjutnya

• Konfigurasi penjadwalan node: Untuk menjalankan node secara berkala, konfigurasikan Time Property dan properti penjadwalan terkait di panel Scheduling configuration di sisi kanan halaman.

• Terbitkan node: Untuk menerbitkan node ke lingkungan produksi, klik ikon . Hanya node yang diterbitkan ke lingkungan produksi yang akan dijadwalkan.

• Task O&M: Setelah menerbitkan node, Anda dapat memantau eksekusi terjadwalnya di Pusat Operasi. Untuk informasi selengkapnya, lihat Memulai Pusat Operasi.