DataWorks：Node Kyuubi arsitektur tanpa server

Skenario

• Sumber daya komputasi: Anda hanya dapat menggunakan sumber daya komputasi EMR Serverless Spark yang telah disambungkan. Pastikan kelompok sumber daya dan sumber daya komputasi tersebut saling terhubung.

  Kelompok sumber daya: Hanya kelompok sumber daya arsitektur tanpa server yang dapat digunakan untuk menjalankan jenis node ini.

• (Opsional) Jika Anda adalah pengguna Resource Access Management (RAM), pastikan Anda telah ditambahkan ke ruang kerja untuk pengembangan tugas dan diberikan peran Developer atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, sehingga harus diberikan dengan hati-hati. Untuk informasi selengkapnya tentang cara menambahkan anggota, lihat Tambahkan anggota ke ruang kerja.

  Jika Anda menggunakan Akun Alibaba Cloud, Anda dapat melewati langkah ini.

Buat node

Untuk informasi selengkapnya tentang cara membuat node, lihat Buat node.

Kembangkan node

Anda dapat mengembangkan kode tugas di area pengeditan SQL. Dalam kode tersebut, definisikan variabel menggunakan format ${variable_name}, lalu tetapkan nilai untuk setiap variabel di bagian Scheduling Parameters di bawah Scheduling Configurations pada panel kanan halaman pengeditan node. Pendekatan ini memungkinkan Anda meneruskan parameter secara dinamis ke dalam kode saat penjadwalan. Untuk informasi selengkapnya tentang penggunaan parameter penjadwalan, lihat Format yang didukung untuk parameter penjadwalan. Berikut contohnya.

SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- Anda dapat menggunakan ini bersama parameter penjadwalan.

Debug node

1. Pada bagian Debug Configuration, konfigurasikan Computing Resource, Resource Group, dan item lainnya.

   Item konfigurasi	Deskripsi
   Sumber daya komputasi	Pilih sumber daya komputasi EMR Serverless Spark yang telah disambungkan. Sumber daya komputasi harus memiliki koneksi Kyuubi yang dikonfigurasi. Jika tidak ada sumber daya komputasi yang tersedia, pilih Create Computing Resource dari daftar drop-down.
   Kelompok sumber daya	Pilih kelompok sumber daya yang telah disambungkan ke ruang kerja.
   Parameter skrip	Saat mengonfigurasi konten node, Anda dapat mendefinisikan variabel menggunakan format ${parameter_name}. Anda kemudian harus mengonfigurasi Parameter Name dan Parameter Value di bagian Script Parameters. Saat waktu proses, tugas akan mengganti variabel tersebut secara dinamis dengan nilai aktualnya. Untuk informasi selengkapnya, lihat Format yang didukung untuk parameter penjadwalan.
   Parameter node ServerlessSpark	Parameter waktu proses untuk program Spark. Untuk informasi selengkapnya tentang konfigurasi properti Spark, lihat Properti Spark open-source.

2. Di bilah alat di bagian atas halaman pengeditan node, klik Run untuk menjalankan Pekerjaan.

   Penting

   Sebelum menerbitkan, Anda harus menyinkronkan ServerlessSpark Node Parameters pada Debug Configuration dengan ServerlessSpark Node Parameters pada Scheduling Configuration.

Langkah selanjutnya

• Jadwalkan node: Untuk menjalankan node secara berkala di folder proyek, konfigurasikan Scheduling Policy dan properti penjadwalan terkait di panel Scheduling di sebelah kanan.

• Terbitkan node: Jika node perlu dijalankan di lingkungan produksi, klik ikon untuk memulai proses penerbitan. Penjadwalan berkala untuk node di folder proyek hanya berlaku setelah diterbitkan ke lingkungan produksi.

• O&M Node: Setelah menerbitkan node, Anda dapat melihat status tugas yang dipicu otomatis di Pusat Operasi. Untuk informasi selengkapnya, lihat Memulai Pusat Operasi.