DataWorks:Serverless Kyuubi node

Catatan penggunaan

• Batasan compute resource: Hanya EMR Serverless Spark compute resource yang didukung. Pastikan kelompok sumber daya dan compute resource terhubung melalui jaringan.

  Kendala kelompok sumber daya: Tugas ini hanya dapat berjalan dalam Serverless resource group.

• (Opsional, untuk pengguna RAM) Pengguna RAM untuk pengembangan tugas telah ditambahkan ke ruang kerja yang sesuai dan diberikan peran Development atau Workspace Administrator (peran ini memiliki izin yang luas; berikan dengan hati-hati). Untuk informasi lebih lanjut tentang cara menambahkan anggota, lihat Add members to a workspace.

  Jika Anda menggunakan Akun Alibaba Cloud, Anda dapat melewati langkah ini.

Create a node

Untuk petunjuknya, lihat Create a node.

Develop the node

Tulis kode tugas di editor SQL. Anda dapat mendefinisikan variabel dalam kode menggunakan sintaks ${variable_name}. Selanjutnya, di bagian Scheduling Parameters pada panel Scheduling Settings di sebelah kanan, tetapkan nilai untuk setiap variabel. Sistem akan mengganti variabel tersebut secara dinamis dengan nilai yang telah ditetapkan saat node dijalankan sesuai jadwal. Untuk informasi lebih lanjut tentang parameter penjadwalan, lihat Scheduling parameter sources and expressions. Kode berikut memberikan contohnya.

SHOW TABLES;
SELECT * FROM kyuubi040702 WHERE age >= '${a}'; -- Use with a scheduling parameter.

Pernyataan SQL tidak boleh melebihi 130 KB.

Debug the node

1. Dalam Run Configuration, konfigurasikan parameter seperti Compute Resource dan Resource Group.

   Parameter	Description
   Compute Resource	Pilih EMR Serverless Spark compute resource yang telah di-bind. Anda harus terlebih dahulu bind an EMR Serverless Spark compute resource. Jika tidak tersedia compute resource, pilih Create Compute Resource dari daftar drop-down.
   Resource Group	Pilih kelompok sumber daya yang telah di-bind ke ruang kerja.
   Script Parameters	Jika Anda mendefinisikan variabel menggunakan sintaks ${parameter_name} dalam konten node, Anda harus menentukan Parameter name dan Parameter Value di bagian Script Parameters. Sistem akan mengganti variabel tersebut dengan nilai aktualnya saat waktu proses. Untuk informasi lebih lanjut, lihat Scheduling parameter sources and expressions.
   ServerlessSpark Node Parameters	Ini adalah parameter properti bawaan Spark. Untuk informasi lebih lanjut, lihat open source Spark property parameters dan EMR Serverless Spark configuration parameters. Format konfigurasinya sebagai berikut: "spark.eventLog.enabled": false . Catatan DataWorks memungkinkan Anda menetapkan parameter Spark global pada tingkat granularitas ruang kerja untuk menentukan parameter Spark yang digunakan oleh setiap modul DataWorks. Anda dapat menentukan apakah prioritas parameter Spark global lebih tinggi daripada parameter Spark dalam modul tertentu. Untuk informasi lebih lanjut tentang menetapkan parameter Spark global, lihat Configure global Spark parameters.

2. Pada bilah alat di bagian atas editor node, klik Run untuk menjalankan tugas.

   Penting

   Sebelum menerapkan node, sinkronkan Serverlessspark Node Parameters dari Run Configuration ke bagian Serverlessspark Node Parameters pada Scheduling Settings.

Langkah selanjutnya

• Configure node scheduling: Jika Anda perlu menjalankan node secara berkala, konfigurasikan Scheduling Policy-nya di panel Scheduling Settings di sebelah kanan.

• Publish a node: Untuk menjalankan tugas di lingkungan produksi, klik ikon untuk menerbitkan node. Node hanya akan dijalankan sesuai jadwal setelah diterbitkan ke lingkungan produksi.

• Task O&M: Setelah tugas diterbitkan, Anda dapat memantau status eksekusi berkala-nya di Operation Center. Untuk informasi lebih lanjut, lihat Get started with Operation Center.