DataWorks:Node CDH Impala

Prasyarat

• Kluster Alibaba Cloud CDH telah dibuat dan dikaitkan dengan ruang kerja DataWorks. Untuk detailnya, lihat Associate a CDH computing resource.

  Penting

  Pastikan komponen Impala telah diinstal di kluster CDH Anda dan informasi koneksi Impala telah dikonfigurasi saat Anda mengaitkan kluster tersebut.

• (Opsional) Pengguna RAM yang akan mengembangkan task telah ditambahkan ke ruang kerja yang sesuai dan diberikan peran Developer atau Workspace Administrator (memberikan izin luas; tambahkan dengan hati-hati). Untuk detail tentang penambahan anggota, lihat Add members to a workspace.

• Sumber data Hive telah dikonfigurasi di DataWorks dan telah lulus uji konektivitas. Untuk detailnya, lihat Data source management.

Create a node

Untuk instruksinya, lihat Create a node.

Develop a node

Di editor SQL, tulis kode task Anda. Anda dapat mendefinisikan variabel dengan menggunakan format ${variable_name}. Kemudian, pada tab Scheduling Settings, berikan nilai untuk variabel tersebut di bagian Scheduling Parameters. Hal ini memungkinkan Anda untuk secara dinamis pass parameter saat node dijadwalkan berjalan. Untuk informasi lebih lanjut tentang penggunaan scheduling parameters, lihat Sources and expressions of scheduling parameters. Kode berikut merupakan contoh:

SHOW TABLES;

SELECT * FROM userinfo ;
-- You can use scheduling parameters.
SELECT '${var}'; 

Debug a node

1. Di bagian Compute Resource pada Run Configuration, konfigurasikan Compute Resource dan Resource Group.

   1. Untuk compute resource, pilih nama kluster CDH yang telah Anda daftarkan di DataWorks.

   2. Pilih resource group untuk penjadwalan yang telah lulus uji konektivitas dengan sumber data. Untuk informasi lebih lanjut, lihat Network Connectivity Solutions.

2. Di bilah alat di bagian atas editor node, klik Run.

Langkah selanjutnya

• Configure node scheduling: Jika Anda perlu menjalankan node secara berkala, konfigurasikan Scheduling Policy-nya di panel Scheduling Settings di sebelah kanan.

• Publish a node: Untuk menjalankan task di lingkungan produksi, klik ikon untuk memublikasikan node tersebut. Node hanya akan berjalan sesuai jadwal setelah dipublikasikan ke lingkungan produksi.

• Task O&M: Setelah task dipublikasikan, Anda dapat memantau status eksekusi berkala-nya di Operation Center. Untuk informasi lebih lanjut, lihat Get started with Operation Center.