DataWorks：Node CDH Hive

Prasyarat

• Kluster Alibaba Cloud CDH telah dibuat dan disambungkan ke ruang kerja DataWorks. Untuk informasi selengkapnya, lihat Pengembangan Data (Baru): Menyambungkan sumber daya komputasi CDH.

  Penting

  Komponen Hive harus diinstal pada kluster CDH, dan informasi koneksi Hive harus dikonfigurasi saat menyambungkan kluster tersebut.

• (Opsional) Jika Anda menggunakan Pengguna RAM, pengguna tersebut harus ditambahkan ke ruang kerja yang sesuai untuk pengembangan tugas dan diberikan peran Developer atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas dan harus diberikan dengan hati-hati. Untuk informasi selengkapnya tentang penambahan anggota, lihat Menambahkan anggota ke ruang kerja.

  Catatan

  Jika Anda menggunakan Akun Alibaba Cloud, Anda dapat melewati langkah ini.

• Sumber data Hive telah dikonfigurasi di DataWorks dan lulus uji konektivitas. Untuk informasi selengkapnya, lihat Manajemen Sumber Data.

Batasan

Anda dapat menjalankan jenis tugas ini pada kelompok sumber daya Serverless (disarankan) atau kelompok sumber daya eksklusif lama.

Buat node

Untuk informasi selengkapnya, lihat Buat node.

Kembangkan node

Di area pengeditan SQL, Anda dapat mengembangkan kode untuk sebuah node. Dalam kode tersebut, gunakan format ${variable_name} untuk mendefinisikan variabel. Kemudian, di sisi kanan halaman pengeditan node, berikan nilai untuk variabel tersebut di bagian Scheduling Configurations di bawah Scheduling Parameters. Hal ini memungkinkan Anda melakukan pass parameter secara dinamis ke dalam kode dalam skenario penjadwalan. Untuk informasi selengkapnya, lihat Format yang didukung untuk parameter penjadwalan. Berikut adalah contohnya.

SHOW TABLES;

SELECT * FROM userinfo ;
-- You can use this with scheduling parameters.
SELECT '${var}'; 

Uji coba node

1. Di bagian Computing Resources pada Debug Configuration, konfigurasikan Computing Resource dan Resource Group.

   1. Atur Computing Resource ke nama kluster CDH yang telah Anda daftarkan di DataWorks.

   2. Atur Resource Group ke kelompok sumber daya penjadwalan yang telah lulus uji konektivitas dengan sumber data. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

2. Klik tombol Run pada bilah alat di bagian atas halaman pengeditan node.

Langkah berikutnya

• Jadwalkan node: Jika sebuah node dalam folder proyek perlu dijalankan secara berkala, Anda dapat mengatur Scheduling Policy dan mengonfigurasi properti penjadwalan di bagian Scheduling Settings di sisi kanan halaman node.

• Publikasikan node: Jika tugas perlu dijalankan di lingkungan produksi, klik ikon untuk memublikasikan tugas tersebut. Node dalam folder proyek hanya akan dijalankan sesuai jadwal setelah dipublikasikan ke lingkungan produksi.

• Task O&M: Setelah memublikasikan tugas, Anda dapat melihat status tugas yang dipicu otomatis di Pusat Operasi. Untuk informasi selengkapnya, lihat Memulai Pusat Operasi.