Cara membuat node CDH Hive - DataWorks - Alibaba Cloud Documentation Center

Jika Anda telah men-deploy kluster CDH, Anda dapat menggunakan node CDH Hive di DataWorks untuk menjalankan task Hive, seperti kueri data atau pemrosesan data batch. Topik ini menjelaskan cara membuat node CDH Hive.

Prasyarat

Alur kerja telah dibuat di DataStudio.

Di DataStudio, task pengembangan dikelompokkan ke dalam alur kerja. Anda harus membuat alur kerja sebelum dapat membuat node. Untuk informasi selengkapnya, lihat Buat alur kerja.
Kluster CDH telah dibuat dan didaftarkan ke ruang kerja DataWorks Anda.

Anda harus mendaftarkan kluster CDH ke ruang kerja DataWorks sebelum membuat node dan task CDH. Untuk informasi selengkapnya, lihat Bind resource komputasi CDH di versi lama DataStudio.
(Opsional) Jika Anda menggunakan RAM user, pengguna tersebut harus ditambahkan ke ruang kerja dan diberi peran Development atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, jadi berikan dengan hati-hati. Untuk informasi selengkapnya tentang penambahan anggota, lihat Tambahkan anggota ke ruang kerja.
Grup sumber daya serverless telah dibeli dan dikonfigurasi. Konfigurasi mencakup bind grup sumber daya ke ruang kerja Anda dan penyiapan jaringan. Untuk informasi selengkapnya, lihat Gunakan grup sumber daya serverless.

Batasan

Anda dapat menjalankan jenis task ini pada grup sumber daya serverless atau grup sumber daya eksklusif untuk penjadwalan versi lama. Kami merekomendasikan penggunaan grup sumber daya serverless.

Langkah 1: Buat node CDH Hive

Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
Klik kanan alur kerja dan pilih Create Node > cdh > CDH Hive.

Catatan
Sebagai alternatif, Anda dapat mengarahkan kursor ke tombol New di bagian atas dan ikuti petunjuk untuk membuat node CDH.
Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK.

Langkah 2: Kembangkan task Hive

Klik ganda node yang telah Anda buat untuk membuka halaman pengembangan task.

(Opsional) Pilih instans kluster CDH

Jika ruang kerja Anda memiliki beberapa kluster CDH yang terdaftar, pilih kluster yang sesuai di bagian atas halaman. Langkah ini tidak diperlukan jika hanya satu kluster yang terikat. Untuk mengakses domain yang dilindungi oleh allowlist, Anda harus menggunakan grup sumber daya eksklusif untuk penjadwalan.

Kembangkan kode SQL: Contoh sederhana

Masukkan kode SQL Anda di editor. Contohnya:

SHOW tables;
SELECT * FROM userinfo ;

Kembangkan kode SQL: Gunakan parameter penjadwalan

Gunakan Scheduling Parameter untuk meneruskan nilai secara dinamis ke kode Anda saat waktu proses. Anda dapat mendefinisikan variabel dalam kode menggunakan format ${variable_name}, lalu memberikan nilai pada variabel tersebut di Scheduling > Parameter. Untuk informasi selengkapnya tentang format yang didukung, lihat Format yang didukung untuk parameter penjadwalan.

SELECT '${var}'; -- Ini adalah contoh penggunaan parameter penjadwalan.

Langkah 3: Konfigurasikan penjadwalan task

Jika Anda perlu menjalankan task secara berkala, klik Scheduling di panel sebelah kanan untuk mengonfigurasi properti penjadwalannya:

Konfigurasikan properti penjadwalan dasar. Untuk informasi selengkapnya, lihat Konfigurasikan properti dasar.
Konfigurasikan siklus penjadwalan, properti rerun, dan dependensi. Untuk informasi selengkapnya, lihat Konfigurasikan properti waktu dan Konfigurasikan dependensi penjadwalan siklus yang sama.

Catatan
Anda harus mengonfigurasi properti Rerun attribute dan menentukan Parent Nodes sebelum melakukan commit node.
Konfigurasikan properti resource. Untuk informasi selengkapnya, lihat Konfigurasikan properti resource. Jika task perlu mengakses internet publik atau VPC, Anda harus memilih grup sumber daya penjadwalan yang memiliki konektivitas jaringan yang diperlukan. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

Langkah 4: Debug kode

(Opsional) Pilih grup sumber daya waktu proses dan tetapkan nilai untuk parameter kustom.
- Di bilah alat, klik ikon . Pada kotak dialog Parameter, pilih grup sumber daya yang akan digunakan untuk debugging.
- Jika kode task Anda menggunakan parameter penjadwalan, tetapkan nilainya di sini untuk debugging. Untuk informasi selengkapnya tentang logika pemberian nilai, lihat Apa perbedaan logika pemberian nilai antara Run, Advanced Run, dan pengujian asap di lingkungan pengembangan?.
Simpan dan jalankan pernyataan SQL.

Di bilah alat, klik ikon untuk menyimpan pernyataan SQL, lalu klik ikon untuk menjalankan task.
(Opsional) Lakukan pengujian asap.

Untuk menjalankan pengujian asap di lingkungan pengembangan, Anda dapat melakukannya selama proses commit atau setelah melakukan commit node. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.

Langkah selanjutnya

Commit dan deploy task.
1. Di bilah alat, klik ikon untuk menyimpan node.
2. Di bilah alat, klik ikon untuk melakukan commit task.
3. Pada kotak dialog Commit Node, masukkan Change Description.
4. Klik Determine.
Di ruang kerja mode standar, Anda harus mendeploy task ke lingkungan produksi setelah melakukan commit. Di bilah menu atas, klik Deploy. Untuk informasi selengkapnya, lihat Deploy task.
Lihat task terjadwal.
1. Di pojok kanan atas editor, klik O&M Personnel untuk membuka Pusat Operasi lingkungan produksi.
2. Lihat task terjadwal yang sedang berjalan. Untuk informasi selengkapnya, lihat Kelola task terjadwal.
Untuk melihat detail lebih lanjut tentang task terjadwal, klik Operation Center di bilah menu atas. Untuk informasi selengkapnya, lihat Ikhtisar Operation Center.