DataWorks:Buat node EMR Hive

Batasan

• Node EMR Hive hanya dapat dijalankan pada grup sumber daya serverless (disarankan) atau grup sumber daya eksklusif untuk penjadwalan.

• Untuk mengelola metadata kluster DataLake atau kluster kustom di DataWorks, Anda harus mengonfigurasi EMR-HOOK pada kluster tersebut. Tanpa konfigurasi ini, DataWorks tidak dapat menampilkan metadata secara real-time, menghasilkan log audit, menampilkan alur data, atau menjalankan tugas tata kelola terkait EMR. Untuk petunjuknya, lihat Konfigurasikan EMR-HOOK untuk Hive.

Langkah 1: Buat node EMR Hive

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

2. Buat node EMR Hive.

   1. Klik kanan alur kerja target dan pilih Create Node > EMR > EMR Hive.

      Catatan

      Anda juga dapat mengarahkan kursor ke Create dan pilih Create Node > EMR > EMR Hive.

   2. Pada kotak dialog Create Node, masukkan Name dan pilih Engine Instance, Node Type, dan Path. Klik Confirm untuk membuka halaman pengeditan node.

      Catatan

      Nama node dapat berisi huruf kapital, huruf kecil, karakter Tionghoa, angka, garis bawah (_), dan titik (.).

Langkah 2: Kembangkan task EMR Hive

Di halaman pengeditan node EMR Hive, klik ganda node yang telah Anda buat untuk membuka halaman pengembangan task. Kemudian, ikuti langkah-langkah berikut.

show tables;
select '${var}'; -- Anda dapat menggunakan ini dengan parameter penjadwalan.
select * from userinfo;

Langkah 3: Konfigurasikan properti penjadwalan

Jika ingin sistem menjalankan task pada node secara berkala, klik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan task sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Ikhtisar.

Langkah 4: Deploy task

Setelah task pada node dikonfigurasi, Anda harus mengirim dan mendeploy task tersebut. Setelah task dikirim dan dideploy, sistem akan menjalankannya secara berkala berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan task.

2. Klik ikon di bilah alat atas untuk mengirim task.

   Pada kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan melakukan tinjauan kode task setelah pengiriman berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes pada tab Properties sebelum mengirimkan task.

   • Fitur tinjauan kode dapat digunakan untuk memastikan kualitas kode task dan mencegah error eksekusi akibat kode yang tidak valid. Jika fitur ini diaktifkan, kode task yang dikirim hanya dapat dideploy setelah melewati tinjauan kode. Untuk informasi selengkapnya, lihat Tinjauan kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus mendeploy task di lingkungan produksi setelah mengirimkannya. Untuk mendeploy task pada node, klik Deploy di pojok kanan atas tab konfigurasi node. Untuk informasi selengkapnya, lihat Deploy node.

Operasi tambahan

Setelah task dikirim dan dideploy, task tersebut akan dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di pojok kanan atas tab konfigurasi node terkait untuk membuka Operation Center dan melihat status penjadwalan task. Untuk informasi selengkapnya, lihat Kelola task terjadwal.

FAQ

T: Mengapa terjadi timeout koneksi (ConnectException) saat saya menjalankan node?

EMR execute task failed!
SQL: {"name":"dw20251018","type":"HIVE_SQL","launcher":{"allocationSpec":{}},"properties":{"envs":{"FLOW_SKIP_SQL_ANALYZE":false},"arguments":["select * from default.dim_customers"],"tags":[],"description":"DataWorks"}}
TASK-MESSAGE:
FAILED: Build connection error! Could not open client transport with JDBC Uri: jdbc:hive2://xxx:10000: java.net.ConnectException: Connection timed out

J: Pastikan grup sumber daya dan kluster dapat saling terhubung melalui jaringan. Buka daftar sumber daya komputasi dan klik Resource Initialization. Di kotak dialog yang muncul, klik Re-initialize. Verifikasi bahwa inisialisasi berhasil.