DataWorks：Buat node EMR Hive

Batasan

• Jenis node ini hanya dapat dijalankan pada kelompok sumber daya arsitektur tanpa server atau kelompok sumber daya eksklusif untuk penjadwalan. Kami menyarankan Anda menggunakan kelompok sumber daya arsitektur tanpa server.

• Jika ingin mengelola metadata untuk DataLake atau kluster kustom di DataWorks, Anda harus terlebih dahulu mengonfigurasi EMR-HOOK di kluster tersebut. Tanpa konfigurasi EMR-HOOK, metadata tidak dapat ditampilkan secara real time, log audit tidak dapat dihasilkan, alur data tidak tersedia di DataWorks, dan tugas tata kelola EMR tidak dapat dijalankan. Untuk informasi selengkapnya tentang cara mengonfigurasi EMR-HOOK, lihat Mengonfigurasi EMR-HOOK untuk Hive.

Langkah 1: Buat node EMR Hive

1. Buka halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Buat node EMR Hive.

   1. Klik kanan alur kerja target dan pilih Create Node > EMR > EMR Hive.

      Catatan

      Atau, arahkan kursor ke Create dan pilih Create Node > EMR > EMR Hive.

   2. Pada kotak dialog Create Node, konfigurasikan parameter Name, Engine Instance, Node Type, dan Path, lalu klik Confirm. Tab konfigurasi untuk node EMR Hive akan muncul.

      Catatan

      Nama node dapat berisi huruf kapital, huruf kecil, karakter Tionghoa, angka, garis bawah (_), dan titik (.).

Langkah 2: Kembangkan tugas EMR Hive

Pada halaman konfigurasi node EMR Hive, klik ganda node yang telah Anda buat untuk membuka halaman pengembangan tugas, lalu lakukan operasi pengembangan.

show tables;
select '${var}'; --Anda dapat memberikan parameter penjadwalan tertentu ke variabel var.
select * from userinfo ;

Langkah 3: Konfigurasi properti penjadwalan

Jika Anda ingin sistem menjalankan tugas pada node secara berkala, klik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Ikhtisar.

Langkah 4: Deploy tugas

Setelah tugas pada suatu node dikonfigurasi, Anda harus mengirimkan dan mendeploy tugas tersebut. Setelah dikirim dan dideploy, sistem akan menjalankan tugas secara berkala berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan tugas.

2. Klik ikon di bilah alat atas untuk mengirimkan tugas.

   Pada kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan meninjau kode tugas setelah pengiriman berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes pada tab Properties sebelum mengirimkan tugas.

   • Anda dapat menggunakan fitur Tinjauan kode untuk memastikan kualitas kode tugas dan mencegah kesalahan eksekusi akibat kode tugas yang tidak valid. Jika fitur Tinjauan kode diaktifkan, kode tugas yang dikirimkan hanya dapat dideploy setelah lulus proses Tinjauan kode. Untuk informasi selengkapnya, lihat Tinjauan kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus mendeploy tugas ke lingkungan produksi setelah mengirimkannya. Untuk mendeploy tugas pada suatu node, klik Deploy di pojok kanan atas tab konfigurasi node. Untuk informasi selengkapnya, lihat Deploy node.

Langkah selanjutnya

Setelah Anda mengirimkan dan mendeploy tugas, tugas tersebut akan dijalankan secara berkala sesuai konfigurasi penjadwalan. Untuk melihat status penjadwalannya, klik Operation Center di pojok kanan atas tab konfigurasi node yang sesuai guna membuka Operation Center. Untuk informasi selengkapnya, lihat Melihat dan mengelola Tugas yang dipicu otomatis.

Pertanyaan Umum

T: Mengapa terjadi timeout koneksi (ConnectException) saat saya menjalankan node?

J: Pastikan konektivitas jaringan antara kelompok sumber daya dan kluster. Buka halaman daftar sumber daya komputasi untuk menginisialisasi sumber daya tersebut. Pada kotak dialog yang muncul, klik Re-initialize dan pastikan bahwa inisialisasi berhasil.