DataWorks:Buat node EMR Impala

Batasan

• Jenis task ini hanya dapat dijalankan pada Grup sumber daya serverless (disarankan) atau grup sumber daya eksklusif untuk penjadwalan.

• EMR Impala hanya berjalan pada sumber daya komputasi tipe kluster data lake (Hadoop) lama. DataWorks tidak lagi mendukung pengikatan kluster tipe Hadoop baru, tetapi Anda masih dapat terus menggunakan kluster Hadoop yang sebelumnya telah dikaitkan.

Langkah 1: Buat node EMR Impala

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

2. Buat node EMR Impala.

   1. Klik kanan alur bisnis target dan pilih Create Node > EMR > EMR Impala.

      Catatan

      Anda juga dapat mengarahkan kursor ke Create dan memilih Create Node > EMR > EMR Impala.

   2. Pada kotak dialog Create Node, masukkan Name dan pilih Engine Instance, Node Type, dan Path. Klik OK untuk membuka tab konfigurasi node EMR Impala.

      Catatan

      Nama node dapat berisi huruf kapital, huruf kecil, angka, garis bawah (_), dan titik (.).

Langkah 2: Kembangkan task EMR Impala

Pada tab konfigurasi node EMR Impala, klik ganda node yang telah Anda buat untuk membuka tab pengembangan task dan lakukan operasi berikut.

show tables;
CREATE TABLE IF NOT EXISTS userinfo (
ip STRING COMMENT'IP address',
uid STRING COMMENT'User ID'
)PARTITIONED BY(
dt STRING
); 
ALTER TABLE userinfo ADD IF NOT EXISTS PARTITION(dt='${bizdate}'); -- Anda dapat menggunakan parameter penjadwalan.
select * from userinfo ;

(Opsional) Lihat alur data

Untuk menampilkan alur data tingkat tabel dan tingkat bidang untuk task EMR Impala di Data Map, Anda harus terlebih dahulu mengaktifkan log alur data Impala pada kluster EMR. Fitur ini hanya didukung untuk kluster data lake EMR yang menggunakan metadata Hive Metastore (HMS) atau Data Lake Formation (DLF). Untuk informasi selengkapnya tentang konfigurasi, lihat Analisis alur data.

Langkah 3: Konfigurasikan properti penjadwalan

Jika Anda ingin sistem menjalankan task pada node secara berkala, Anda dapat mengklik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan task sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Ikhtisar.

Langkah 4: Deploy task

Setelah task pada node dikonfigurasi, Anda harus melakukan commit dan deploy task tersebut. Setelah task di-commit dan di-deploy, sistem akan menjalankan task tersebut secara berkala berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan task.

2. Klik ikon di bilah alat atas untuk melakukan commit task.

   Pada kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan melakukan tinjauan kode task setelah commit berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes pada tab Properties sebelum melakukan commit task.

   • Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode task dan mencegah error eksekusi task yang disebabkan oleh kode task yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode task yang di-commit hanya dapat di-deploy setelah melewati tinjauan kode. Untuk informasi selengkapnya, lihat Tinjauan kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus melakukan deploy task di lingkungan produksi setelah melakukan commit task. Untuk melakukan deploy task pada node, klik Deploy di pojok kanan atas tab konfigurasi node. Untuk informasi selengkapnya, lihat Deploy node.

Operasi tambahan

Setelah Anda melakukan commit dan deploy task, task tersebut akan dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di pojok kanan atas tab konfigurasi node yang sesuai untuk membuka Operation Center dan melihat status penjadwalan task tersebut. Untuk informasi selengkapnya, lihat Kelola task terjadwal.

FAQ

• T: Bagaimana cara mengatasi error "Impala JDBC Url is Empty"?

  >>> [ERROR][LauncherFactory]: JobLauncher init Failed!
  java.lang.RuntimeException: Impala JDBC Url is Empty!
      at com.aliyun.emr.dataworks.dcc.launcher.type.ImpalaJobLauncher.initJdbcConnection

  J: Pastikan layanan Impala telah ditambahkan ke kluster Anda. Layanan Impala hanya tersedia untuk pengguna yang sudah ada.

• T: Mengapa terjadi error timeout koneksi saat node dijalankan?

  EMR execute task failed!
  FAILED: Build connection error! Could not open client transport with JDBC Uri: jdbc:hive2://<host>:21050/;auth=noSasl: java.net.ConnectException: Connection timed out (Connection timed out)

  J: Error ini dapat terjadi jika grup sumber daya dan kluster tidak memiliki konektivitas jaringan. Untuk mengatasi masalah ini, buka halaman daftar sumber daya komputasi, temukan sumber daya tersebut, lalu klik Inisialisasi Sumber Daya. Pada kotak dialog yang muncul, klik Re-initialize dan pastikan sumber daya berhasil diinisialisasi.