Kembangkan tugas di node CDH Impala - DataWorks

Di DataWorks, Anda dapat menggunakan node Cloudera's Distribution Including Apache Hadoop (CDH) Impala untuk menulis dan menjalankan skrip SQL Impala. Node CDH Impala memberikan performa kueri yang lebih tinggi dibandingkan dengan node CDH Hive. Topik ini menjelaskan cara membuat dan menggunakan node CDH Impala.

Prasyarat

Sebelum membuat node terkait CDH dan mengembangkan tugas CDH, Anda harus mendaftarkan kluster CDH ke ruang kerja DataWorks target. Untuk informasi lebih lanjut, lihat DataStudio (versi lama): Asosiasikan sumber daya komputasi CDH.

Batasan

Tugas pada jenis node ini dapat dijalankan pada grup sumber daya tanpa server atau grup sumber daya eksklusif versi lama untuk penjadwalan. Kami merekomendasikan agar Anda menjalankan tugas pada grup sumber daya tanpa server.

Langkah 1: Buat node CDH Impala

Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan pilih Create Node > CDH > CDH Impala.
Catatan
Sebagai alternatif, Anda dapat mengarahkan pointer ke ikon Create di bagian atas panel Alur Kerja Terjadwal dan buat node CDH sesuai petunjuk.
Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm. Kemudian, Anda dapat menggunakan node yang telah dibuat untuk mengembangkan dan mengonfigurasi tugas.

Langkah 2: Kembangkan tugas Impala

Anda dapat mengklik dua kali nama node yang telah dibuat untuk membuka tab konfigurasi node dan melakukan operasi berikut untuk mengembangkan tugas.

(Opsional) Pilih kluster CDH

Jika beberapa kluster CDH terdaftar ke ruang kerja saat ini, Anda harus memilih satu dari daftar drop-down Instance Mesin CDH berdasarkan kebutuhan bisnis Anda. Jika hanya satu kluster CDH yang terdaftar, pemilihan tidak diperlukan.

Contoh pengembangan kode SQL sederhana

Di editor SQL, masukkan kode untuk node. Contoh:

SHOW tables;

SELECT * FROM userinfo ;

Kembangkan kode SQL: Gunakan parameter penjadwalan

DataWorks menyediakan scheduling parameters yang nilainya diganti secara dinamis dalam kode tugas berdasarkan konfigurasi parameter penjadwalan dalam skenario penjadwalan periodik. Anda dapat mendefinisikan variabel dalam kode tugas dalam format ${Variabel} dan memberikan nilai kepada variabel di bagian Scheduling Parameter dari tab Properties. Untuk informasi tentang format yang didukung dari parameter penjadwalan, lihat Format yang didukung dari parameter penjadwalan.

SELECT '${var}'; -- Anda dapat menetapkan parameter penjadwalan tertentu ke variabel var.

Langkah 3: Konfigurasikan properti penjadwalan tugas

Jika Anda ingin sistem secara berkala menjalankan tugas pada node, Anda dapat mengklik Properties di panel navigasi sebelah kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas berdasarkan kebutuhan bisnis Anda.

Konfigurasikan properti dasar untuk tugas. Untuk informasi lebih lanjut, lihat Konfigurasikan properti dasar.
Konfigurasikan siklus penjadwalan, properti ulang, dan dependensi penjadwalan. Untuk informasi lebih lanjut, lihat Konfigurasikan properti waktu dan Konfigurasikan dependensi penjadwalan siklus yang sama.
Catatan
Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengirimkan tugas.
Konfigurasikan properti sumber daya untuk node. Untuk informasi lebih lanjut, lihat Konfigurasikan properti sumber daya. Jika node yang Anda buat adalah node pemicu otomatis dan Anda ingin node tersebut mengakses Internet atau virtual private cloud (VPC), Anda harus memilih grup sumber daya untuk penjadwalan yang terhubung ke node. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.

Langkah 4: Debug kode tugas

Opsional. Pilih grup sumber daya dan tetapkan parameter kustom ke variabel.
- Klik ikon di bilah alat atas tab konfigurasi node. Di kotak dialog Parameters, pilih grup sumber daya yang ingin Anda gunakan untuk men-debug dan menjalankan kode tugas.
- Jika Anda menggunakan parameter penjadwalan dalam kode tugas Anda, tetapkan parameter penjadwalan ke variabel sebagai nilai dalam kode tugas untuk debugging. Untuk informasi lebih lanjut tentang logika penetapan nilai parameter penjadwalan, lihat Apa saja perbedaan dalam logika penetapan nilai parameter penjadwalan antara mode Jalankan, Jalankan dengan Parameter, dan Lakukan Pengujian Asap di Lingkungan Pengembangan?
Simpan dan eksekusi pernyataan SQL.
Di bilah alat atas, klik ikon untuk menyimpan pernyataan SQL. Kemudian, klik ikon untuk mengeksekusi pernyataan SQL.
Opsional. Lakukan pengujian asap.
Anda dapat melakukan pengujian asap pada tugas di lingkungan pengembangan ketika Anda mengirimkan tugas atau setelah Anda mengirimkan tugas. Untuk informasi lebih lanjut, lihat Lakukan pengujian asap.

Apa yang harus dilakukan selanjutnya

Kirimkan dan terapkan tugas.
1. Klik ikon di bilah alat atas untuk menyimpan tugas.
2. Klik ikon di bilah alat atas untuk mengirimkan tugas.
3. Di kotak dialog Submit, konfigurasikan parameter Change description.
4. Klik Confirm.
Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menerapkan tugas di lingkungan produksi setelah Anda mengirimkan tugas. Untuk menerapkan tugas pada node, klik Deploy di bilah navigasi atas halaman DataStudio. Untuk informasi lebih lanjut, lihat Terapkan tugas.
Lihat tugas.
1. Klik Operation Center di sudut kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi di lingkungan produksi.
2. Lihat tugas terjadwal. Untuk informasi lebih lanjut, lihat Lihat dan kelola tugas pemicu otomatis.
Untuk melihat lebih banyak informasi tentang tugas, klik Operation Center di bilah navigasi atas halaman DataStudio. Untuk informasi lebih lanjut, lihat Ikhtisar.