Di DataWorks, node Cloudera's Distribution Including Apache Hadoop (CDH) Presto memungkinkan Anda menggunakan mesin kueri SQL terdistribusi untuk menganalisis data real-time, sehingga meningkatkan kemampuan analisis data di lingkungan CDH. Topik ini menjelaskan cara membuat dan menggunakan node CDH Presto.
Prasyarat
-
Alur kerja telah dibuat di DataStudio.
Di DataStudio, tugas pengembangan dikelompokkan ke dalam alur kerja. Anda harus membuat alur kerja sebelum dapat membuat node. Untuk informasi selengkapnya, lihat Buat alur kerja.
-
Kluster CDH telah dibuat dan didaftarkan ke ruang kerja DataWorks Anda.
Anda harus mendaftarkan kluster CDH ke ruang kerja DataWorks sebelum membuat node dan tugas CDH. Untuk informasi selengkapnya, lihat Bind a CDH compute resource in the old version of DataStudio.
-
(Opsional) Jika Anda menggunakan pengguna RAM, pengguna tersebut harus ditambahkan ke ruang kerja dan diberi peran Development atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas, jadi berikan dengan hati-hati. Untuk informasi selengkapnya tentang penambahan anggota, lihat Tambahkan anggota ke ruang kerja.
-
Grup sumber daya serverless telah dibeli dan dikonfigurasi. Konfigurasi mencakup mengikat grup sumber daya ke ruang kerja Anda dan menyiapkan jaringan. Untuk informasi selengkapnya, lihat Gunakan grup sumber daya serverless.
Batasan
Anda dapat menjalankan tugas jenis ini pada grup sumber daya serverless atau grup sumber daya eksklusif untuk penjadwalan versi lama. Kami merekomendasikan penggunaan grup sumber daya serverless.
Langkah 1: Buat node CDH Presto
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Klik kanan alur kerja dan pilih .
CatatanSebagai alternatif, Anda dapat mengarahkan kursor ke tombol New di bagian atas dan ikuti petunjuk di layar untuk membuat node CDH.
-
Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK. Anda kemudian dapat mengembangkan dan mengonfigurasi tugas di node baru tersebut.
Langkah 2: Kembangkan tugas Presto
Anda dapat mengklik ganda nama node yang telah dibuat untuk membuka tab konfigurasi node tersebut, lalu lakukan operasi berikut untuk mengembangkan tugas.
(Opsional) Pilih instans mesin komputasi CDH
Jika beberapa kluster CDH telah didaftarkan ke ruang kerja Anda, pilih kluster yang sesuai di bagian atas halaman. Jika hanya satu kluster CDH yang telah di-bind, Anda tidak perlu memilih. Dari daftar drop-down CDH engine instance, pilih instans kluster target, misalnya CDH production + test environment. Untuk mengakses titik akhir yang dibatasi oleh daftar putih, gunakan grup sumber daya bayar sesuai penggunaan untuk penjadwalan.
Contoh pengembangan kode SQL sederhana
Di editor SQL, masukkan kode untuk node tersebut. Contoh:
show tables;
select * from userinfo ;Kembangkan kode SQL: Gunakan parameter penjadwalan
DataWorks menyediakan Scheduling Parameter, yang memungkinkan Anda meneruskan nilai secara dinamis ke kode Anda. Anda dapat mendefinisikan variabel dalam kode Anda dengan menggunakan format ${variable_name} dan memberikan nilai di bawah Scheduling Settings > Parameter. Untuk informasi selengkapnya tentang format parameter penjadwalan yang didukung, lihat Format parameter penjadwalan yang didukung.
select '${var}'; -- Anda dapat memberikan parameter penjadwalan tertentu ke variabel var.Langkah 3: Konfigurasikan penjadwalan tugas
Jika Anda perlu menjalankan tugas secara berkala, klik Scheduling di panel kanan untuk mengonfigurasi properti penjadwalannya:
-
Konfigurasikan properti penjadwalan dasar. Untuk informasi selengkapnya, lihat Konfigurasikan properti dasar.
-
Konfigurasikan siklus penjadwalan, properti pengulangan eksekusi (rerun), dan dependensi. Untuk informasi selengkapnya, lihat Konfigurasikan properti waktu dan Konfigurasikan dependensi penjadwalan siklus yang sama.
CatatanAnda harus mengonfigurasi properti Rerun attribute dan menentukan Parent Nodes sebelum melakukan commit node.
-
Konfigurasikan properti sumber daya. Untuk informasi selengkapnya, lihat Konfigurasikan properti sumber daya. Jika tugas perlu mengakses internet publik atau VPC, Anda harus memilih grup sumber daya penjadwalan yang memiliki konektivitas jaringan yang diperlukan. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.
Langkah 4: Debug kode
-
(Opsional) Pilih grup sumber daya waktu proses dan berikan nilai untuk parameter kustom.
-
Di bilah alat, klik ikon
. Di kotak dialog Parameter, pilih grup sumber daya yang akan digunakan untuk debugging. -
Jika kode tugas Anda menggunakan parameter penjadwalan, berikan nilai parameter tersebut di sini untuk debugging. Untuk informasi selengkapnya tentang logika pemberian nilai, lihat Apa perbedaan logika pemberian nilai antara Run, Advanced Run, dan pengujian asap di lingkungan pengembangan?.
-
-
Simpan dan jalankan pernyataan SQL.
Di bilah alat, klik ikon
untuk menyimpan pernyataan SQL, lalu klik ikon 
untuk menjalankan tugas. -
(Opsional) Lakukan pengujian asap.
Untuk menjalankan pengujian asap di lingkungan pengembangan, Anda dapat melakukannya selama proses commit atau setelah Anda melakukan commit node. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.
Langkah selanjutnya
-
Commit dan terapkan tugas.
-
Di bilah alat, klik ikon
untuk menyimpan node. -
Di bilah alat, klik ikon
untuk melakukan commit tugas. -
Pada kotak dialog Commit Node, masukkan Change Description.
-
Klik Determine.
Di ruang kerja mode standar, Anda harus menerapkan tugas ke lingkungan produksi setelah melakukan commit. Di bilah menu atas, klik Deploy. Untuk informasi selengkapnya, lihat Terapkan tugas.
-
-
Lihat tugas terjadwal.
-
Di pojok kanan atas editor, klik O&M Personnel untuk membuka Pusat Operasi lingkungan produksi.
-
Lihat tugas terjadwal yang sedang berjalan. Untuk informasi selengkapnya, lihat Kelola tugas terjadwal.
Untuk melihat detail lebih lanjut tentang tugas terjadwal, klik Operation Center di bilah menu atas. Untuk informasi selengkapnya, lihat Ikhtisar Operation Center.
-