Node Spark SQL memungkinkan Anda menggunakan mesin kueri SQL terdistribusi untuk memproses data terstruktur, sehingga meningkatkan efisiensi eksekusi pekerjaan. DataWorks menyediakan node CDH Spark SQL yang dapat digunakan untuk mengembangkan dan menjadwalkan tugas CDH Spark SQL secara berkala serta mengintegrasikannya dengan jenis tugas lainnya. Topik ini menjelaskan cara membuat dan menggunakan node CDH Spark SQL.
Prasyarat
-
Alur kerja telah dibuat di DataStudio.
Di DataStudio, tugas pengembangan dikelompokkan ke dalam alur kerja. Anda harus membuat alur kerja sebelum dapat membuat node. Untuk informasi selengkapnya, lihat Buat alur kerja.
-
Kluster CDH telah dibuat dan didaftarkan ke ruang kerja DataWorks Anda.
Anda harus mendaftarkan kluster CDH ke ruang kerja DataWorks sebelum membuat node dan tugas CDH. Untuk informasi selengkapnya, lihat Bind a CDH compute resource in the old version of DataStudio.
-
Kelompok sumber daya serverless telah dibeli dan dikonfigurasi. Konfigurasi tersebut mencakup asosiasi dengan ruang kerja dan konfigurasi jaringan. Untuk informasi selengkapnya, lihat Create and use a serverless resource group.
Batasan
Tugas pada node CDH Spark SQL dapat dijalankan pada kelompok sumber daya serverless atau kelompok sumber daya eksklusif untuk penjadwalan versi lama. Kami menyarankan agar Anda menjalankan tugas pada kelompok sumber daya serverless.
Langkah 1: Buat node CDH Spark SQL
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Klik kanan alur kerja target dan pilih .
-
Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK. Editor node akan terbuka, tempat Anda dapat mengembangkan dan mengonfigurasi tugas.
Langkah 2: Kembangkan tugas CDH Spark SQL
(Opsional) Pilih kluster CDH
Jika beberapa kluster Cloudera's Distribution including Apache Hadoop (CDH) telah didaftarkan ke ruang kerja saat ini, Anda harus memilih kluster dari daftar drop-down CDH engine instance sesuai kebutuhan bisnis Anda. Jika hanya satu kluster CDH yang didaftarkan ke ruang kerja saat ini, kluster tersebut akan digunakan secara otomatis untuk pengembangan.
Dari daftar drop-down CDH engine instance, pilih kluster target. Jika Anda perlu mengakses domain yang memiliki Daftar putih alamat IP, gunakan kelompok sumber daya eksklusif untuk penjadwalan.
Kembangkan kode SQL
Kembangkan kode SQL: Contoh sederhana
Di editor kode pada tab konfigurasi node CDH Spark SQL, tulis kode tugas.
Pada contoh ini, Anda dapat membuat tabel test_lineage_table_f1 dan test_lineage_table_t2 di database test_spark serta menyalin data dari tabel test_lineage_table_f1 ke tabel test_lineage_table_t2. Contoh kode:
Contoh ini hanya sebagai referensi. Anda dapat menulis kode sesuai kebutuhan bisnis Anda.
CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_f1 (`id` BIGINT, `name` STRING)
PARTITIONED BY (`ds` STRING);
CREATE TABLE IF NOT EXISTS test_spark.test_lineage_table_t2 AS SELECT * FROM test_spark.test_lineage_table_f1;
INSERT into test_spark.test_lineage_table_t2 SELECT * FROM test_spark.test_lineage_table_f1;Kembangkan kode SQL: Gunakan parameter penjadwalan
DataWorks menyediakan Scheduling Parameter yang memungkinkan Anda meneruskan nilai secara dinamis ke variabel dalam kode untuk tugas terjadwal. Anda dapat mendefinisikan variabel dalam kode tugas menggunakan format ${variable_name}. Di panel navigasi kanan halaman editor node, buka Scheduling Settings > Scheduling Parameter untuk memberikan nilai pada variabel tersebut. Untuk informasi lebih lanjut tentang format dan konfigurasi yang didukung, lihat Supported formats of scheduling parameters dan Configure and use scheduling parameters.
Contoh kode:
SELECT '${var}'; -- Anda dapat memberikan parameter penjadwalan tertentu ke variabel var.(Opsional) Konfigurasi parameter lanjutan
Pada halaman editor node CDH Spark SQL, klik Advanced Settings di panel navigasi kanan untuk mengonfigurasi parameter waktu proses tugas. Contohnya:
-
"spark.driver.memory": "2g": menentukan ukuran memori yang dialokasikan untuk node driver Spark. -
"spark.yarn.queue": "haha": menentukan antrian Yarn tempat aplikasi dikirimkan.
Untuk informasi selengkapnya tentang cara mengonfigurasi parameter lanjutan, lihat Spark Configuration.
Langkah 3: Konfigurasi penjadwalan tugas
Untuk menjalankan tugas node secara berkala, klik Scheduling di sisi kanan halaman pengeditan node dan konfigurasikan pengaturan penjadwalan sesuai kebutuhan Anda. Untuk informasi selengkapnya, lihat Overview of task scheduling properties.
Anda harus mengonfigurasi Rerun attribute dan Parent Nodes node sebelum dapat mengirimkan node tersebut.
Langkah 4: Uji kode tugas
Lakukan operasi pengujian berikut sesuai kebutuhan untuk memverifikasi bahwa tugas berperilaku seperti yang diharapkan.
-
(Opsional) Pilih kelompok sumber daya dan tetapkan nilai parameter khusus.
-
Klik ikon
di bilah alat. Di kotak dialog Parameter, pilih kelompok sumber daya penjadwalan untuk pengujian. -
Jika kode tugas Anda menggunakan variabel parameter penjadwalan, tetapkan nilai untuk variabel tersebut di sini guna pengujian. Untuk informasi selengkapnya tentang logika penetapan parameter, lihat Task debugging process.
-
-
Simpan dan jalankan kode tugas.
Klik ikon
di bilah alat untuk menyimpan kode tugas Anda. Lalu klik ikon 
untuk menjalankan tugas. -
(Opsional) Lakukan Pengujian asap.
Untuk menjalankan Pengujian asap di lingkungan pengembangan dan memverifikasi bahwa tugas node terjadwal dieksekusi sesuai harapan, lakukan Pengujian asap baik selama maupun setelah pengiriman node. Untuk informasi selengkapnya, lihat Perform smoke testing.
Langkah 5: Kirim dan publikasikan tugas
Setelah mengonfigurasi tugas node, kirim dan publikasikan tugas tersebut. Setelah dipublikasikan, node akan berjalan secara berkala sesuai konfigurasi penjadwalannya.
-
Klik ikon
di bilah alat untuk menyimpan node. -
Klik ikon
di bilah alat untuk mengirimkan tugas node.Pada kotak dialog Submission, masukkan Change Description. Secara opsional, pilih apakah Tinjauan kode diperlukan setelah pengiriman.
Catatan-
Anda harus mengonfigurasi Rerun attribute dan Parent Nodes node sebelum dapat mengirimkan node tersebut.
-
Tinjauan kode membantu memastikan kualitas kode dan mencegah kesalahan akibat kode yang belum ditinjau langsung dipublikasikan ke lingkungan produksi. Jika Tinjauan kode diaktifkan, kode node yang dikirimkan harus disetujui oleh peninjau sebelum dapat dipublikasikan. Untuk informasi selengkapnya, lihat Code review.
-
Jika Anda menggunakan ruang kerja dalam mode standar, setelah berhasil mengirimkan tugas, klik Publish di pojok kanan atas halaman pengeditan node untuk men-deploy tugas ke lingkungan produksi. Untuk informasi selengkapnya, lihat Publish a task.
Langkah selanjutnya
-
O&M Tugas: Setelah tugas dikirim dan dipublikasikan, tugas tersebut berjalan secara berkala sesuai konfigurasi node. Anda dapat mengklik O&M di pojok kanan atas halaman pengeditan node untuk menuju Pusat Operasi dan melihat status penjadwalan serta eksekusi tugas berkala. Untuk informasi selengkapnya, lihat Manage periodic tasks.
-
Lihat lineage: Setelah Anda meng-commit dan men-deploy tugas, Anda dapat melihat lineage tugas tersebut di halaman Peta Data. Misalnya, Anda dapat melihat sumber data asli dan database tujuan aliran data tabel. Selanjutnya, Anda dapat menganalisis dampak lineage pada berbagai tingkatan sesuai kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat View lineages.