ClickHouse SQL memungkinkan Anda menggunakan mesin query SQL terdistribusi untuk memproses data terstruktur, meningkatkan efisiensi operasional. DataWorks menyediakan node SQL ClickHouse yang dapat digunakan untuk mengembangkan dan menjadwalkan tugas SQL ClickHouse secara berkala serta mengintegrasikan tugas tersebut dengan jenis tugas lainnya. Topik ini menjelaskan cara menggunakan node SQL ClickHouse untuk mengembangkan tugas.
Prasyarat
Sebuah alur kerja telah dibuat.
Operasi pengembangan di berbagai jenis mesin komputasi dilakukan berdasarkan alur kerja di DataStudio. Oleh karena itu, sebelum membuat node, Anda harus membuat alur kerja. Untuk informasi lebih lanjut, lihat Buat alur kerja.
Database atau kluster E-MapReduce (EMR) ClickHouse telah dibuat, dan persiapan terkait telah selesai.
Persiapan untuk membuat node telah selesai untuk EMR dan DataWorks. Persiapannya bervariasi berdasarkan jenis kluster EMR Anda. EMR menyediakan jenis kluster berikut:
Kluster DataLake: Untuk informasi tentang persiapannya, lihat Konfigurasikan kluster EMR DataLake dan Konfigurasikan DataWorks.
Kluster Hadoop: Untuk informasi tentang persiapannya, lihat Hubungkan kluster EMR dengan ruang kerja DataWorks sebagai instance mesin komputasi EMR.
Grup sumber daya serverless telah dibeli dan dihubungkan dengan virtual private cloud (VPC) tempat kluster ClickHouse diterapkan. Untuk informasi lebih lanjut, lihat Buat dan gunakan grup sumber daya serverless.
CatatanTugas pada node SQL ClickHouse dapat dijalankan pada grup sumber daya serverless atau grup sumber daya eksklusif versi lama untuk penjadwalan. Kami merekomendasikan agar Anda menjalankan tugas pada grup sumber daya serverless.
Langkah 1: Buat node SQL ClickHouse
Pergi ke halaman DataStudio.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Temukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan pilih .
Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm. Kemudian, Anda dapat menggunakan node tersebut untuk mengembangkan tugas dan mengonfigurasi properti penjadwalan tugas.
Langkah 2: Kembangkan tugas SQL ClickHouse
(Opsional) Pilih sumber daya komputasi ClickHouse
Jika beberapa sumber daya komputasi ClickHouse ditambahkan ke ruang kerja, Anda harus memilih salah satu di tab konfigurasi node SQL ClickHouse. Jika hanya satu yang ditambahkan, maka akan digunakan secara default.
Kembangkan kode SQL
Di editor kode di tab konfigurasi node SQL ClickHouse, tulis kode tugas. Contoh kode tugas:
CREATE DATABASE if not EXISTS ck_test;
CREATE TABLE if not EXISTS ck_test.first_table (
`product_code` String,
`package_name` String
) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
INSERT INTO ck_test.first_table (product_code, package_name) VALUES ('1', '1');
SELECT * FROM ck_test.first_table;Langkah 3: Konfigurasikan properti penjadwalan tugas
Jika Anda ingin sistem secara berkala menjalankan tugas pada node, Anda dapat mengklik Properties di panel navigasi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Ikhtisar.
Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengirimkan tugas.
Langkah 4: Debug kode tugas
Anda dapat melakukan operasi berikut untuk memeriksa apakah tugas dikonfigurasi sesuai harapan berdasarkan kebutuhan bisnis Anda:
Opsional. Pilih grup sumber daya dan tetapkan parameter kustom ke variabel.
Klik ikon
di bilah alat atas tab konfigurasi node. Di kotak dialog Parameters, pilih grup sumber daya untuk penjadwalan yang ingin Anda gunakan untuk men-debug dan menjalankan kode tugas.Jika Anda menggunakan parameter penjadwalan dalam kode tugas Anda, tetapkan parameter penjadwalan ke variabel sebagai nilai dalam kode tugas untuk debugging. Untuk informasi lebih lanjut tentang logika penetapan nilai parameter penjadwalan, lihat Prosedur debugging.
Simpan dan eksekusi pernyataan SQL.
Di bilah alat atas, klik ikon
untuk menyimpan pernyataan SQL. Lalu, klik ikon
untuk mengeksekusi pernyataan SQL.Opsional. Lakukan pengujian asap.
Anda dapat melakukan pengujian asap pada tugas di lingkungan pengembangan untuk memeriksa apakah tugas dijalankan sesuai harapan saat Anda mengirimkan tugas atau setelah Anda mengirimkan tugas. Untuk informasi lebih lanjut, lihat Lakukan pengujian asap.
Langkah 5: Kirim dan terapkan tugas
Setelah tugas pada node dikonfigurasi, Anda harus mengirimkan dan menerapkan tugas. Setelah Anda mengirimkan dan menerapkan tugas, sistem akan menjalankan tugas secara berkala berdasarkan konfigurasi penjadwalan.
Klik ikon
di bilah alat atas untuk menyimpan tugas.Klik ikon
di bilah alat atas untuk mengirimkan tugas.Di kotak dialog Submit, konfigurasikan parameter Change description. Kemudian, tentukan apakah akan meninjau kode tugas setelah Anda mengirimkan tugas berdasarkan kebutuhan bisnis Anda.
CatatanAnda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum Anda mengirimkan tugas.
Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode tugas dan mencegah kesalahan eksekusi tugas yang disebabkan oleh kode tugas yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode tugas yang dikirimkan hanya dapat diterapkan setelah kode tugas lolos tinjauan kode. Untuk informasi lebih lanjut, lihat Tinjauan kode.
Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menerapkan tugas di lingkungan produksi setelah Anda mengirimkan tugas. Untuk menerapkan tugas pada node, klik Deploy di pojok kanan atas tab konfigurasi node. Untuk informasi lebih lanjut, lihat Terapkan tugas.
Apa yang harus dilakukan selanjutnya
Setelah Anda mengirimkan dan menerapkan tugas, tugas tersebut akan dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di pojok kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi dan melihat status penjadwalan tugas. Untuk informasi lebih lanjut, lihat Lihat dan kelola tugas yang dipicu otomatis.