Anda dapat menggunakan ClickHouse SQL untuk menjalankan kueri SQL terdistribusi dan memproses data terstruktur guna meningkatkan efisiensi pekerjaan. Di DataWorks, Anda dapat menggunakan node ClickHouse SQL untuk mengembangkan dan menjadwalkan tugas ClickHouse SQL secara berkala, serta mengintegrasikannya dengan pekerjaan lainnya. Topik ini menjelaskan cara mengembangkan tugas menggunakan node ClickHouse SQL.
Prasyarat
Proses bisnis telah dibuat.
Di DataWorks, operasi pengembangan di DataStudio diorganisasi berdasarkan proses bisnis. Oleh karena itu, Anda harus membuat proses bisnis terlebih dahulu sebelum dapat membuat node. Untuk informasi selengkapnya, lihat Buat proses bisnis.
Kluster EMR ClickHouse atau kluster ApsaraDB for ClickHouse telah dibuat dan persiapan yang diperlukan telah selesai.
EMR mendukung dua jenis mesin: DataLake dan Hadoop. Persiapan yang diperlukan sebelum membuat node berbeda-beda tergantung pada jenis mesinnya. Anda dapat menyelesaikan persiapan tersebut di EMR dan DataWorks.
DataLake: Untuk informasi selengkapnya, lihat Konfigurasi kluster DataLake dan Konfigurasi DataWorks.
Hadoop: Untuk informasi selengkapnya, lihat Persiapan untuk pengembangan di kluster Hadoop.
Anda telah menyambungkan resource komputasi ClickHouse ke ruang kerja.
Anda harus membuat resource komputasi ClickHouse di DataWorks yang sesuai dengan database ClickHouse Anda dan menyambungkan resource tersebut ke DataStudio. Hal ini memungkinkan Anda mengakses data ClickHouse melalui resource komputasi tersebut untuk melakukan operasi pengembangan.
Anda telah membeli kelompok sumber daya Serverless dan menyambungkan kelompok sumber daya tersebut ke virtual private cloud (VPC) tempat kluster ApsaraDB for ClickHouse berada. Untuk informasi selengkapnya, lihat Menggunakan kelompok sumber daya Serverless.
CatatanTugas node ClickHouse SQL dapat dijalankan pada kelompok sumber daya Serverless (disarankan) atau kelompok sumber daya eksklusif untuk penjadwalan.
Langkah 1: Buat node ClickHouse SQL
Buka halaman DataStudio.
Masuk ke Konsol DataWorks. Pada bilah navigasi atas, pilih Wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar tarik-turun, lalu klik Go to Data Development.
Klik kanan proses bisnis target lalu pilih .
Pada kotak dialog Create Node, masukkan Name untuk node tersebut lalu klik OK. Setelah node dibuat, Anda dapat mengembangkan dan mengonfigurasi tugas di dalam node tersebut.
Langkah 2: Kembangkan tugas ClickHouse SQL
(Opsional) Pilih resource komputasi ClickHouse
Jika terdapat beberapa resource komputasi ClickHouse di ruang kerja Anda, Anda harus memilih salah satunya pada halaman edit node ClickHouse SQL. Jika hanya terdapat satu resource komputasi ClickHouse, resource tersebut akan digunakan secara default.
Kembangkan kode SQL
Pada editor kode node ClickHouse SQL, tulis kode SQL untuk tugas tersebut. Berikut contoh kodenya.
CREATE DATABASE if not EXISTS ck_test;
CREATE TABLE if not EXISTS ck_test.first_table (
`product_code` String,
`package_name` String
) ENGINE = MergeTree ORDER BY package_name SETTINGS index_granularity = 8192;
INSERT INTO ck_test.first_table (product_code, package_name) VALUES ('1', '1');
SELECT * FROM ck_test.first_table;Langkah 3: Konfigurasi penjadwalan tugas
Untuk menjalankan tugas node secara terjadwal, klik Scheduling Configuration di sisi kanan halaman edit node. Anda kemudian dapat mengonfigurasi properti penjadwalan untuk tugas tersebut. Untuk informasi selengkapnya, lihat Ikhtisar properti penjadwalan tugas.
Untuk melakukan commit terhadap node, Anda harus terlebih dahulu mengatur properti Rerun dan dependent ancestor nodes.
Langkah 4: Debug kode pekerjaan
Lakukan pengujian sesuai kebutuhan untuk memastikan tugas berjalan sesuai harapan.
(Opsional) Pilih kelompok sumber daya untuk menjalankan tugas dan tetapkan nilai untuk parameter kustom.
Klik ikon
pada bilah alat. Pada kotak dialog Parameters, pilih kelompok sumber daya untuk menjadwalkan pengujian.Jika kode tugas Anda menggunakan variabel parameter penjadwalan, Anda dapat memberikan nilai pada variabel tersebut untuk pengujian. Untuk informasi selengkapnya tentang cara memberikan nilai pada parameter, lihat Proses pengujian tugas.
Simpan dan jalankan pernyataan SQL.
Klik ikon
pada bilah alat untuk menyimpan pernyataan SQL. Klik ikon 
untuk menjalankan tugas SQL.(Opsional) Lakukan pengujian asap.
Untuk memastikan tugas node penjadwalan berjalan sesuai harapan, Anda dapat melakukan pengujian asap di lingkungan pengembangan. Pengujian ini dapat dilakukan saat melakukan commit terhadap node atau setelah node tersebut di-commit. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.
Langkah 5: Commit dan publikasikan tugas
Setelah mengonfigurasi node, lakukan commit dan publikasikan tugas tersebut. Setelah dipublikasikan, tugas akan dijalankan secara berkala sesuai konfigurasi penjadwalannya.
Klik ikon
pada bilah alat untuk menyimpan node.Klik ikon
pada bilah alat untuk melakukan commit terhadap node.Saat melakukan commit, masukkan Change description pada kotak dialog Commit. Anda juga dapat memilih apakah akan melakukan tinjauan kode setelah node di-commit.
CatatanAnda harus mengatur properti Rerun dan dependent ancestor nodes sebelum dapat melakukan commit terhadap node.
Tinjauan kode membantu memastikan kualitas kode tugas Anda dan mencegah kesalahan akibat publikasi kode yang belum ditinjau. Jika Anda mengaktifkan tinjauan kode, kode yang di-commit harus disetujui oleh peninjau sebelum dapat dipublikasikan. Untuk informasi selengkapnya, lihat Tinjauan kode.
Jika Anda menggunakan ruang kerja dalam mode standar, setelah melakukan commit terhadap tugas, klik Publish di pojok kanan atas halaman edit node untuk mempublikasikan tugas ke lingkungan produksi. Untuk informasi selengkapnya, lihat Publikasikan tugas.
Langkah selanjutnya
Setelah tugas di-commit dan dipublikasikan, tugas tersebut akan dijalankan secara berkala sesuai konfigurasi node. Anda dapat mengklik O&M di pojok kanan atas halaman edit node untuk membuka Operation Center, tempat Anda dapat melihat status penjadwalan dan eksekusi tugas yang dipicu otomatis. Untuk informasi selengkapnya, lihat Kelola tugas yang dipicu otomatis.