Node StarRocks di DataWorks memungkinkan Anda mengembangkan, menjadwalkan, dan mengintegrasikan tugas StarRocks secara berkala dengan pekerjaan lain. Topik ini menjelaskan langkah-langkah utama untuk mengembangkan tugas menggunakan node StarRocks.
Informasi latar belakang
StarRocks adalah database Pemrosesan Paralel Masif (MPP) generasi berikutnya yang sangat cepat, mendukung berbagai skenario, serta merupakan mesin analitik OLAP yang kompatibel dengan protokol MySQL. StarRocks menawarkan kinerja luar biasa dan mendukung berbagai skenario OLAP, seperti analisis OLAP multidimensi, analitik data lake, kueri konkurensi tinggi, dan analitik data real-time.
Prasyarat
-
Alur bisnis telah dibuat.
Data Studio melakukan operasi pengembangan berbasis mesin berdasarkan alur bisnis. Sebelum membuat node, buat terlebih dahulu alur bisnis. Untuk informasi selengkapnya, lihat Buat alur bisnis.
-
Sumber data StarRocks telah dibuat.
Anda harus mendaftarkan database StarRocks Anda sebagai sumber data StarRocks di DataWorks terlebih dahulu. Untuk informasi selengkapnya, lihat Buat sumber data StarRocks.
CatatanNode StarRocks hanya mendukung sumber data StarRocks yang dibuat menggunakan string koneksi Java Database Connectivity (JDBC).
-
(Opsional; wajib bagi pengguna Resource Access Management (RAM)) Pengguna RAM yang digunakan untuk pengembangan tugas telah ditambahkan ke ruang kerja target dan diberi peran Development atau Workspace Administrator (yang memberikan izin luas—berikan dengan hati-hati). Untuk informasi selengkapnya tentang menambahkan anggota dan memberikan izin, lihat Tambahkan anggota ke ruang kerja.
Batasan
Wilayah yang didukung: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Singapura, Malaysia (Kuala Lumpur), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).
Langkah 1: Buat node StarRocks
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.
-
Klik kanan alur bisnis target dan pilih .
-
Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK. Node berhasil dibuat. Anda kini dapat mengembangkan dan mengonfigurasi tugas di dalam node tersebut.
Langkah 2: Kembangkan tugas StarRocks
(Opsional) Pilih sumber data StarRocks
Jika ruang kerja Anda memiliki beberapa sumber data StarRocks, pilih sumber data target dari daftar drop-down di bagian atas halaman pengeditan node StarRocks. Jika hanya ada satu sumber data StarRocks, sumber data tersebut akan digunakan secara default.
Node StarRocks hanya mendukung sumber data StarRocks yang dibuat menggunakan string koneksi Java Database Connectivity (JDBC).
Kembangkan kode SQL: Contoh sederhana
Tulis tugas StarRocks di editor kode node StarRocks. Contoh berikut mengambil informasi tentang semua tabel dasar di database StarRocks:
SELECT * FROM information_schema.tables
WHERE table_type = 'BASE TABLE';
Kembangkan kode SQL: Ganti catalog dan database
SET CATALOG catalog_name; -- Ganti catalog yang berlaku untuk session saat ini.
USE catalog_name.db_name; -- Tentukan database yang berlaku untuk session saat ini.
Jika nama catalog atau database merupakan kata kunci, bungkus dengan backtick (``) untuk menghindari error penguraian.
Kembangkan kode SQL: Gunakan parameter penjadwalan
Scheduling Parameter DataWorks memungkinkan input dinamis dalam jadwal berulang. Di tugas node Anda, definisikan variabel dalam kode menggunakan format ${variable_name}. Kemudian, di bagian Scheduling > Scheduling Parameter pada panel navigasi sebelah kanan, tetapkan nilai untuk variabel-variabel tersebut. Untuk format yang didukung dan detail konfigurasi, lihat Format parameter penjadwalan yang didukung dan Konfigurasi dan penggunaan parameter penjadwalan.
Pada contoh berikut, parameter penjadwalan a diatur ke $[yyyymmdd] (tanggal hari ini). Kode tersebut mengambil tabel yang dibuat pada hari ini:
SELECT * FROM information_schema.tables
WHERE CREAT_TIME = '${a}';
Langkah 3: Konfigurasi penjadwalan tugas
Untuk menjalankan tugas node secara berkala, klik Scheduling di sisi kanan halaman pengeditan node dan konfigurasikan pengaturan penjadwalan sesuai kebutuhan Anda. Untuk informasi selengkapnya, lihat Ikhtisar properti penjadwalan tugas.
Anda harus mengonfigurasi Rerun attribute dan Parent Nodes node sebelum dapat mengirimkan node tersebut.
Langkah 4: Uji kode tugas
Lakukan operasi pengujian berikut sesuai kebutuhan untuk memverifikasi bahwa tugas berjalan sesuai harapan.
-
(Opsional) Pilih kelompok sumber daya dan tetapkan nilai parameter khusus.
-
Klik ikon
di bilah alat. Di kotak dialog Parameter, pilih kelompok sumber daya jadwal untuk pengujian. -
Jika kode tugas Anda menggunakan variabel parameter penjadwalan, tetapkan nilai untuk variabel tersebut di sini guna pengujian. Untuk informasi selengkapnya tentang logika penetapan parameter, lihat Proses debugging tugas.
-
-
Simpan dan jalankan kode tugas.
Klik ikon
di bilah alat untuk menyimpan kode tugas Anda. Lalu klik ikon
untuk menjalankan tugas. -
(Opsional) Lakukan pengujian asap.
Untuk menjalankan pengujian asap di lingkungan pengembangan dan memverifikasi bahwa tugas node terjadwal berjalan sesuai harapan, lakukan pengujian asap selama atau setelah pengiriman node. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.
Langkah 5: Kirim dan publikasikan tugas
Setelah mengonfigurasi tugas node, kirim dan publikasikan tugas tersebut. Setelah dipublikasikan, node akan berjalan secara berkala berdasarkan konfigurasi penjadwalannya.
-
Klik ikon
di bilah alat untuk menyimpan node. -
Klik ikon
di bilah alat untuk mengirimkan tugas node.Pada kotak dialog Submission, masukkan Change Description. Secara opsional, pilih apakah akan mewajibkan tinjauan kode setelah pengiriman.
Catatan-
Anda harus mengonfigurasi Rerun attribute dan Parent Nodes node sebelum dapat mengirimkan node tersebut.
-
Tinjauan kode membantu memastikan kualitas kode dan mencegah error akibat kode yang belum ditinjau langsung dipublikasikan ke lingkungan produksi. Jika tinjauan kode diaktifkan, kode node yang dikirimkan harus disetujui oleh peninjau sebelum dapat dipublikasikan. Untuk informasi selengkapnya, lihat Tinjauan kode.
-
Jika Anda menggunakan ruang kerja dalam mode standar, setelah berhasil mengirimkan tugas, klik Publish di pojok kanan atas halaman pengeditan node untuk men-deploy tugas ke lingkungan produksi. Untuk informasi selengkapnya, lihat Publikasikan tugas.
Langkah selanjutnya
Setelah tugas dikirim dan dipublikasikan, tugas tersebut berjalan secara berkala berdasarkan konfigurasinya. Klik O&M Personnel di pojok kanan atas antarmuka pengeditan node untuk menuju Operation Center dan memantau status penjadwalan tugas berulang. Untuk informasi selengkapnya, lihat Kelola tugas berulang.