DataWorks:Doris node

Latar Belakang

Apache Doris adalah database analitik real-time berkinerja tinggi yang sangat cocok untuk kasus penggunaan seperti analisis laporan, kueri ad hoc, dan percepatan kueri federasi data lake. Untuk informasi selengkapnya, lihat Pengenalan Apache Doris.

Prasyarat

• Alur bisnis telah dibuat.

  Data Studio melakukan operasi pengembangan berbasis engine berdasarkan alur bisnis. Sebelum membuat node, buat terlebih dahulu alur bisnis. Untuk informasi selengkapnya, lihat Buat alur bisnis.

• Sumber data Doris telah dibuat.

  Anda harus menambahkan database Doris Anda sebagai sumber data Doris di DataWorks sebelum dapat mengakses datanya. Untuk informasi selengkapnya tentang pembuatan sumber data, lihat Kelola sumber data. Untuk informasi selengkapnya tentang penggunaan sumber data Doris di DataWorks, lihat Sumber data Doris.

  Catatan

  Doris node hanya mendukung sumber data Doris yang dibuat menggunakan string koneksi JDBC.

• Koneksi jaringan telah dibuat antara sumber data Anda dan kelompok sumber daya.

  Anda harus memastikan bahwa sumber data yang diinginkan terhubung ke kelompok sumber daya yang akan digunakan. Untuk informasi selengkapnya tentang konfigurasi konektivitas jaringan, lihat Buat koneksi jaringan antara kelompok sumber daya dan sumber data.

• (Opsional; wajib bagi pengguna Resource Access Management (RAM)) Pengguna RAM yang digunakan untuk pengembangan tugas telah ditambahkan ke ruang kerja target dan diberi peran Development atau Workspace Administrator (yang memberikan izin luas—berikan dengan hati-hati). Untuk informasi selengkapnya tentang penambahan anggota dan pemberian izin, lihat Tambahkan anggota ke ruang kerja.

Batasan

Doris node didukung di wilayah-wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

Langkah 1: Buat Doris node

1. Masuk ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Development.

2. Klik kanan alur kerja target dan pilih Create Node > Database > Doris.

3. Pada kotak dialog Create Node, masukkan Name untuk node tersebut dan klik OK. Setelah node dibuat, Anda dapat mengembangkan dan mengonfigurasi tugasnya.

Langkah 2: Kembangkan tugas Doris

(Opsional) Pilih sumber data Doris

Jika ruang kerja Anda memiliki beberapa sumber data Doris, Anda harus memilih yang sesuai di halaman editor node. Jika hanya ada satu sumber data Doris, sumber tersebut akan digunakan secara default.

Kembangkan kode SQL: Contoh sederhana

Di editor kode Doris node, tulis SQL untuk tugas Anda. Berikut contohnya:

SELECT * FROM usertablename;

Kembangkan kode SQL: Gunakan parameter penjadwalan

DataWorks menyediakan Scheduling Parameter untuk meneruskan nilai dinamis ke kode Anda pada tugas berkala. Anda dapat mendefinisikan variabel dalam kode tugas menggunakan format ${variable_name}. Kemudian, di panel navigasi kanan editor node, buka tab Properties dan gunakan bagian Scheduling Parameter untuk memberikan nilai pada variabel tersebut. Untuk informasi selengkapnya tentang format yang didukung dan detail konfigurasi, lihat Format yang didukung untuk parameter penjadwalan dan Konfigurasikan dan gunakan parameter penjadwalan.

Kode contoh berikut menunjukkan hal tersebut:

SELECT '${var}'; -- Anda dapat menggunakan parameter penjadwalan dengan kode ini.

Langkah 3: Konfigurasikan penjadwalan tugas

Untuk menjalankan tugas node secara berkala, klik Scheduling di sisi kanan halaman pengeditan node dan konfigurasikan pengaturan penjadwalan sesuai kebutuhan. Untuk informasi selengkapnya, lihat Ikhtisar properti penjadwalan tugas.

Langkah 4: Uji kode tugas

Lakukan operasi pengujian berikut sesuai kebutuhan untuk memverifikasi bahwa tugas berjalan sesuai harapan.

1. (Opsional) Pilih kelompok sumber daya dan tetapkan nilai parameter kustom.

   • Klik ikon di bilah alat. Di kotak dialog Parameter, pilih kelompok sumber daya penjadwalan untuk pengujian.

   • Jika kode tugas Anda menggunakan variabel parameter penjadwalan, tetapkan nilai di sini untuk pengujian. Untuk informasi selengkapnya tentang logika penetapan parameter, lihat Proses debugging tugas.

2. Simpan dan jalankan kode tugas.

   Klik ikon di bilah alat untuk menyimpan kode tugas Anda. Lalu klik ikon untuk menjalankan tugas tersebut.

3. (Opsional) Lakukan pengujian asap.

   Untuk menjalankan pengujian asap di lingkungan pengembangan dan memverifikasi bahwa tugas node terjadwal berjalan sesuai harapan, lakukan pengujian asap selama atau setelah pengiriman node. Untuk informasi selengkapnya, lihat Lakukan pengujian asap.

Langkah 5: Kirim dan publikasikan tugas

Setelah mengonfigurasi tugas node, kirim dan publikasikan tugas tersebut. Setelah dipublikasikan, node akan berjalan secara berkala berdasarkan konfigurasi penjadwalannya.

1. Klik ikon di bilah alat untuk menyimpan node.

2. Klik ikon di bilah alat untuk mengirimkan tugas node.

   Di kotak dialog Submission, masukkan Change Description. Secara opsional, pilih apakah ingin mewajibkan tinjauan kode setelah pengiriman.

   Catatan

   • Anda harus mengonfigurasi Rerun attribute dan Parent Nodes node sebelum dapat mengirimkan node tersebut.

   • Tinjauan kode membantu memastikan kualitas kode dan mencegah kesalahan akibat kode yang belum ditinjau langsung dipublikasikan ke lingkungan produksi. Jika tinjauan kode diaktifkan, kode node yang dikirimkan harus disetujui oleh peninjau sebelum dapat dipublikasikan. Untuk informasi selengkapnya, lihat Tinjauan kode.

Jika Anda menggunakan ruang kerja dalam mode standar, setelah berhasil mengirimkan tugas, klik Publish di pojok kanan atas halaman pengeditan node untuk men-deploy tugas ke lingkungan produksi. Untuk informasi selengkapnya, lihat Publikasikan tugas.

Langkah selanjutnya

Operasi tugas: Setelah tugas dikomit dan dipublikasikan, tugas tersebut berjalan secara berkala berdasarkan konfigurasi node. Anda dapat mengklik O&M di pojok kanan atas halaman pengeditan node untuk menuju Pusat Operasi dan melihat status penjadwalan serta eksekusi tugas terjadwal. Untuk informasi selengkapnya, lihat Mengelola Tugas Terjadwal.