DataWorks：Konfigurasi node Doris

Informasi latar belakang

Apache Doris adalah database analitik real-time berperforma tinggi yang dapat digunakan dalam skenario seperti analisis laporan, kueri ad hoc, dan kueri federasi lintas data lake. Untuk informasi lebih lanjut, lihat Pengenalan Apache Doris.

Prasyarat

• Sebuah alur kerja telah dibuat.

  Operasi pengembangan di berbagai jenis mesin komputasi dilakukan berdasarkan alur kerja di DataStudio. Oleh karena itu, sebelum membuat node, Anda harus membuat alur kerja. Untuk informasi lebih lanjut, lihat Buat Alur Kerja.

• Sumber data Doris telah ditambahkan.

  Anda harus menambahkan basis data Doris ke DataWorks sebagai sumber data Doris sebelum dapat menggunakannya untuk mengakses data di basis data tersebut. Untuk informasi tentang cara menambahkan sumber data, lihat Tambah dan Kelola Sumber Data. Untuk informasi tentang cara menggunakan sumber data Doris di DataWorks, lihat Sumber Data Doris.

  Catatan

  Anda hanya dapat membuat node Doris berdasarkan sumber data Doris yang ditambahkan ke DataWorks dalam mode string koneksi Java Database Connectivity (JDBC).

• Koneksi jaringan telah dibuat antara sumber data dan grup sumber daya.

  Pastikan bahwa sumber data terhubung ke grup sumber daya yang ingin Anda gunakan. Untuk informasi lebih lanjut tentang cara mengonfigurasi konektivitas jaringan, lihat Membuat Koneksi Jaringan antara Grup Sumber Daya dan Sumber Data.

• (Diperlukan jika Anda menggunakan pengguna RAM untuk mengembangkan tugas) Pengguna RAM telah ditambahkan ke ruang kerja DataWorks sebagai anggota dan diberi peran Develop atau Workspace Administrator. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan. Berhati-hatilah saat memberikan peran ini. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan menetapkan peran kepada mereka, lihat Tambah Anggota Ruang Kerja dan Tetapkan Peran kepada Mereka.

Batasan

Jenis node ini didukung di wilayah berikut: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Beijing), , Tiongkok (Shenzhen), Tiongkok (Chengdu), Tiongkok (Hong Kong), Jepang (Tokyo), Singapura, Malaysia (Kuala Lumpur), Jerman (Frankfurt), AS (Silicon Valley), dan AS (Virginia).

Langkah 1: Buat node Doris

1. Buka halaman DataStudio.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.

2. Di halaman DataStudio, temukan alur kerja yang diinginkan, klik kanan nama alur kerja, dan pilih Create Node > Database > Doris.

3. Di kotak dialog Create Node, konfigurasikan parameter Name dan klik Confirm. Kemudian, Anda dapat menggunakan node yang dibuat untuk mengembangkan dan mengonfigurasi tugas.

Langkah 2: Kembangkan tugas Doris

(Opsional) Pilih sumber data Doris

Jika beberapa sumber data Doris telah ditambahkan ke ruang kerja Anda, pilih salah satu dari daftar drop-down Pilih Sumber Data di bagian atas tab konfigurasi node sesuai dengan kebutuhan bisnis Anda. Jika hanya satu sumber data Doris yang ditambahkan, sumber data tersebut akan digunakan untuk mengembangkan tugas.

Kembangkan kode SQL: Contoh sederhana

Di editor kode pada tab konfigurasi node Doris, tulis kode tugas. Contoh kode:

SELECT * FROM usertablename;

Kembangkan kode SQL: Gunakan parameter penjadwalan

DataWorks menyediakan parameter penjadwalan yang nilainya diganti secara dinamis dalam kode tugas berdasarkan konfigurasi parameter penjadwalan dalam skenario penjadwalan berkala. Anda dapat mendefinisikan variabel dalam kode tugas dalam format ${Variable} dan menetapkan nilai ke variabel di bagian Scheduling Parameter dari tab Properties. Untuk informasi tentang format yang didukung dari parameter penjadwalan dan cara mengonfigurasi parameter penjadwalan, lihat Format yang Didukung dari Parameter Penjadwalan dan Konfigurasikan dan Gunakan Parameter Penjadwalan.

Contoh kode:

SELECT '${var}'; -- Anda dapat menetapkan parameter penjadwalan tertentu ke variabel var.

Langkah 3: Konfigurasikan properti penjadwalan tugas

Jika Anda ingin sistem menjalankan tugas secara berkala pada node, klik Properties di panel navigasi sisi kanan pada tab konfigurasi node untuk mengonfigurasi properti penjadwalan tugas berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Ikhtisar.

Langkah 4: Debug kode tugas

Anda dapat melakukan operasi berikut untuk memeriksa apakah tugas dikonfigurasi sesuai harapan berdasarkan kebutuhan bisnis Anda:

1. Opsional. Pilih grup sumber daya dan tetapkan parameter kustom ke variabel.

   • Klik ikon di bilah alat atas tab konfigurasi node. Di kotak dialog Parameters, pilih grup sumber daya untuk penjadwalan yang ingin Anda gunakan untuk men-debug dan menjalankan kode tugas.

   • Jika Anda menggunakan parameter penjadwalan dalam kode tugas Anda, tetapkan parameter penjadwalan ke variabel sebagai nilai dalam kode tugas untuk debugging. Untuk informasi lebih lanjut tentang logika penetapan nilai parameter penjadwalan, lihat Prosedur Debugging.

2. Simpan dan jalankan kode tugas.

   Di bilah alat atas, klik ikon untuk menyimpan kode tugas. Lalu, klik ikon untuk menjalankan kode tugas.

3. Opsional. Lakukan pengujian asap.

   Saat Anda mengirimkan node atau setelah Anda mengirimkan node, Anda dapat melakukan pengujian asap pada node di lingkungan pengembangan untuk memeriksa apakah node dijalankan sesuai harapan. Untuk informasi lebih lanjut, lihat Lakukan Pengujian Asap.

Langkah 5: Kirim dan terapkan tugas

Setelah tugas pada node dikonfigurasi, Anda harus mengirim dan menerapkan tugas. Setelah Anda mengirim dan menerapkan tugas, sistem menjalankan tugas secara berkala berdasarkan konfigurasi penjadwalan.

1. Klik ikon di bilah alat atas untuk menyimpan tugas.

2. Klik ikon di bilah alat atas untuk mengirimkan tugas pada node.

   Di kotak dialog Submit, konfigurasikan parameter Change description. Lalu, tentukan apakah akan meninjau kode tugas setelah Anda mengirimkan tugas berdasarkan kebutuhan bisnis Anda.

   Catatan

   • Anda harus mengonfigurasi parameter Rerun dan Parent Nodes di tab Properti sebelum mengirimkan tugas.

   • Anda dapat menggunakan fitur tinjauan kode untuk memastikan kualitas kode tugas dan mencegah kesalahan eksekusi tugas yang disebabkan oleh kode tugas yang tidak valid. Jika Anda mengaktifkan fitur tinjauan kode, kode node yang dikirimkan hanya dapat diterapkan setelah kode node lulus tinjauan kode. Untuk informasi lebih lanjut, lihat Tinjauan Kode.

Jika Anda menggunakan ruang kerja dalam mode standar, Anda harus menerapkan tugas di lingkungan produksi setelah Anda mengirimkan tugas. Untuk menerapkan tugas pada node, klik Deploy di sudut kanan atas tab konfigurasi node. Untuk informasi lebih lanjut, lihat Terapkan Tugas.

Apa yang harus dilakukan selanjutnya

O&M Tugas: Setelah Anda mengirim dan menerapkan tugas, tugas dijalankan secara berkala berdasarkan konfigurasi penjadwalan. Anda dapat mengklik Operation Center di sudut kanan atas tab konfigurasi node yang sesuai untuk pergi ke Pusat Operasi dan melihat status penjadwalan tugas. Untuk informasi lebih lanjut, lihat Lihat dan Kelola Tugas yang Dipicu Otomatis.