Node parameter adalah node virtual khusus yang memungkinkan Anda mengelola parameter dalam suatu workflow dan meneruskannya antar node tugas. Node ini mendukung parameter konstan, parameter variabel, serta penerusan (pass-through) parameter dari node hulu. Node yang memerlukan parameter cukup membuat dependensi langsung terhadap node parameter tersebut. Topik ini menjelaskan cara membuat node parameter untuk pengembangan data yang efisien di DataWorks.
Ikhtisar
Node parameter adalah node virtual yang tidak menjalankan tugas komputasi data maupun menghasilkan data. Node ini terutama digunakan untuk penerusan parameter lintas node dan manajemen parameter terpusat.
-
Meneruskan parameter antar node
Dalam suatu workflow, jika node hilir memerlukan parameter output dari beberapa node hulu di berbagai tingkat, Anda dapat menggunakan node parameter untuk mengonsolidasikannya. Tambahkan semua parameter yang diperlukan ke dalam node parameter tersebut, lalu atur node hilir agar bergantung langsung pada node parameter untuk mengakses seluruh parameter yang dibutuhkan.
Pada gambar di atas, node
Sq_MySQL_Gmemerlukan parameter output dari nodeSq_MySQL_BdanSq_MySQL_E. Anda dapat menggunakan node parameter sebagai node hilir dari kedua node tersebut, menambahkan semua parameter yang dibutuhkan olehSq_MySQL_Gke dalam node parameter, lalu mengaturSq_MySQL_Gsebagai node hilir dari node parameter untuk menerima parameter output-nya. Dengan cara ini,Sq_MySQL_Gdapat memperoleh parameter dariSq_MySQL_BdanSq_MySQL_Emelalui node parameter. -
Manajemen parameter terpusat
Ketika node tugas hilir dalam suatu workflow perlu menggunakan parameter konstan atau variabel tertentu, Anda dapat menambahkan semua parameter tersebut ke dalam satu node parameter. Node hilir yang memerlukan parameter tersebut kemudian cukup membuat dependensi langsung terhadap node parameter. Pendekatan ini memusatkan manajemen parameter untuk seluruh workflow.
Pada gambar di atas, node
Sq2_MySQL_A,Sq2_MySQL_C,Sq2_MySQL_D,Sq2_MySQL_E, danSq2_MySQL_Fsemuanya memerlukan parameter. Anda dapat menggunakan node parameter untuk memperoleh parameter output dari node hulu serta mengonfigurasi parameter variabel atau konstan yang diperlukan. Node parameter ini kemudian berfungsi sebagai dependensi hulu bagi node-node yang membutuhkan parameter tersebut.
Prasyarat
Pengguna RAM yang ingin Anda gunakan telah ditambahkan ke ruang kerja Anda.
Jika Anda ingin menggunakan Pengguna RAM untuk mengembangkan tugas, Anda harus menambahkan Pengguna RAM tersebut ke ruang kerja sebagai anggota dan memberikan peran Develop atau Workspace Administrator kepada Pengguna RAM tersebut. Peran Workspace Administrator memiliki lebih banyak izin daripada yang diperlukan—berhati-hatilah saat memberikan peran ini. Untuk informasi lebih lanjut tentang cara menambahkan anggota dan memberikan peran, lihat Add members to a workspace.
-
Kelompok sumber daya serverless telah dikaitkan dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat topik dalam direktori Use serverless resource groups.
-
Sebelum mengonfigurasi node parameter, Anda harus membuatnya terlebih dahulu. Untuk informasi lebih lanjut, lihat Create nodes for a scheduling workflow.
Catatan
Untuk mereferensikan parameter dari node parameter, node tugas harus menjadi node hilir langsungnya dan mengatur node parameter tersebut sebagai dependensi hulu.
Langkah 1: Konfigurasi node parameter
Anda dapat membuat parameter konstan, parameter variabel, dan variabel pass-through dalam node parameter. Bagian berikut menjelaskan cara mengonfigurasi ketiga jenis parameter tersebut.
Tambahkan parameter konstan
Parameter konstan memiliki nilai tetap yang dapat Anda konfigurasikan langsung di node parameter.
-
Buka editor node parameter dan klik tombol tambah parameter di pojok kiri atas untuk menambahkan parameter.
-
Konfigurasikan parameter konstan:
Parameter
Deskripsi
Parameter name
Nama parameter kustom.
CatatanNama ini digunakan untuk pemilihan saat node hilir menambahkan parameter.
Parameter type
Constant.
Value
Nilai konstan kustom sesuai kebutuhan bisnis Anda.
Description
Deskripsi parameter sesuai kebutuhan bisnis Anda.
-
Setelah mengonfigurasi parameter konstan, klik Save di kolom Actions untuk menyimpan parameter tersebut.
Tambahkan parameter variabel
Jika nilai parameternya berupa variabel, seperti variabel waktu sistem, atur tipe parameter ke variable saat menambahkan parameter tersebut.
-
Buka editor node parameter dan klik tombol tambah parameter di pojok kiri atas untuk menambahkan parameter.
-
Konfigurasikan parameter variabel:
Parameter
Deskripsi
Parameter name
Nama parameter kustom.
CatatanNama ini digunakan untuk pemilihan saat node hilir menambahkan parameter.
Parameter type
Variable.
Value
Nilai variabel kustom sesuai kebutuhan bisnis Anda.
CatatanUntuk informasi lebih lanjut tentang parameter variabel, lihat Configure scheduling parameters.
Description
Deskripsi parameter sesuai kebutuhan bisnis Anda.
-
Setelah mengonfigurasi parameter variabel, klik Save di kolom Actions untuk menyimpan parameter tersebut.
Tambahkan parameter variabel pass-through
Variabel pass-through digunakan untuk meneruskan parameter output dari node hulu ke node hilir. Nilainya dapat diatur ke parameter output apa pun dari node dependensi hulu yang ditentukan dalam pengaturan penjadwalan node parameter.
-
Buka editor node parameter dan klik schedule settings di sisi kanan. Di , klik Add Dependency dan konfigurasikan node yang parameternya ingin Anda teruskan sebagai dependensi hulu.
-
Setelah mengonfigurasi dependensi, beralihlah ke Scheduling Parameters dan klik Add parameters. Konfigurasikan pengaturan berikut:
-
Masukkan nama kustom untuk parameter baru.
-
Klik tombol
untuk mencari dan mengaitkan parameter output dari node hulu.
-
-
Setelah selesai mengonfigurasi parameter, tutup panel schedule settings. Di halaman node parameter, klik Add dan konfigurasikan pengaturan berikut:
Parameter
Deskripsi
Parameter name
Nama parameter kustom.
CatatanNama ini digunakan untuk pemilihan saat node hilir menambahkan parameter.
Parameter type
Pass-through variable.
Value
Pilih parameter hulu yang telah dikaitkan dalam schedule settings dari daftar drop-down.
Description
Deskripsi parameter sesuai kebutuhan bisnis Anda.
-
Setelah mengonfigurasi parameter variabel pass-through, klik Save di kolom Actions untuk menyimpan parameter tersebut.
Setelah selesai mengonfigurasi parameter untuk node parameter, konfigurasikan juga schedule settings-nya. Untuk informasi lebih lanjut, lihat Configure schedule settings.
Langkah 2: Gunakan parameter di node hilir
Setelah mengonfigurasi node parameter, Anda dapat langsung menggunakan parameternya di node hilir untuk manajemen parameter terpusat dan peningkatan efisiensi pengembangan.
Untuk menggunakan parameter dari node parameter di node hilir, Anda harus menambahkan parameter dalam scheduling parameters node hilir tersebut untuk mengaitkannya dengan node parameter.
-
Kaitkan parameter node parameter hulu.
-
Buka editor node parameter dan klik schedule settings di sisi kanan. Di , klik Add Dependency dan konfigurasikan node parameter sebagai dependensi hulu.
-
Setelah mengonfigurasi dependensi, beralihlah ke Scheduling Parameters dan klik Add parameters. Konfigurasikan pengaturan berikut:
-
Masukkan nama kustom untuk parameter baru.
-
Klik tombol
untuk mencari dan mengaitkan parameter output dari node parameter hulu.
-
-
-
Setelah mengonfigurasi parameter, Anda dapat mereferensikannya dalam skrip node dengan menggunakan
${parameter name}untuk memperoleh parameter yang diteruskan dari node parameter.
Langkah 2: Terapkan dan kelola node
-
Setelah menyelesaikan schedule settings, Anda dapat mengirimkan dan menerapkan node tersebut bersama node hulu dan hilirnya ke lingkungan produksi. Untuk informasi lebih lanjut, lihat Deploy nodes.
-
Setelah penerapan, tugas akan berjalan secara berkala sesuai jadwal yang Anda konfigurasi. Anda dapat melihat tugas terjadwal yang telah diterapkan dan melakukan operasi O&M di . Untuk informasi lebih lanjut, lihat Manage scheduled tasks.