DataWorks:Konfigurasikan konteks node

Batasan

• Edisi produk: Fitur Tambah parameter assignment (digunakan untuk meneruskan hasil kueri) hanya tersedia di DataWorks Edisi Standar dan versi yang lebih tinggi.

• Pembatasan jenis node: Hanya jenis node tertentu yang mendukung penerusan hasil kueri menggunakan parameter assignment. Jenis yang didukung meliputi EMR Hive, EMR Spark SQL, ODPS Script, Hologres SQL, AnalyticDB for PostgreSQL, ClickHouse SQL, dan node MySQL.

Cara kerja

Parameter konteks node meneruskan nilai dengan mendefinisikan parameter output pada node hulu (penyedia) dan mereferensikannya pada node hilir (konsumen).

• Node hulu (penyedia): Menghasilkan nilai dan meneruskannya sebagai parameter output. Anda dapat menyediakan nilai dengan salah satu dari dua cara berikut:

  • Konfigurasikan parameter output standar: Di bagian Output Parameters node hulu, definisikan parameter dan tetapkan nilainya. Nilai tersebut dapat berupa konstanta, seperti 'abc', atau variabel konteks sistem, seperti ${status}.

  • Konfigurasikan parameter output assignment: Sistem menangkap hasil kueri terakhir dalam kode node (misalnya, SELECT 'table_A';) dan assign ke parameter output bawaan bernama outputs. Nilai parameter ini kemudian diteruskan ke node hilir. Nilai parameter bergantung pada hasil eksekusi kode. Metode ini didukung oleh assignment nodes dan beberapa SQL-based nodes.

• Node hilir (konsumen): Menerima dan menggunakan nilai yang disediakan oleh node hulu.

  1. Buat dependensi penjadwalan: Konfigurasikan dependensi penjadwalan pada node hulu.

  2. Konfigurasikan parameter input: Di bagian Input Parameters node hilir, tambahkan parameter input dan atur sumber nilainya ke parameter output dari node hulu.

  3. Referensikan nilai dalam kode: Dalam kode node hilir, referensikan nilai yang diterima dengan format ${input_parameter_name}. Misalnya, jika node hulu meneruskan nilai table_A, maka kode SELECT * FROM ${input}; akan diuraikan menjadi SELECT * FROM table_A; saat waktu proses.

Akses area konfigurasi parameter

1. Masuk ke DataWorks console, alihkan ke wilayah yang diinginkan, lalu di panel navigasi kiri, pilih Data Development and O&M > Data Development. Pilih ruang kerja target dari daftar drop-down dan klik Go to Data Development.

2. Di panel Data Studio, klik ganda node target untuk membuka halaman editnya.

3. Klik Properties di sisi kanan, lalu klik di sisi kanan bagian Node Context untuk masuk ke area konfigurasi parameter konteks node.

Konfigurasikan parameter output

Saat mengonfigurasi parameter output untuk node saat ini di area konteks node, Anda dapat menyesuaikannya sesuai kebutuhan bisnis.

• Konfigurasikan parameter output standar: Meneruskan konstanta atau variabel yang dikonfigurasi sebagai parameter output node saat ini ke node hilir.

• Konfigurasikan parameter output assignment: Mengonfigurasi hasil kueri node saat ini sebagai parameter output yang akan diteruskan ke node hilir.

Setelah mengonfigurasi parameter output node saat ini, Anda dapat melihat nama output yang ditambahkan oleh sistem di pada halaman konfigurasi. Node hilir dapat menggunakan nama output ini untuk mengikat dependensi dengan node saat ini.

Konfigurasikan parameter input

Konfigurasikan parameter input untuk node saat ini di area konteks node agar dapat memperoleh parameter output dari node hulu untuk digunakan dalam node ini.

1. Parameter output telah dikonfigurasi pada node hulu. Lihat Konfigurasikan parameter output.

2. Siapkan dependensi hulu-hilir.

   1. Di halaman edit node hilir, klik Properties di sisi kanan.

   2. Di kotak dialog setelah Node Output di , masukkan dan pilih nama output yang Anda tentukan saat mengonfigurasi node hulu di Konfigurasikan parameter output.

   3. Klik Add.

3. Konfigurasikan parameter input pada node hilir.

   Di area Node Context, klik Add Input Parameter. Konfigurasikan parameter berdasarkan tabel berikut:

   Parameter	Deskripsi
   No.	Nomor dikontrol oleh sistem dan bertambah secara otomatis.
   Parameter name	Tentukan nama kustom untuk parameter input. Nama parameter ini nantinya dapat Anda gunakan untuk mereferensikan informasi parameter yang diteruskan dari hulu di halaman edit node.
   Value source	Nilai parameter berasal dari parameter output node hulu. Nilai aktualnya adalah hasil output aktual dari node hulu.
   Description	Anda dapat memasukkan deskripsi kustom singkat tentang parameter.
   Parent node ID	Dianalisis secara otomatis dari node hulu.
   Source	Sumber parameter saat ini. Opsi meliputi System Added, Parsed From Code, dan Manually Added.
   Actions	Mendukung aksi Save, Edit, dan Delete.

4. Setelah mengonfigurasi parameter, klik Save di kolom Actions.

Gunakan parameter input di node hilir

Untuk menggunakan parameter input yang telah didefinisikan dalam suatu node, gunakan metode yang sama seperti variabel sistem lainnya. Referensikan dengan format ${input_parameter_name}. Bagian berikut menggunakan contoh node Shell untuk menjelaskan cara mereferensikan parameter tersebut.

Variabel global yang didukung sistem

• Variabel sistem

  Variabel sistem	Deskripsi
  ${projectId}	ID Proyek.
  ${projectName}	Nama proyek MaxCompute.
  ${nodeId}	ID node.
  ${gmtdate}	00:00:00 pada hari waktu terjadwal instans, dalam format yyyy-MM-dd 00:00:00.
  ${taskId}	ID instans tugas.
  ${seq}	Nomor urut instans tugas, yang menunjukkan urutannya di antara instans node yang sama pada hari tersebut.
  ${cyctime}	Waktu terjadwal untuk instance.
  ${status}	Status instans: SUCCESS atau FAILURE.
  ${bizdate}	Tanggal bisnis.
  ${finishTime}	Waktu penyelesaian instance.
  ${taskType}	Jenis eksekusi instans: NORMAL, MANUAL, PAUSE, SKIP (dry run), UNCHOOSE, atau SKIP_CYCLE (dry run mingguan atau bulanan).
  ${nodeName}	Nama node.

• Untuk informasi tentang pengaturan parameter lainnya, lihat Format parameter penjadwalan.