DataWorks：Node Shell

Kembangkan node

1. Masuk ke Konsol DataWorks. Setelah beralih ke Wilayah target, klik ikon Data Development and O&M > Data Development, pilih ruang kerja target dari daftar drop-down, lalu klik Go to DataStudio.

2. Pada halaman Data Studio, buat node Shell.

3. Di editor skrip, masukkan kode Shell standar. Sintaksis interaktif tidak didukung.

   echo "Hello DataWorks!"

4. Setelah menulis kode, klik Run a task di panel kanan. Pilih kelompok sumber daya untuk debugging dan tentukan parameter eksekusi lain yang diperlukan. Lalu, klik tombol Run untuk memulai debugging.

5. Setelah skrip berhasil melewati debugging, klik Properties di panel kanan. Konfigurasikan pengaturan penjadwalan untuk lingkungan produksi, seperti siklus penjadwalan, dependensi, dan parameter, agar node dapat berjalan secara otomatis sesuai jadwal.

6. Setelah mengonfigurasi pengaturan penjadwalan, simpan node dengan mengeklik save sebelum melanjutkan.

Terapkan dan kelola node

1. Setelah mengonfigurasi pengaturan penjadwalan, Anda dapat mengirim dan menerapkan node Shell ke lingkungan produksi. Untuk informasi selengkapnya tentang proses penerapan, lihat Node and workflow deployment.

2. Setelah penerapan, task berjalan secara berkala sesuai jadwal. Untuk melihat task yang telah diterapkan, klik ikon di pojok kiri atas. Di panel navigasi yang muncul, buka All Products > Data Studio and Operations > Operation Center untuk membuka Operation Center. Kemudian, di panel navigasi kiri, pilih Task Operations > Cycle Task Operations > Cycle Task. Untuk informasi selengkapnya tentang fitur-fitur tersebut, lihat Getting started with Operation Center.

Mereferensikan resource

1. DataWorks memungkinkan Anda mengunggah resource untuk node Shell menggunakan fitur Resource Management. Untuk informasi selengkapnya, lihat Resource management.

   Catatan

   Resource harus dipublikasikan terlebih dahulu sebelum dapat direferensikan oleh node. Jika task produksi menggunakan resource tersebut, Anda juga harus menerapkan resource itu ke lingkungan produksi.

2. Buka node Shell yang sudah ada untuk membuka editor skrip.

3. Di panel navigasi kiri, klik ikon untuk membuka menu Resource. Temukan resource yang ingin direferensikan, klik kanan, lalu pilih Reference Resource. Tindakan ini akan menambahkan referensi ke resource tersebut dalam skrip Shell Anda.

   

   Catatan

   • Saat Anda mereferensikan resource, sistem secara otomatis menyisipkan komentar deklarasi seperti ##@resource_reference{resource_name} di bagian atas skrip.

   • Identifier wajib ini memungkinkan DataWorks mengenali dependensi resource dan secara otomatis memasang resource yang sesuai ke lingkungan eksekusi saat waktu proses. Jangan mengubah atau menghapus komentar ini.

Menggunakan parameter penjadwalan

Parameter penjadwalan dimasukkan ke dalam node Shell sebagai parameter posisional; nama variabel kustom tidak didukung. DataWorks meneruskan nilai parameter yang Anda tetapkan di tab Properties > Parameters ke skrip Shell secara berurutan sebagai parameter posisional, seperti $1, $2, dan $3. Jika terdapat lebih dari sembilan parameter, Anda harus menggunakan kurung kurawal, misalnya ${10} dan ${11}, agar parameter tersebut diurai dengan benar. Nilai parameter harus dipisahkan dengan spasi, dan urutannya harus persis sesuai dengan posisi yang dirujuk dalam skrip.

Contohnya:

• Parameter $1 diberi nilai tanggal saat ini: $[yyyymmdd].

• Parameter $2 diberi nilai string tetap Hello DataWorks.

Menggunakan ossutil untuk mengakses OSS

Node Shell DataWorks secara native mendukung ossutil, tool baris perintah untuk Alibaba Cloud OSS, yang memungkinkan Anda melakukan tugas seperti manajemen bucket, unggah dan unduh file, serta operasi batch. Anda dapat mengonfigurasi kredensial akses untuk ossutil menggunakan file konfigurasi atau parameter baris perintah untuk mengakses OSS.

• Untuk mengakses OSS dengan ossutil menggunakan parameter baris perintah, lihat Access OSS using command-line parameters.

• Untuk mengakses OSS dengan ossutil menggunakan file konfigurasi, lihat Access OSS using a configuration file.

Pada versi baru Data Studio, node Shell juga mendukung asosiasi peran RAM. Hal ini memungkinkan node menggunakan Alibaba Cloud Security Token Service (STS) untuk memperoleh kredensial keamanan temporary secara dinamis bagi peran tersebut. Kredensial ini kemudian dapat digunakan bersama ossutil. Metode ini memberikan akses aman ke sumber daya cloud target dan menghilangkan kebutuhan untuk menyematkan AccessKey jangka panjang secara langsung dalam skrip Anda. Untuk informasi selengkapnya, lihat Configure node-associated roles.

Menggunakan dataset untuk mengakses OSS atau NAS

DataWorks memungkinkan Anda membuat dataset untuk OSS atau NAS. Anda kemudian dapat menggunakan dataset ini dalam node Shell untuk membaca dan menulis ke storage OSS atau NAS selama eksekusi task.

Menjalankan node dengan peran terkait

Anda dapat mengasosiasikan peran RAM tertentu untuk menjalankan task node. Hal ini memungkinkan kontrol izin detail halus dan peningkatan keamanan.