DataWorks:Gunakan parameter alur kerja

Tipe node yang didukung

Saat ini, parameter alur kerja hanya didukung untuk tipe node berikut: ODPS SQL, PyODPS 3, EMR Spark Shell, EMR Spark, EMR Shell, EMR Hive, EMR MR, EMR Presto, EMR Trino, EMR Spark SQL, EMR Spark Streaming, EMR Streaming SQL, dan Hologres SQL. UI menampilkan daftar terkini tipe node yang didukung.

Catatan penggunaan

• Setelah Anda menyimpan parameter alur kerja, DataWorks memuat konfigurasi terbaru setiap kali Anda membuka node yang didukung, sehingga node tersebut berada dalam keadaan dapat diedit. Agar konfigurasi baru berlaku pada eksekusi terjadwal, Anda harus melakukan commit dan deploy node tersebut.

• Jika parameter alur kerja dan parameter tingkat node memiliki nama yang sama, nilai parameter alur kerja akan menggantikan nilai parameter node.

• Saat Anda memberikan nilai pada parameter alur kerja, bidang Value/Expression tidak mendukung format ${key}:value. Sebagai contoh, var:1 dan ${var}:1 tidak valid.

Pengaturan parameter alur kerja

1. Buka halaman DataStudio.

   Login ke Konsol DataWorks. Di wilayah target, klik Data Development and O&M > Data Development di panel navigasi kiri. Pilih ruang kerja dari daftar drop-down lalu klik Go to Data Development.

2. Buka pengaturan parameter alur kerja.

   Di DataStudio, temukan alur kerja Anda di pohon pada panel Pengembangan Data, lalu klik ganda untuk membuka editor alur kerja tempat Anda dapat mengakses pengaturan Workflow Parameters. Sisi kiri tab menampilkan daftar node umum seperti ODPS SQL, PyODPS 3, EMR Hive, EMR Spark SQL, dan Hologres SQL. Bilah alat di bagian atas menyediakan tombol Run dan Commit. Di pojok kanan atas, Anda dapat menemukan tautan ke Deploy dan Operation Center.

Konfigurasi parameter alur kerja

Metode konfigurasi parameter sama untuk semua tipe node yang didukung. Fitur ini direkomendasikan ketika Anda perlu memberikan nilai yang sama pada parameter yang sama untuk beberapa node dalam sebuah alur kerja. Topik ini menggunakan contoh untuk menunjukkan cara menggunakan parameter alur kerja guna mengubah nilai parameter ReplaceMe dalam node ODPS SQL dari 20230613 menjadi 20230615.

1. Konfigurasi parameter tingkat node.

   1. Buka editor node.

      Klik ganda node ODPS SQL dalam alur kerja target Anda untuk membuka editor-nya.

   2. Konfigurasi parameter node.

      Tetapkan nilai parameter node ODPS SQL ke 20230613. Di editor kode, tulis pernyataan SELECT ${ReplaceMe};. Klik tab Properties di panel kanan. Di tabel Parameters, tambahkan parameter dengan nama ReplaceMe dan nilai 20230613. Klik Scheduling Parameter Preview. Di kotak dialog yang muncul, pastikan parameter untuk setiap instans telah ditetapkan dengan benar sebagai ReplaceMe=20230613. Untuk informasi lebih lanjut tentang cara mengonfigurasi parameter node, lihat Konfigurasi parameter penjadwalan.

2. Gunakan parameter alur kerja untuk menggantikan nilai parameter tingkat node.

   1. Klik ganda alur kerja target, lalu di panel navigasi kanan kanvas alur kerja, klik Workflow Parameters.

   2. Di kotak dialog Workflow Parameters, konfigurasi parameter tersebut.

      Contoh ini menetapkan nilai parameter alur kerja ke 20230615. Setelah Anda menyimpan konfigurasi, nilai parameter dalam node ODPS SQL diganti menjadi 20230615. Anda juga dapat menambahkan beberapa parameter sesuai kebutuhan.

      Catatan

      • Jika parameter alur kerja dan parameter tingkat node memiliki nama yang sama, nilai parameter alur kerja akan menggantikan nilai parameter node.

      • Saat Anda memberikan nilai pada parameter alur kerja, bidang Value/Expression tidak mendukung format ${key}:value. Sebagai contoh, var:1 dan ${var}:1 tidak valid.

      Di kotak dialog Workflow Parameters, tetapkan Parameter Name menjadi ReplaceMe dan nilainya menjadi 20230615, lalu klik Save. Untuk contoh ini, di mana kode ODPS SQL adalah SELECT ${ReplaceMe};, nilai hasil parsing awal untuk parameter ReplaceMe adalah 20230613. Jika Anda mengklik Scheduling Parameter Preview, Anda dapat melihat bahwa parameter ReplaceMe untuk tiga instans berikutnya menggunakan nilai parameter alur kerja 20230615, yang membuktikan bahwa parameter alur kerja telah berlaku.

Verifikasi konfigurasi

Setelah Anda mengonfigurasi parameter alur kerja, jalankan alur kerja tersebut untuk memverifikasi bahwa nilainya berhasil menggantikan nilai tingkat node.

1. Jalankan alur kerja dan berikan nilai pada variabel.

   Saat menjalankan alur kerja yang menggunakan parameter alur kerja, Anda harus memberikan nilai secara manual untuk setiap parameter pada waktu proses. Untuk informasi selengkapnya, lihat prosedur debugging.

   1. Di bilah alat editor alur kerja, klik ikon Run.

   2. Di kotak dialog Enter parameters., berikan nilai 20230615 pada variabel ReplaceMe.

2. Periksa hasil eksekusi.

   Di kanvas alur kerja, klik kanan node ODPS SQL lalu pilih View Log. Log muncul di bagian bawah halaman dan menunjukkan penetapan parameter. Nilai parameter node telah berubah dari 20230613 menjadi 20230615, yang mengonfirmasi bahwa parameter alur kerja telah berlaku dan eksekusi berhasil. Di log eksekusi, baris SKYNET_PARAVALUE=ReplaceMe=20230615 menunjukkan bahwa parameter alur kerja berhasil diterapkan.

   2023-06-14 16:19:57 INFO Current task status:RUNNING
   2023-06-14 16:19:57 INFO Start execute shell on node cn-shanghai.475270149050624.1626085771455.
   2023-06-14 16:19:57 INFO Current working dir /home/admin/alisatasknode/taskinfo/20230614/phoenix/16/19/55/mm8wog2kwtj8czebilx1dbcp
   2023-06-14 16:19:57 INFO Full Command ..
   2023-06-14 16:19:57 INFO ——————————
   2023-06-14 16:19:57 INFO /opt/taobao/tbdpapp/odpswrapper/odpswrapper.py /home/admin/alisatasknode/taskinfo//20230614/phoenix/16/19/55/mm8wog2kwtj8czebilx1dbcp//275011_10728491_503348330 ReplaceMe=20230615
   2023-06-14 16:19:57 INFO ——————————
   2023-06-14 16:19:57 INFO List of passing environment ..
   2023-06-14 16:19:57 INFO ——————————
   2023-06-14 16:19:57 INFO SKYNET_BUSINESS_NAME=流程参数:
   2023-06-14 16:19:57 INFO SKYNET_ENDPOINT=http://service.cn.maxcompute.aliyun-inc.com/api:
   2023-06-14 16:19:57 INFO SKYNET_PTYPE=10:
   2023-06-14 16:19:57 INFO SKYNET_ACTIONID=1:
   2023-06-14 16:19:57 INFO TASK_WHITE_LIST=oapi.dingtalk.com:443,47.102.239.120:3306:
   2023-06-14 16:19:57 INFO SKYNET_RERUN_MODE=1:
   2023-06-14 16:19:57 INFO SKYNET_FLOW_PARAVALUE={"ReplaceMe":"20230615"}:
   2023-06-14 16:19:57 INFO SKYNET_ONDUTY=204288958124218159:
   2023-06-14 16:19:57 INFO SKYNET_SYSTEMID=dev:
   2023-06-14 16:19:57 INFO CALC_ENGINE_IDENTIFIER=saochen_mc_0508_dev:
   2023-06-14 16:19:57 INFO SKYNET_SOURCEID=700028402970:
   2023-06-14 16:19:57 INFO SKYNET_PARAVALUE=ReplaceMe=20230615:
   2023-06-14 16:19:57 INFO SKYNET_TASKID=708xxx:
   2023-06-14 16:19:57 INFO SKYNET_TENANT_ID=283789484710656:

Commit dan deploy alur kerja

Setelah Anda memverifikasi bahwa konfigurasi parameter alur kerja sudah benar, Anda harus melakukan commit dan deploy alur kerja agar perubahan diterapkan pada eksekusi terjadwal.

1. Commit alur kerja.

   Saat melakukan commit, pilih node yang ingin disertakan dan berikan deskripsi perubahan.

   Catatan

   Jika fitur ini diaktifkan, reviewer harus menyetujui kode yang telah di-commit sebelum dapat di-deploy. Untuk informasi selengkapnya tentang fitur ini, lihat tinjauan kode.

   Klik tombol Commit di bilah alat. Di kotak dialog yang muncul, pilih node yang akan di-commit, masukkan Change Description, lalu konfigurasi Code Review dan Force Modify sesuai kebutuhan. Anda juga dapat memilih kotak centang Ignore alerts for inconsistent I/O. Klik OK.

2. Deploy alur kerja.

   Jika ruang kerja Anda berada dalam mode standar, Anda harus mengklik tombol Deploy di pojok kanan atas setelah commit berhasil. Untuk informasi selengkapnya, lihat Deploy node.