DataWorks：Alur kerja yang dipicu secara manual

Catatan penggunaan

• Alur kerja yang dipicu secara manual harus dipicu secara manual. Penjadwalan otomatis tidak didukung.

• Garis antar node dalam alur kerja yang dipicu secara manual hanya menunjukkan urutan eksekusi, bukan dependensi penjadwalan.

• Alur kerja yang dipicu secara manual berbeda dari alur kerja terjadwal dalam beberapa hal. Untuk informasi selengkapnya, lihat Perbedaan fungsional.

Merancang alur kerja yang dipicu secara manual

1. Buat alur kerja

   1. Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih Wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

   2. Di panel navigasi kiri, klik . Di sebelah kanan Manually Triggered Workflow, klik > Create Manually Triggered Workflow. Masukkan nama untuk alur kerja tersebut dan klik Confirm untuk membuka halaman pengeditan alur kerja.

2. Mengorkestrasi node

   1. Di bagian atas halaman pengeditan alur kerja, klik Create Inner Node. Pilih Type node internal, masukkan Name, lalu klik Confirm untuk menambahkan node ke Kanvas.

   2. Rancang alur kerja yang dipicu secara manual sesuai kebutuhan.

      Jumlah node dalam suatu alur kerja dapat memengaruhi performa waktu proses. Untuk performa optimal, satu alur kerja sebaiknya tidak lebih dari 100 node. Jumlah maksimum node yang diperbolehkan dalam satu alur kerja adalah 200.

3. Konfigurasi parameter alur kerja

   Untuk berbagi parameter di antara semua node dalam suatu alur kerja, buka panel Scheduling Configuration > Scheduling Parameters di sisi kanan Kanvas. Klik Add Parameter untuk mengatur parameter Anda. Referensikan parameter dalam kode node menggunakan format ${Parameter Name}.

   Catatan

   Jika sebuah node internal memiliki parameter penjadwalan dengan nama yang sama dengan parameter alur kerja, maka parameter alur kerja yang akan digunakan. Hal ini berbeda dari aturan prioritas untuk penjadwalan.

4. Prioritas dan konkurensi (Konfigurasi Lanjutan)

   Ketika beberapa alur kerja atau tugas dipicu secara bersamaan dan menyebabkan bottleneck pada sumber daya sistem, Anda dapat menggunakan pengaturan Priority dan Weighting Policy untuk mengelola penjadwalan sumber daya. Hal ini memastikan bahwa tugas yang paling penting dieksekusi terlebih dahulu.

   • Menjamin kelangsungan bisnis inti: Anda dapat mengatur prioritas lebih tinggi untuk alur kerja bisnis inti sehingga alur kerja tersebut selalu dijalankan sebelum alur kerja non-inti.

   • Mengurangi waktu proses untuk alur kritis: Dalam satu instans alur kerja, Anda dapat menggunakan Priority Weighting Policy untuk memengaruhi urutan eksekusi node. Misalnya, kebijakan Downward Weighting memberikan bobot dinamis yang lebih tinggi kepada node pada jalur kritis yang memiliki lebih banyak dependensi hulu, sehingga memprioritaskan eksekusi node tersebut dan memperpendek total waktu proses alur kerja.

     Item konfigurasi	Deskripsi
     Priority	Menentukan tingkat prioritas absolut suatu instans alur kerja dalam antrian penjadwalan. Tingkat yang tersedia adalah 1, 3, 5, 7, dan 8. Angka yang lebih tinggi menunjukkan prioritas yang lebih tinggi. Tugas atau alur kerja berprioritas tinggi selalu mendapatkan sumber daya penjadwalan sebelum yang berprioritas rendah.
     Priority Weighting Policy	Menentukan cara menghitung bobot dinamis setiap node (Tugas) dalam tingkat prioritas yang sama. Node dengan bobot lebih tinggi dieksekusi terlebih dahulu. No Weighting: Semua node memiliki bobot dasar tetap. Downward Weighting: Bobot suatu node disesuaikan secara dinamis. Semakin banyak dependensi hulu yang dimiliki suatu node, semakin tinggi bobotnya. Kebijakan ini membantu node pada jalur kritis grafik asiklik terarah (DAG) dieksekusi terlebih dahulu. Bobot dihitung sebagai: Initial Weight + Sum of Priorities of All Upstream Nodes.
     Maximum Concurrent Instances	Mengontrol jumlah maksimum instans alur kerja ini yang dapat berjalan secara bersamaan. Ini digunakan untuk kontrol konkurensi dan perlindungan sumber daya. Ketika jumlah instans yang sedang berjalan mencapai batas, instans baru yang dipicu akan masuk ke status menunggu. Anda dapat mengatur nilai ini menjadi Unlimited atau nilai maksimum kustom (hingga 100.000). Catatan Jika batas yang ditetapkan melebihi kapasitas maksimum kelompok sumber daya, bottleneck konkurensi aktual ditentukan oleh batas fisik kelompok sumber daya tersebut.

     Sistem prioritas DataWorks mengikuti aturan override hierarkis: Runtime Specification > Node-level Configuration > Workflow-level Configuration.

     1. Konfigurasi tingkat alur kerja (Baseline): Konfigurasi ini diatur di Scheduling Policy alur kerja dan berfungsi sebagai default untuk semua node.

     2. Konfigurasi tingkat node (lokal): Berlaku untuk satu node internal dan diatur di Scheduling Configuration > Scheduling Policy. Priority yang lebih tinggi untuk node tertentu akan menggantikan pengaturan tingkat alur kerja.

     3. Spesifikasi waktu proses (Sementara): Konfigurasi ini diatur saat menjalankan tugas secara manual di Operation Center dengan sakelar Reset Priority At Runtime. Konfigurasi ini memiliki prioritas tertinggi, hanya berlaku untuk eksekusi saat ini, dan tidak mengubah konfigurasi permanen apa pun.

Kembangkan logika bisnis

DataWorks mengenkapsulasi kemampuan mesin, memungkinkan Anda mengembangkan tugas pemrosesan data menggunakan node mesin tanpa mengelola baris perintah mesin yang kompleks. Anda juga dapat menggunakan node tujuan umum platform untuk menangani logika yang kompleks.

Dalam suatu alur kerja, Anda dapat mengembangkan proses bisnis spesifik menggunakan node sinkronisasi, node komputasi, dan jenis node lainnya.

• Anda dapat mengedit node sinkronisasi untuk mengonfigurasi sumber data dan tujuan, sehingga memungkinkan sinkronisasi data dari satu database ke database lainnya.

• Anda dapat menggunakan node pengembangan data, seperti node MaxCompute SQL, untuk melakukan tugas pembersihan data tertentu. Untuk menggunakan sumber daya atau fungsi selama pengembangan kode, DataWorks juga mendukung pembuatan node sumber daya dan fungsi melalui antarmuka visual. Untuk informasi selengkapnya tentang pengembangan data, lihat Pengembangan node. Untuk informasi selengkapnya tentang pembuatan sumber daya dan fungsi, lihat Resource Management.

Publikasikan alur kerja yang dipicu secara manual

Dalam ruang kerja mode standar, Anda hanya dapat menggunakan antarmuka pengembangan data untuk mengembangkan dan menguji node tugas. Untuk mempublikasikan kode ke lingkungan produksi, Anda dapat mempublikasikan alur kerja secara langsung, yang akan mempublikasikan semua node dalam alur kerja tersebut secara batch.

1. Di bagian atas alur kerja yang dipicu secara manual, klik Run untuk membuka halaman eksekusi alur kerja dan menguji apakah setiap node berjalan dengan sukses.

2. Di halaman eksekusi alur kerja, klik Back di bagian atas, lalu klik Publish.

3. Setelah Anda mengklik Start Publishing To Production, pilih Incremental Publish atau Full Publish.

   • Incremental Publish: Mempublikasikan tugas node internal yang dipilih.

   • Full Publish: Mempublikasikan seluruh alur kerja yang dipicu secara manual beserta semua tugas node internalnya.

4. Proses penerbitan terdiri dari langkah-langkah berurutan berikut: Build Deployment Package, Development Checker, Publish To Development Environment, Production Checker, dan Publish To Production Environment.

Jalankan alur kerja yang dipicu secara manual di lingkungan produksi

1. Setelah tugas dipublikasikan, Anda dapat mengklik Go To O&M untuk melihatnya di Operation Center.

   Catatan

   Atau, buka halaman Manajemen Ruang Kerja DataWorks. Alihkan ke Wilayah tujuan di bilah navigasi atas. Temukan ruang kerja Anda. Di kolom Operation, klik Go To > Data Administration. Di panel navigasi kiri, klik One-time Task O&M.

2. Di kolom Operation untuk tugas satu kali yang dituju, klik Run untuk memulai alur kerja yang dipicu secara manual.

Operasi lainnya