DataWorks:Alur Kerja

Langkah 1: Siapkan mesin komputasi dan tabel hasil

Langkah ini menyiapkan infrastruktur yang dibutuhkan oleh alur kerja Anda.

1. Di ruang kerja target Anda, bind MaxCompute sebagai mesin komputasi.

2. Di MaxCompute, buat tabel hasil:

   -- Buat tabel hasil untuk menyimpan jumlah pesanan harian
   CREATE TABLE IF NOT EXISTS dw_order_count_test (
       order_date STRING,
       total_count BIGINT
   )
   PARTITIONED BY (ds STRING); -- Dipartisi berdasarkan tanggal

Langkah 2: Buat alur kerja periodik

Langkah ini membuat wadah alur kerja yang menampung semua node dan konfigurasi penjadwalan Anda.

1. Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja target dan pilih Shortcuts > Data Studio di kolom Actions. > Jika tombol menampilkan "Data Development", itu membuka versi lama. Jangan klik.

2. Klik ikon di panel navigasi kiri. Di sebelah kanan Workspace Directories, klik  > Create Workflow.

3. Di kotak dialog New Workflow, atur Scheduling Type menjadi Periodic Scheduling, masukkan nama (misalnya, minimal_daily_demo), lalu selesaikan pembuatan.

Langkah 3: Orkestrasikan alur kerja

Langkah ini mendefinisikan struktur pipa menggunakan kanvas DAG.

1. Di kanvas alur kerja, seret Virtual node dari panel komponen kiri dan beri nama start_node. > Node virtual mendefinisikan titik awal alur kerja dan tidak melakukan komputasi apa pun.

2. Seret node MaxCompute SQL ke kanvas dan beri nama count_orders.

3. Klik titik di bagian bawah start_node dan seret garis ke bagian atas count_orders untuk membuat dependensi.

Langkah 4: Tulis kode node

Langkah ini menambahkan logika bisnis yang dijalankan setiap hari.

1. Klik dua kali count_orders untuk membuka editor kode node.

2. Tulis logika SQL. Contoh ini menggunakan data simulasi:

   -- bizdate adalah parameter penjadwalan yang disuntikkan saat runtime.
   -- $[yyyymmdd-1] diselesaikan menjadi tanggal hari sebelumnya (misalnya, 20260119 jika hari ini 20260120).
   INSERT OVERWRITE TABLE dw_order_count_test PARTITION (ds='${bizdate}')
   SELECT
       '${bizdate}' AS order_date,
       COUNT(*) AS total_count
   FROM (SELECT 1 AS id UNION ALL SELECT 2 AS id) t; -- Data simulasi

   > Untuk detail pengembangan node, lihat Node MaxCompute SQL.

3. Klik Save.

Langkah 5: Konfigurasikan siklus penjadwalan dan parameter

Langkah ini memberi tahu alur kerja kapan harus dijalankan dan nilai tanggal apa yang diteruskan ke SQL.

1. Kembali ke kanvas alur kerja. Di panel kanan, buka Scheduling > Scheduling Time:

   • Atur Scheduling Cycle menjadi Daily.

   • Atur Schedule Time menjadi 00:05.

2. Di editor node count_orders, buka Scheduling Configuration > Scheduling Parameters dan tambahkan:

   • Parameter Name: bizdate

   • Parameter Value: $[yyyymmdd-1] (tanggal hari sebelumnya)

Langkah 6: Debug node dan alur kerja

Debugging memvalidasi logika kode Anda sebelum alur kerja digunakan di lingkungan produksi.

1. Debug node:

   1. Di editor node, klik Debugging Configurations di sisi kanan.

      • Di bawah Compute engine, pilih mesin MaxCompute dari Langkah 1.

      • Di bawah Script Parameters, atur Value Used in This Run (default ke tanggal kemarin).

   2. Klik Run di bilah alat. Node dijalankan dengan parameter yang Anda tentukan.

   3. Jika hasilnya sudah benar, klik Sync to Scheduling untuk menerapkan konfigurasi debug ke konfigurasi penjadwalan.

2. Debug seluruh alur kerja:

   1. Di kanvas alur kerja, klik ikon di bilah alat atas.

   2. Di kotak dialog, masukkan Current Run Value untuk variabel alur kerja. Misalnya, jika hari ini 20260120, atur bizdate menjadi 20260119.

Langkah 7: Publikasikan ke produksi

Penerbitan membuat tugas periodik di lingkungan produksi yang dijalankan sesuai jadwal yang telah ditentukan.

1. Kembali ke alur kerja dan klik tombol di bilah alat atas.

2. Di panel penerbitan, sistem menjalankan pemeriksaan dependensi dan konfigurasi. Setelah pemeriksaan berhasil, klik Start Deployment to Production Environment dan pilih Full Deployment.

3. Buka Operation Center untuk memastikan alur kerja muncul di daftar tugas periodik.

Alur kerja sekarang dijalankan setiap hari pukul 00:05.

Orkestrasi alur kerja

Sub-alur kerja untuk penggunaan ulang logika

Ketika beberapa alur kerja berbagi langkah pemrosesan yang sama—seperti pembersihan data, statistik ringkasan, dan pemeriksaan kualitas—bungkus langkah-langkah tersebut sebagai sub-alur kerja yang dapat digunakan kembali menggunakan node SUB_PROCESS. Ini menghindari duplikasi logika di berbagai alur kerja: ketika langkah bersama berubah, Anda hanya perlu memperbarui sub-alur kerja tersebut.

Untuk membuat dan menggunakan sub-alur kerja:

1. Di alur kerja child_workflow, atur Properties menjadi Referable. Alur kerja tersebut menjadi sub-alur kerja.

2. Di alur kerja utama, seret node SUB_PROCESS dan pilih child_workflow sebagai alur kerja yang dirujuk.

Sub-alur kerja memiliki batasan berikut:

• Dependensi internal saja: Sub-alur kerja dan node internalnya tidak boleh bergantung pada tugas eksternal apa pun.

• Isolasi: Sub-alur kerja tidak boleh menjadi dependensi langsung untuk tugas eksternal apa pun.

• Passive trigger: Setelah dipublikasikan, tidak ada instans penjadwalan yang dihasilkan secara otomatis. Sub-alur kerja hanya dieksekusi ketika dipanggil oleh node SUB_PROCESS. > Untuk detailnya, lihat Node SUB_PROCESS.

Dependensi penjadwalan

Dependensi penjadwalan menghubungkan node yang terisolasi menjadi pipa data terurut. Sebuah node hanya dijalankan ketika waktu terjadwalnya tiba dan semua tugas hulu berhasil diselesaikan.

Untuk referensi lengkap, lihat Dependensi penjadwalan.

Ketika Anda menghubungkan node di kanvas, DataWorks secara otomatis membuat dependensi penjadwalan di antara mereka. Untuk dependensi lintas-alur kerja atau lintas-siklus yang lebih kompleks, konfigurasikan jenis dependensi berikut:

Desain parameter

Parameter ruang kerja hanya tersedia di DataWorks Professional Edition dan seterusnya.

DataWorks mendukung sistem parameter empat tingkat, diurutkan dari cakupan tersempit hingga terluas. Gunakan tingkat yang sesuai untuk menghindari duplikasi konfigurasi di berbagai node.

Siklus penjadwalan

Siklus penjadwalan diatur di tingkat alur kerja. Node di dalam alur kerja tidak dapat memiliki siklus independen sendiri—mereka mewarisi siklus alur kerja dan hanya dapat menentukan Delayed Execution Time sebagai offset dari waktu terjadwal alur kerja.

Debugging node tunggal

Debugging node tunggal memvalidasi logika internal satu node—seperti pernyataan SQL, skrip Python, atau tugas integrasi data—tanpa memicu dependensi hulu atau hilir apa pun.

1. Di panel kanan node, konfigurasikan Debugging Configurations:

   Parameter	Deskripsi
   Compute engine	Pilih mesin komputasi yang telah di-bind. Jika tidak tersedia, pilih Create Compute Engine dari daftar drop-down. Pastikan mesin komputasi dan Resource Group terhubung. Lihat Solusi konektivitas jaringan.
   Resource Group	Pilih Resource Group yang lulus uji konektivitas saat mesin komputasi di-bind. Beberapa node mendukung custom image pada Resource Group untuk memperluas lingkungan runtime.
   Dataset (opsional)	Node Shell dan Python mendukung penggunaan dataset untuk mengakses data tidak terstruktur di OSS.
   Script parameters (opsional)	Definisikan variabel dalam kode node menggunakan ${parameter_name}. Atur Parameter Name dan Parameter Value di sini. Untuk detailnya, lihat Sumber parameter penjadwalan dan ekspresinya.
   Associated role (opsional)	Node Shell dan Python mendukung konfigurasi associated role untuk mengakses resource dari produk cloud lainnya.

2. Klik Save, lalu klik Run.

3. Lihat log dan hasil eksekusi di bagian bawah editor node.

Debugging alur kerja

Debugging alur kerja memvalidasi dependensi data, penerusan parameter, dan urutan eksekusi di seluruh pipa. Setelah debugging node individual, debug alur kerja lengkap—atau sebagian pipa.

1. Di kanvas DAG alur kerja, klik Run di bilah alat atas. Untuk memvalidasi subset, klik kanan node dan pilih Run to This Node atau Run from This Node.

2. Di kotak dialog, tetapkan nilai sementara untuk semua variabel node (seperti ${bizdate}) untuk sesi debugging ini.

3. Sistem mengeksekusi node secara berurutan dari atas ke bawah, mengikuti dependensi yang ditentukan di DAG. Pantau status node di kanvas secara real time dan klik node apa pun untuk melihat log eksekusinya.

4. Klik Back di sisi kiri kanvas untuk kembali ke keadaan pengembangan. Riwayat eksekusi di sebelah kanan menunjukkan semua catatan debugging.

Manajemen node alur kerja

DataWorks memungkinkan Anda mengimpor node mandiri ke dalam alur kerja, memindahkan node keluar dari alur kerja, atau mentransfer node antar alur kerja—tanpa harus membuat ulang dari awal.

Impor node yang sudah ada ke dalam alur kerja

1. Klik dua kali alur kerja target untuk membuka editor kanvasnya.

2. Di panel komponen kiri, beralih ke tab Import Node.

3. Filter berdasarkan Node Type, Path, atau Node Name untuk menemukan node target.

4. Seret node ke kanvas.

Move a node out of a workflow

• Konversi menjadi node mandiri: Klik kanan node di pohon direktori atau kanvas, pilih Move out of Workflow, pilih jalur target, lalu konfirmasi.

• Move to another workflow: Klik kanan node, pilih Move to another workflow, pilih alur kerja target, lalu konfirmasi. Anda juga dapat menyeret node langsung ke alur kerja target.

Klon alur kerja

Kloning alur kerja membuat salinan lengkap dan independen termasuk semua node internal, kode, dan dependensinya. Di Workspace Directories, klik kanan alur kerja target dan pilih Clone.

Sebelum melakukan commit dan publikasi alur kerja yang dikloning, tinjau hal-hal berikut untuk mencegah konflik data dan masalah pipa:

1. Tabel output dan sumber data target: Alur kerja yang dikloning menulis ke tabel target yang sama dengan aslinya. Perbarui nama tabel di kode (misalnya, dari ods_user_table menjadi dev_ods_user_table) untuk mencegah beberapa tugas menulis ke tabel yang sama.

2. Dependensi hulu: Alur kerja yang dikloning masih bergantung pada tugas hulu asli secara default. Pastikan apakah ini merupakan perilaku yang diinginkan.

3. Konfigurasi parameter: Periksa parameter kustom—terutama yang melibatkan partisi tanggal (seperti ${bizdate}) dan jalur input/output—untuk memastikan nilainya benar di lingkungan baru.

Anda juga dapat mengkloning node individual dalam alur kerja, tetapi tidak dapat menyalin node antar alur kerja yang berbeda.

Manajemen versi

Manajemen versi secara otomatis mencatat setiap perubahan pada alur kerja. Dari panel Versions di sisi kanan kanvas alur kerja, Anda dapat melihat, membandingkan, dan mengembalikan ke versi sebelumnya.

Panel Versi menampilkan dua jenis catatan:

• Catatan Pengembangan: Dibuat setiap kali Anda mengklik Save. Ini adalah snapshot dalam proses dan tidak memengaruhi produksi.

• Catatan Penerbitan: Dibuat ketika alur kerja berhasil diterbitkan ke produksi. Inilah yang dieksekusi oleh sistem penjadwalan produksi.

Kasus penggunaan khas

Sebelum mengembalikan:

• Mengembalikan akan menimpa area pengembangan saat ini: Semua kode dan konfigurasi di kanvas diganti dengan versi historis. Jika Anda memiliki perubahan yang belum disimpan, cadangkan secara lokal sebelum mengembalikan.

• Terbitkan ulang setelah mengembalikan: Mengembalikan hanya memulihkan keadaan pengembangan. Terbitkan manual alur kerja agar rollback berlaku di produksi.

Penerbitan dan operasi

• Publish: Setelah mengembangkan alur kerja, terbitkan ke lingkungan produksi. Node di lingkungan pengembangan menghasilkan tugas periodik yang sesuai di produksi. Untuk detailnya, lihat Publikasikan node atau alur kerja.

• Operasi: Alur kerja dijalankan secara periodik berdasarkan konfigurasi penjadwalannya. Buka Operation Center untuk memantau status penjadwalan dan mengelola tugas. Untuk detailnya, lihat Tugas operasional dasar untuk tugas periodik dan Tugas operasional untuk instans Data Backfill.

Status instans alur kerja

Status keseluruhan alur kerja mencerminkan keadaan akhir node internalnya. Memahami bagaimana sistem menentukan status alur kerja membantu Anda mendiagnosis masalah lebih cepat.

Skenario khusus:

• Membekukan instans Data Backfill dari tugas alur kerja mengatur instans alur kerja menjadi Succeeded.

• Dalam skenario Data Backfill, jika sistem menentukan tugas tidak dapat dieksekusi, alur kerja diatur menjadi Failed.