DataWorks:Orkestrasi alur kerja periodik

Langkah 1: Siapkan mesin komputasi dan data

1. Di ruang kerja target, ikat MaxCompute sebagai mesin komputasi.

2. Di MaxCompute, buat tabel berikut untuk menyimpan hasilnya.

   -- Buat tabel hasil sederhana
   CREATE TABLE IF NOT EXISTS dw_order_count_test (
       order_date STRING,
       total_count BIGINT
   ) 
   PARTITIONED BY (ds STRING); -- Dipartisi berdasarkan ds untuk menyimpan statistik harian

Langkah 2: Buat alur kerja periodik

1. Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

   Jika tombol menampilkan "Data Development", itu membuka versi lama. Jangan klik.

2. Di panel navigasi kiri, klik Di sebelah kanan Workspace Directories, klik > New Workflow untuk membuka halaman New Workflow.

3. Di kotak dialog New Workflow, atur Scheduling Type menjadi Periodic Scheduling, masukkan informasi yang diperlukan (misalnya, masukkan minimal_daily_demo untuk Name), lalu buat alur kerja tersebut.

Langkah 3: Orkestrasikan alur kerja

1. Pada kanvas alur kerja yang terbuka, seret virtual node dari panel komponen kiri dan beri nama start_node.

   Virtual node menentukan titik awal proses bisnis dan tidak menjalankan eksekusi aktual apa pun.

2. Seret node MaxCompute SQL, dan beri nama count_orders.

3. Klik titik di bagian bawah start_node dan seret garis ke bagian atas count_orders untuk membangun tautan pemrosesan sederhana.

Langkah 4: Kembangkan kode node

1. Klik dua kali node count_orders untuk membuka editor kode node.

2. Masukkan logika bisnis untuk node tersebut. Contoh ini menggunakan data simulasi.

   -- bizdate adalah variabel penjadwalan yang harus didefinisikan dalam konfigurasi penjadwalan.
   INSERT OVERWRITE TABLE dw_order_count_test PARTITION (ds='${bizdate}')
   SELECT 
       '${bizdate}' as order_date,
       COUNT(*) as total_count
   FROM (SELECT 1 as id UNION ALL SELECT 2 as id) t; -- Data simulasi

   Untuk informasi lebih lanjut tentang pengembangan node, lihat Node MaxCompute SQL.

3. Klik tombol Save di bagian atas editor node.

Langkah 5: Konfigurasi penjadwalan dan parameter

1. Kembali ke kanvas alur kerja. Di panel kanan, klik tab Scheduling Configuration > Scheduling Time:

   1. Atur Scheduling Cycle menjadi Daily.

   2. Atur Scheduling Time menjadi 00:05 (berjalan setiap hari pukul 00:05).

2. Di sisi kanan editor untuk node count_orders, pada bagian Scheduling Configuration > Scheduling Parameters, atur Parameter Name menjadi bizdate dan Parameter Value yang sesuai menjadi $[yyyymmdd-1] (artinya tanggal saat ini dikurangi satu hari, yaitu kemarin).

Langkah 6: Debug node dan alur kerja

1. count_orders debugging node:

   1. Konfigurasi parameter debugging: Di sisi kanan halaman pengeditan node, klik Run Configurations.

      1. Pada bagian Compute engine, pilih mesin komputasi MaxCompute yang telah Anda siapkan di Langkah 1.

      2. Di bawah Script Parameters, masukkan Value for this run. Secara default, ini adalah hari sebelum tanggal saat ini.

   2. Jalankan tugas debug: Di bilah alat, klik Run. Node dijalankan dengan parameter yang telah Anda konfigurasi di Run Configurations.

   3. Saat eksekusi berhasil dan hasilnya sesuai harapan, klik Sync to Scheduling Config di pojok kanan atas untuk menerapkan konfigurasi eksekusi ke konfigurasi penjadwalan.

2. Debug seluruh alur kerja:

   1. Kembali ke kanvas alur kerja dan klik ikon di bilah alat atas.

   2. Di kotak dialog yang muncul, masukkan Value for This Run untuk alur kerja (misalnya, jika tanggal saat ini adalah 20260120, ganti bizdate dengan 20260119).

Langkah 7: Publikasikan ke lingkungan produksi

1. Kembali ke kanvas alur kerja dan klik tombol di bilah alat atas.

2. Di panel penerapan, sistem menjalankan pemeriksaan dependensi dan konfigurasi. Setelah pemeriksaan berhasil, klik Deploy to production dan pilih Full Deployment sebagai metode penerapan.

3. Setelah penerapan berhasil, buka Operation Center untuk memeriksa apakah alur kerja muncul dalam daftar tugas periodik.

Orkestrasi node dan alur kerja

Dependensi penjadwalan

Dependensi penjadwalan adalah mekanisme inti untuk memastikan urutan, konsistensi, dan akurasi pemrosesan data. Dependensi ini menghubungkan tugas-tugas terisolasi menjadi garis produksi data yang teratur melalui logika ganda: mencapai waktu terjadwal dan dipicu oleh keberhasilan tugas hulu. Saat Anda mengorkestrasikan node dalam alur kerja, dependensi penjadwalan secara otomatis dibuat di antara mereka. Selain dependensi hulu-hilir antar-node dalam alur kerja, Anda dapat menetapkan dependensi yang lebih kompleks.

Untuk informasi lebih lanjut, lihat Dependensi penjadwalan.

Desain dan aliran parameter

Data Studio versi baru mendukung empat tingkat mekanisme penerusan parameter dan memungkinkan penerusan data fleksibel dan dinamis antar-node melalui parameter konteks. Tingkat-tingkat tersebut, dari cakupan sempit ke luas, adalah sebagai berikut:

Siklus penjadwalan

Siklus penjadwalan hanya dapat diatur di tingkat alur kerja. Node dalam alur kerja hanya dapat memiliki Waktu Eksekusi Tertunda, yaitu offset dari waktu terjadwal alur kerja.

Debugging node tunggal

Debugging node tunggal berfokus pada verifikasi logika kode internal satu node, seperti memvalidasi pernyataan SQL, skrip Python, atau tugas integrasi data secara cepat. Mode ini hanya menjalankan node saat ini dan tidak memicu dependensi hulu atau hilir apa pun.

1. Di panel Run Configurations di sisi kanan node, konfigurasikan parameter berikut:

   Parameter	Deskripsi
   Compute Engine	Pilih mesin komputasi yang telah diikat. Jika tidak tersedia, pilih Create Compute Engine dari daftar drop-down. Penting Pastikan mesin komputasi dan Resource Group terhubung. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
   Resource Group	Pilih Resource Group yang lulus uji konektivitas saat mesin komputasi diikat. Beberapa node mendukung konfigurasi custom image pada Resource Group untuk memperluas lingkungan runtime.
   (Opsional) Dataset	Beberapa node, seperti Shell dan Python, mendukung penggunaan dataset untuk mengakses data tidak terstruktur yang disimpan di OSS atau NAS.
   (Opsional) Parameter Skrip	Saat Anda mengonfigurasi konten node, Anda dapat mendefinisikan variabel dalam format ${parameter_name}. Anda harus mengonfigurasi Parameter Name dan Parameter Value di bagian Script Parameters. Saat tugas dijalankan, variabel tersebut secara dinamis diganti dengan nilai aktualnya. Untuk informasi lebih lanjut, lihat Sumber parameter penjadwalan dan ekspresinya.
   (Opsional) Peran terkait	Beberapa node, seperti Shell dan Python, mendukung konfigurasi peran terkait untuk mengakses sumber daya dari produk cloud lain.

2. Di bilah alat atas node, klik Save lalu Run.

3. Lihat log dan hasil eksekusi di bagian bawah node.

Debugging alur kerja

Debugging alur kerja berfokus pada verifikasi dependensi data, penerusan parameter, dan urutan eksekusi di antara beberapa node dalam seluruh pipa bisnis. Setelah menyelesaikan debugging node tunggal, Anda dapat melakukan debugging sebagian atau seluruh alur kerja.

1. Di halaman kanvas DAG alur kerja, klik tombol Run di bilah alat atas. Anda juga dapat memilih node, klik kanan, lalu pilih Run to This Node atau Run from This Node untuk validasi parsial.

2. Di kotak dialog yang muncul, tetapkan nilai sementara untuk eksekusi debug ini ke semua variabel node dalam alur kerja (seperti ${bizdate}).

3. Sistem mengeksekusi node secara berurutan dari atas ke bawah sesuai dengan dependensi yang ditentukan dalam DAG. Anda dapat memantau status node secara real time di kanvas dan mengklik node apa pun untuk melihat log eksekusinya.

4. Pada titik ini, Anda dapat mengklik tombol Back di sisi kiri kanvas untuk kembali ke status pengembangan alur kerja.

   Riwayat eksekusi di sisi kanan menampilkan semua catatan eksekusi debugging untuk alur kerja tersebut.

Manajemen node alur kerja

Untuk meningkatkan fleksibilitas dan efisiensi pengembangan data, DataWorks memungkinkan Anda mengimpor node mandiri yang sudah ada ke dalam alur kerja untuk orkestrasi, memindahkan node keluar dari alur kerja, atau mentransfernya antar-alur kerja berbeda. Hal ini membuat penggunaan ulang node, refaktorisasi alur kerja, dan manajemen modular menjadi lebih sederhana dan efisien.

Impor node yang sudah ada ke dalam alur kerja

Anda dapat menambahkan node mandiri yang sudah ada di proyek Anda dan tidak termasuk dalam alur kerja apa pun ke kanvas alur kerja saat ini dengan menggunakan fitur Import Node, sehingga memungkinkan penggunaan ulang node secara cepat.

1. Klik dua kali alur kerja target untuk membuka editor kanvasnya.

2. Di panel komponen kiri, alihkan ke tab Import Node.

3. Panel ini mencantumkan semua node mandiri yang tersedia untuk ditambahkan. Anda dapat memfilter dan mencari berdasarkan Node Type, Path, atau Node Name untuk menemukan node target dengan cepat.

4. Setelah menemukan node tersebut, seret ke kanvas untuk menyelesaikan impor.

Pindahkan node keluar dari alur kerja

Anda dapat memindahkan node keluar dari alur kerja untuk menjadikannya node mandiri atau memindahkannya langsung ke alur kerja lain.

• Konversi menjadi node mandiri

  Gunakan fitur ini ketika Anda perlu memisahkan node dari alur kerja sehingga tidak lagi menjadi bagian dari alur kerja tersebut.

  1. Di pohon direktori ruang kerja atau di kanvas alur kerja, klik kanan node target.

  2. Di menu konteks yang muncul, pilih Move out of Workflow.

  3. Di kotak dialog konfirmasi, pilih jalur target untuk node tersebut, lalu konfirmasi.

• Pindah ke alur kerja lain

  Gunakan fitur ini ketika Anda perlu merefaktorisasi proses bisnis dengan memigrasikan node dari alur kerja saat ini ke alur kerja lain.

  1. Di pohon direktori ruang kerja atau di kanvas alur kerja, klik kanan node target.

  2. Di menu konteks yang muncul, pilih Move to another workflow.

  3. Di daftar yang muncul, pilih alur kerja target dan konfirmasi.

     Anda juga dapat memindahkan node dengan memilih dan menyeretnya ke alur kerja target.

Kloning alur kerja

Kloning alur kerja memungkinkan Anda menyalin alur kerja yang sudah ada secara cepat dan lengkap, termasuk semua node internal, kode, dan dependensinya, untuk membuat alur kerja baru dan independen. Untuk melakukannya, buka Workspace Directories, klik kanan alur kerja target, lalu pilih Clone.

Kloning dapat menimbulkan risiko potensial karena menduplikasi hampir semua konfigurasi. Sebelum meng-commit dan mempublikasikan alur kerja yang dikloning, pastikan untuk melakukan pemeriksaan "isolasi lingkungan" dengan memverifikasi konfigurasi berikut:

1. Tabel output dan sumber data target: Alur kerja yang dikloning menulis ke tabel target yang sama dengan alur kerja aslinya. Anda harus mengubah nama tabel target dalam kode (misalnya, mengganti ods_user_table menjadi dev_ods_user_table) atau mengubah konfigurasi output node untuk mencegah beberapa tugas menulis ke tabel yang sama dan menyebabkan konflik data.

2. Dependensi hulu: Periksa konfigurasi dependensi hulu alur kerja. Secara default, alur kerja yang dikloning masih bergantung pada tugas hulu aslinya. Pastikan apakah ini sesuai dengan tujuan Anda, karena dapat menyebabkan pipa data yang membingungkan atau tugas yang berjalan tanpa tujuan.

3. Konfigurasi parameter: Periksa parameter kustom alur kerja dan node internalnya, terutama yang terkait dengan partisi tanggal (seperti ${bizdate}) dan jalur input/output, serta pastikan parameter tersebut benar di lingkungan baru.

Selain mengkloning alur kerja, Anda juga dapat mengkloning node dalam alur kerja, tetapi tidak dapat menyalin node lintas alur kerja berbeda.

Manajemen versi

Manajemen versi secara otomatis mencatat setiap perubahan pada alur kerja, memungkinkan Anda melihat dan membandingkan versi historis dan, jika perlu, dengan cepat mengembalikan ke status sebelumnya. Ini adalah fitur kunci untuk memastikan stabilitas tugas dan mendukung kolaborasi tim.

Di sisi kanan kanvas alur kerja, Anda dapat menemukan panel Version. Di panel Versi, Anda akan melihat dua jenis catatan, dan penting untuk memahami perbedaan di antara keduanya:

• Catatan pengembangan: Catatan ini dihasilkan setiap kali Anda mengklik Save di kanvas. Catatan ini hanyalah snapshot proses pengembangan, yang bertujuan mencegah kehilangan kode secara tidak sengaja. Catatan ini tidak memengaruhi tugas yang sedang berjalan di lingkungan produksi.

• Catatan penerapan: Catatan ini dihasilkan ketika alur kerja berhasil dipublikasikan ke lingkungan produksi. Ini adalah versi yang dieksekusi oleh sistem penjadwalan online. Ketika tugas produksi mengalami masalah, Anda harus fokus pada catatan penerapan saat melakukan pengembalian.

Kasus penggunaan khas

• Pemulihan kesalahan cepat: Ketika tugas produksi gagal karena perubahan kode, Anda dapat menggunakan fitur Revert untuk mengembalikan alur kerja ke versi penerapan stabil terakhir dengan satu klik, sehingga meminimalkan downtime.

• Audit dan ketertelusuran perubahan: Ketika Anda perlu menyelidiki kapan dan oleh siapa suatu logika dimodifikasi, Anda dapat menggunakan fitur Version List dan Compare untuk melacak setiap perubahan kode secara jelas.

• Pemulihan kode: Jika Anda secara tidak sengaja menghapus sebagian logika kode dan belum menyimpannya, Anda dapat memulihkannya dengan mengembalikan ke catatan pengembangan terbaru.

Catatan penting

• Pengembalian menimpa ruang kerja pengembangan saat ini: Operasi revert secara langsung menimpa semua kode dan konfigurasi di kanvas saat ini dengan konten dari versi historis yang dipilih. Jika Anda memiliki perubahan valid yang belum dikomit di kanvas saat ini, kami sangat menyarankan Anda menyalinnya secara manual ke editor teks lokal untuk pencadangan sebelum melakukan revert.

• Anda harus menerbitkan ulang setelah pengembalian: Operasi revert hanya mengembalikan kode ke status pengembangan. Versi yang dipulihkan ini tidak secara otomatis disinkronkan ke lingkungan produksi. Anda harus menerbitkan ulang alur kerja agar perubahan berlaku di produksi.

Penerapan dan operasi

• Penerapan node/alur kerja: Setelah Anda mengembangkan alur kerja, Anda memublikasikan node atau alur kerja ke lingkungan produksi. Pada titik ini, node di lingkungan pengembangan menghasilkan tugas periodik yang sesuai di lingkungan produksi. Untuk informasi lebih lanjut, lihat Publikasikan node atau alur kerja.

• Operasi node/alur kerja: Alur kerja di lingkungan produksi dijadwalkan secara periodik berdasarkan konfigurasinya. Buka Operation Center untuk melihat status penjadwalan alur kerja periodik dan melakukan tugas operasional terkait. Untuk informasi lebih lanjut, lihat Tugas operasional dasar untuk tugas periodik dan Tugas operasional untuk instans Pengisian Ulang Data.

Mekanisme eksekusi tugas

Dalam skenario penjadwalan, apakah alur kerja mengembalikan status sukses bergantung pada status eksekusi tugas internalnya.

Keberhasilan keseluruhan alur kerja ditentukan oleh status akhir node internalnya, sesuai aturan berikut:

• Gagal: Jika satu node kritis gagal, seluruh instans alur kerja biasanya diatur ke status Gagal.

• Dibekukan/Ditangguhkan: Jika node dalam alur kerja secara manual dibekukan atau ditangguhkan, dan node tersebut merupakan dependensi hulu untuk node berikutnya, pipa terputus, dan seluruh alur kerja juga diatur ke status Gagal.

• Merge node: Jika alur kerja menggunakan merge node, seluruh alur kerja mungkin tetap mengembalikan status "Berhasil" meskipun beberapa node cabang hulu gagal, selama logika merge node memungkinkannya berhasil. Oleh karena itu, Anda harus merancang pemeriksaan hulu untuk merge node dengan hati-hati untuk mencegah "berjalan dengan kesalahan."

Skenario khusus:

• Ketika Anda membekukan instans Pengisian Ulang Data dari tugas alur kerja, instans alur kerja diatur ke status Berhasil.

• Dalam skenario Pengisian Ulang Data, jika sistem menentukan bahwa tugas tidak dapat dieksekusi, alur kerja diatur ke status Gagal.