DataWorks:Orkestrasi alur kerja terjadwal

Langkah 1: Siapkan mesin komputasi dan data

1. Di ruang kerja target, bind mesin komputasi MaxCompute.

2. Di MaxCompute, buat tabel berikut untuk menyimpan hasil.

   -- Buat tabel hasil sederhana
   CREATE TABLE IF NOT EXISTS dw_order_count_test (
       order_date STRING,
       total_count BIGINT
   ) 
   PARTITIONED BY (ds STRING); -- Dipartisi berdasarkan ds untuk menyimpan hasil agregasi harian

Langkah 2: Buat alur kerja terjadwal

1. Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

   Jika tombolnya berlabel Data Development, itu membuka Data Studio versi lama. Jangan klik tombol tersebut.

2. Klik ikon di bilah navigasi kiri, lalu di sebelah kanan Project Directory, klik > Create Workflow untuk membuka halaman Create Workflow.

3. Di kotak dialog Create Workflow, atur Scheduling Type menjadi Periodic Scheduling, masukkan informasi yang diperlukan (misalnya, atur Name menjadi minimal_daily_demo), lalu selesaikan pembuatan.

Langkah 3: Orkestrasi alur kerja: Seret node dan hubungkan dependensi

1. Di kanvas alur kerja, seret Zero-Load Node dari panel komponen kiri dan beri nama start_node.

   Zero-Load Node hanya digunakan untuk menentukan titik awal proses bisnis dan tidak benar-benar dijalankan.

2. Seret node MaxCompute SQL dan beri nama count_orders.

3. Klik lingkaran di bagian bawah start_node dan seret garis ke bagian atas count_orders untuk membangun pipa pemrosesan sederhana.

Langkah 4: Kembangkan kode node

1. Klik dua kali node count_orders untuk membuka editor kode node.

2. Tulis kode logika bisnis untuk node tersebut (di sini digunakan data statistik simulasi).

   -- bizdate adalah variabel penjadwalan yang telah ditentukan yang maknanya perlu dispesifikasikan dalam konfigurasi penjadwalan
   INSERT OVERWRITE TABLE dw_order_count_test PARTITION (ds='${bizdate}')
   SELECT 
       '${bizdate}' as order_date,
       COUNT(*) as total_count
   FROM (SELECT 1 as id UNION ALL SELECT 2 as id) t; -- Data simulasi

   Untuk informasi lebih lanjut tentang pengembangan node, lihat Mengembangkan node MaxCompute SQL.

3. Klik tombol Save di bagian atas editor node untuk menyimpan konfigurasi.

Langkah 5: Konfigurasi jadwal dan parameter

1. Kembali ke alur kerja. Di sisi kanan kanvas alur kerja, klik tab Scheduling Settings > Scheduling time:

   1. Atur Scheduling Frequency menjadi Day.

   2. Atur Scheduling time menjadi 00:05 (yaitu pukul 00:05 setiap hari).

2. Di sisi kanan editor node count_orders, konfigurasikan Scheduling Settings > Scheduling Parameters. Tambahkan parameter dengan Parameter name diatur ke bizdate dan Parameter Value diatur ke $[yyyymmdd-1] (ini merepresentasikan tanggal saat ini dikurangi satu hari, yaitu hari sebelumnya).

Langkah 6: Debug node tunggal dan seluruh alur kerja

1. count_orders debugging node:

   1. Konfigurasi parameter debug: Klik Debug Configuration di sisi kanan halaman pengeditan node.

      1. Di Compute Resource, pilih sumber daya komputasi MaxCompute yang disiapkan di Langkah 1.

      2. Di Script Parameters, masukkan Value Used in This Run. Nilai default-nya adalah hari sebelum tanggal saat ini.

   2. Jalankan tugas debug: Klik tombol Run di bilah alat. Node dijalankan dengan parameter debug yang Anda konfigurasikan di Debug Configuration.

   3. Setelah hasil eksekusi sesuai ekspektasi, klik Sync to Scheduling di pojok kanan atas untuk menyinkronkan konfigurasi eksekusi ke pengaturan jadwal.

2. Debugging alur kerja:

   1. Kembali ke kanvas alur kerja dan klik ikon di bilah alat atas.

   2. Di kotak dialog yang muncul, masukkan Value Used in This Run untuk alur kerja (misalnya, jika hari ini 20260120, bizdate harus diganti dengan 20260119).

Langkah 7: Terapkan ke lingkungan produksi

1. Kembali ke alur kerja dan klik tombol di bilah alat atas.

2. Di panel penerapan, sistem melakukan pemeriksaan dependensi dan konfigurasi. Setelah Anda memastikan semuanya benar, klik Start Release Production dan atur metode penerapan ke Full Publishing.

3. Setelah penerapan berhasil, buka Operation and Maintenance Center untuk memeriksa apakah alur kerja muncul dalam daftar tugas terjadwal.

Orkestrasi node/alur kerja

Pengaturan dependensi penjadwalan

Dependensi penjadwalan menghubungkan tugas-tugas yang terisolasi menjadi pipa produksi data yang teratur melalui dua kondisi: pemenuhan waktu terjadwal dan keberhasilan hulu. Saat Anda mengorkestrasikan node dalam alur kerja, dependensi penjadwalan dibuat secara otomatis. Anda juga dapat mengonfigurasi dependensi yang lebih kompleks melalui pengaturan dependensi penjadwalan.

Untuk informasi lebih lanjut, lihat Mengonfigurasi dependensi penjadwalan.

Desain dan alur parameter

DataWorks Data Studio mendukung empat tingkat penerusan parameter dan memungkinkan transfer data dinamis lintas node yang fleksibel melalui parameter konteks node. Diurutkan dari cakupan terendah ke tertinggi:

Pengaturan jadwal

Jadwal diatur pada tingkat alur kerja. Node internal hanya dapat mengatur waktu eksekusi tunda, yang dihitung dengan menambahkan penundaan ke waktu terjadwal yang ditentukan oleh alur kerja.

Debugging node tunggal

Debugging node tunggal memverifikasi logika kode dalam satu node, seperti memvalidasi pernyataan SQL, skrip Python, atau tugas sinkronisasi Data Integration. Mode ini hanya menjalankan node saat ini tanpa memicu dependensi hulu atau hilir.

1. Di panel Debug Configuration di sisi kanan node, konfigurasikan parameter berikut:

   Nama parameter	Deskripsi
   Compute resource	Pilih compute resource yang terkait. Jika tidak tersedia compute resource, pilih Create Compute Resource dari daftar drop-down. Penting Pastikan compute resource dan kelompok sumber daya terhubung. Untuk informasi lebih lanjut, lihat Konektivitas jaringan.
   Resource group	Pilih kelompok sumber daya yang telah lulus uji konektivitas saat compute resource dikaitkan. Beberapa node mendukung konfigurasi paket dependensi pada kelompok sumber daya untuk memperluas lingkungan runtime.
   (Opsional) Dataset	Beberapa node (seperti Shell dan Python) mendukung memasang dataset untuk mengakses data tidak terstruktur yang disimpan di OSS atau NAS.
   (Opsional) Script parameters	Saat Anda mengonfigurasi konten node dan mendefinisikan variabel menggunakan format ${parameter_name}, Anda perlu mengonfigurasi Parameter name dan Parameter Value di Script Parameters. Saat runtime, variabel diganti secara dinamis dengan nilai aktual. Untuk informasi lebih lanjut, lihat Mengonfigurasi parameter penjadwalan.
   (Opsional) Associated role	Beberapa node (seperti Shell dan Python) mendukung mengonfigurasi associated roles untuk mengakses sumber daya layanan Alibaba Cloud lainnya.

2. Di bilah alat di atas node, klik Save lalu Run tugas node.

3. Lihat log runtime dan hasil eksekusi di bagian bawah node.

Debugging alur kerja

Debugging alur kerja memverifikasi apakah dependensi data, penerusan parameter, dan urutan eksekusi lintas beberapa node dalam pipa sudah benar. Setelah debugging node tunggal, Anda dapat melakukan debugging pada sebagian pipa atau seluruh alur kerja.

1. Di halaman kanvas DAG alur kerja, klik tombol Run di bilah alat atas. Anda juga dapat memilih node, klik kanan, lalu pilih Run to this node atau Run from this node untuk melakukan verifikasi parsial.

2. Di kotak dialog yang muncul, tetapkan nilai sementara untuk semua variabel node dalam alur kerja (seperti ${bizdate}) untuk eksekusi debug ini.

3. Sistem mengeksekusi node secara ketat dari atas ke bawah sesuai hubungan dependensi yang ditentukan dalam DAG. Anda dapat memantau status node secara real-time di kanvas dan mengklik node apa pun untuk melihat log runtime.

4. Anda dapat mengklik tombol Return di sisi kiri kanvas untuk kembali ke status pengembangan alur kerja.

   Riwayat eksekusi di sisi kanan menampilkan semua catatan eksekusi debug alur kerja.

Mengelola node alur kerja

DataWorks memungkinkan Anda mengimpor node mandiri yang sudah ada ke dalam alur kerja, menghapus node dari alur kerja, atau memindahkan node antar alur kerja untuk penggunaan ulang dan manajemen modular yang efisien.

Impor node yang sudah ada ke dalam alur kerja

Anda dapat menambahkan node mandiri yang tidak termasuk dalam alur kerja apa pun ke kanvas alur kerja saat ini melalui Import Node untuk penggunaan ulang.

1. Klik dua kali alur kerja target untuk membuka halaman pengeditan kanvas.

2. Di panel komponen kiri, beralih ke tab Import Node.

3. Panel tersebut mencantumkan semua node mandiri yang dapat ditambahkan. Anda dapat memfilter dan mencari berdasarkan Node Type, Path, atau Node Name untuk menemukan node target dengan cepat.

4. Setelah menemukan node tersebut, seret ke kanvas untuk menyelesaikan impor.

Hapus node dari alur kerja

Anda dapat menghapus node dari alur kerja agar menjadi node mandiri, atau memindahkannya langsung ke alur kerja lain.

• Hapus dari alur kerja sebagai node mandiri

  Gunakan fitur ini ketika Anda perlu memisahkan node dari alur kerja sehingga tidak lagi menjadi bagian dari alur kerja tersebut.

  1. Di pohon direktori proyek atau di kanvas alur kerja, klik kanan node target.

  2. Di menu konteks, pilih Remove from workflow.

  3. Di dialog konfirmasi, pilih jalur target tempat node akan disimpan setelah dihapus, lalu konfirmasi.

• Pindahkan ke alur kerja lain

  Gunakan fitur ini ketika Anda perlu menyusun ulang proses bisnis dan memigrasikan node dari alur kerja saat ini ke alur kerja lain.

  1. Di pohon direktori proyek atau di kanvas alur kerja, klik kanan node target.

  2. Di menu konteks, pilih Move to another workflow.

  3. Di daftar yang muncul, pilih alur kerja target dan konfirmasi.

     Anda juga dapat memilih dan menyeret node langsung ke alur kerja target untuk memindahkannya.

Klon alur kerja

Kloning menyalin alur kerja yang ada — termasuk semua node internal, kode, dan dependensinya — untuk menghasilkan alur kerja independen. Untuk mengkloning, buka Project Directory, klik kanan alur kerja target, lalu pilih Cloning.

Kloning menyalin hampir semua konfigurasi, yang dapat menimbulkan risiko. Sebelum menerapkan alur kerja yang dikloning, verifikasi hal berikut ("pemeriksaan isolasi lingkungan"):

1. Tabel output dan sumber data target: Kode alur kerja yang dikloning menulis ke tabel target yang sama dengan alur kerja asli. Anda harus mengubah nama tabel target dalam kode (misalnya, ubah ods_user_table menjadi dev_ods_user_table) atau memodifikasi konfigurasi output node untuk mencegah beberapa tugas mengoperasikan tabel yang sama, yang dapat menyebabkan konflik data.

2. Dependensi hulu: Periksa konfigurasi dependensi hulu alur kerja. Secara default, alur kerja yang dikloning masih bergantung pada tugas hulu asli. Pastikan apakah ini sesuai ekspektasi Anda. Jika tidak, hal ini dapat menyebabkan kebingungan pipa data atau tugas berjalan tanpa input yang valid.

3. Konfigurasi parameter: Periksa parameter kustom alur kerja dan node internalnya, terutama parameter yang terkait dengan partisi tanggal (seperti ${bizdate}), jalur input/output, dan parameter lainnya. Pastikan parameter tersebut benar di lingkungan baru.

Selain mengkloning alur kerja, Anda juga dapat mengkloning node dalam alur kerja, tetapi penyalinan node lintas alur kerja tidak didukung.

Manajemen versi

Manajemen versi secara otomatis mencatat setiap perubahan alur kerja, mendukung melihat dan membandingkan versi historis, serta memungkinkan rollback ke status historis apa pun saat diperlukan.

Di sisi kanan kanvas alur kerja, panel Version menampilkan dua jenis catatan:

• Catatan pengembangan: Dihasilkan setiap kali Anda mengklik Save di kanvas. Snapshot ini mencegah kehilangan kode secara tidak sengaja selama pengembangan dan tidak memengaruhi tugas yang berjalan di produksi.

• Catatan penerapan: Dihasilkan setelah alur kerja diterapkan ke lingkungan produksi. Ini adalah versi yang dieksekusi oleh penjadwal produksi. Saat tugas produksi mengalami masalah, fokuslah pada catatan penerapan untuk rollback.

Kasus penggunaan khas

• Rollback cepat saat gagal: Saat tugas produksi gagal karena perubahan kode, gunakan Restore untuk mengembalikan alur kerja ke versi penerapan stabil terakhir dengan satu klik untuk meminimalkan downtime.

• Audit dan pelacakan perubahan: Untuk menyelidiki kapan logika diubah dan oleh siapa, gunakan daftar versi dan fitur Diff untuk melacak setiap perubahan kode.

• Pemulihan kode: Jika Anda secara tidak sengaja menghapus logika kode tanpa menyimpannya, pulihkan dari catatan pengembangan terbaru.

Pertimbangan penting

• Restore menimpa area pengembangan saat ini: Restore menggunakan versi historis yang dipilih untuk menimpa semua kode dan konfigurasi di kanvas saat ini. Sebelum memulihkan, backup perubahan yang belum dikomit dengan menyalinnya ke editor teks lokal.

• Penerapan ulang diperlukan setelah restore: Restore hanya memulihkan kode ke status pengembangan. Anda harus menerapkannya secara manual agar rollback berlaku di produksi.

Penerapan dan operasi

• Penerapan node/alur kerja: Setelah menyelesaikan pengembangan alur kerja, terapkan node/alur kerja ke lingkungan produksi. Pada titik ini, node di lingkungan pengembangan menghasilkan tugas terjadwal yang sesuai di lingkungan produksi. Untuk informasi lebih lanjut, lihat Menerapkan node dan alur kerja.

• Operasi node/alur kerja: Alur kerja di lingkungan produksi dijadwalkan secara berkala berdasarkan pengaturan jadwal. Buka Operation and Maintenance Center untuk melihat status penjadwalan alur kerja terjadwal dan melakukan operasi terkait. Untuk informasi lebih lanjut, lihat Tugas terjadwal dan Instans terjadwal.

Mekanisme eksekusi tugas

Dalam skenario penjadwalan, keberhasilan keseluruhan alur kerja bergantung pada status eksekusi tugas internalnya.

Keberhasilan keseluruhan alur kerja ditentukan oleh status akhir node internalnya:

• Kegagalan: Jika node kritis gagal, seluruh instans alur kerja biasanya ditandai sebagai gagal.

• Freeze/Pause: Jika node dalam alur kerja dibekukan atau dijeda secara manual, dan node tersebut merupakan node hulu untuk node berikutnya, pipa terputus dan seluruh alur kerja juga ditandai sebagai gagal.

• Join node: Jika alur kerja menggunakan join node, meskipun node di cabang hulu gagal, seluruh alur kerja mungkin mengembalikan status "sukses" selama logika join node itu sendiri menentukan keberhasilan. Oleh karena itu, rancang dengan hati-hati pemeriksaan hulu untuk join node guna mencegah tugas berjalan dengan error yang tidak terdeteksi.

Skenario khusus:

• Saat Anda membekukan instans backfill data dari tugas alur kerja, instans alur kerja diatur ke status sukses.

• Dalam skenario backfill data, jika sistem menentukan bahwa tugas tidak dapat dieksekusi, alur kerja diatur ke status gagal.