Workflow adalah alat yang mengotomatisasi alur pemrosesan data. Workflow menyediakan antarmuka seret-dan-lepas untuk mengintegrasikan berbagai jenis node tugas, menyederhanakan pembentukan dependensi downstream antar tugas, mempercepat penyiapan alur pemrosesan data, serta meningkatkan efisiensi pengembangan.
Apa itu workflow?
Workflow merupakan unit inti dalam DataWorks untuk mengelola dan mengoordinasikan tugas-tugas data. Workflow menyusun secara visual berbagai node tugas—seperti SQL, Shell, Python, sinkronisasi data, dan node Check—ke dalam grafik asiklik terarah (DAG). Struktur ini menetapkan dependensi downstream yang jelas serta memungkinkan penjadwalan dan eksekusi terpadu guna membangun pipa data yang stabil dan mudah dipelihara. Selain itu, workflow dapat saling diorkestrasikan untuk mendukung pengembangan dalam skenario bisnis yang kompleks.
Pada dasarnya, workflow mengintegrasikan tugas-tugas data yang terpisah menjadi proses terstruktur dan visual. Pendekatan ini mengalihkan fokus dari pengelolaan tugas individual ke pengelolaan seluruh garis produksi data. Nilai inti workflow terletak pada tiga area utama:
Abstraksi dan visualisasi alur pengembangan
Anda dapat mengemas node-node yang memiliki dependensi—seperti SQL dan Shell—ke dalam workflow berorientasi bisnis, misalnya "Analisis Pengguna Aktif Harian", sehingga membentuk DAG yang jelas. Hal ini tidak hanya memperjelas jalur teknis, tetapi juga membantu staf non-teknis memahami logika penerusan data, mendorong penyelarasan antara bisnis dan teknologi.Manajemen atomis untuk pengembangan dan O&M
Sebagai unit terkecil untuk perubahan dan operasi, workflow mendukung pengiriman, penerapan, dan O&M secara holistik—seperti pengujian, eksekusi ulang, dan pengisian ulang data. Pendekatan ini mencegah masalah produksi akibat modifikasi parsial serta menjamin konsistensi dan stabilitas end-to-end.Menetapkan batas kolaborasi tim
Dalam lingkungan multi-tim, workflow memperjelas kepemilikan dan tanggung jawab. Misalnya, tim transaksi bertanggung jawab atas data transaksi, sedangkan tim produk bertanggung jawab atas data produk. Hal ini memungkinkan isolasi izin dan pelacakan isu. Output yang distandardisasi juga mendukung kolaborasi efisien dan terdesentralisasi antara tim hulu dan hilir.
Perbandingan jenis workflow
DataWorks saat ini merekomendasikan dua jenis utama workflow:
Scheduled workflow: Workflow yang berjalan otomatis sesuai jadwal tetap, seperti setiap jam, harian, atau mingguan, sehingga cocok untuk skenario pemrosesan data yang memerlukan eksekusi rutin. Workflow ini dipicu oleh aturan penjadwalan yang dikonfigurasi, dan eksekusi node internalnya dikendalikan oleh waktu terjadwal.
Event-triggered workflow: Workflow on-demand yang dipicu oleh sinyal eksternal, seperti operasi manual, panggilan OpenAPI, atau pesan event. Workflow ini cocok untuk skenario yang memerlukan pemrosesan real-time atau respons terhadap event eksternal. Jenis workflow ini tidak bergantung pada siklus penjadwalan tetap dan mendukung pemicu manual, API, maupun event.
Fitur | Scheduled workflow | Event-triggered workflow | Manual workflow (tidak direkomendasikan) |
Metode penjadwalan | Dipicu oleh waktu terjadwal dan dependensi | Pemicu Manual/Event/API | Eksekusi manual |
Skenario | Batch harian/jam/minggu/bulan | Pemrosesan Real-time/Eksekusi on-demand/Integrasi eksternal | Tugas sementara (untuk kompatibilitas mundur) |
Prioritas parameter | Node > Workflow > Workspace | Node > Workflow > Workspace | Workflow > Node |
Kasus penggunaan khas | Laporan T+1 setiap tengah malam | Pemrosesan otomatis saat file OSS tiba | Perbaikan data satu kali |
Workflow yang dipicu juga dapat digunakan sebagai workflow yang dijalankan secara manual ketika tidak diikat ke pemicu tertentu, sehingga secara bertahap menggantikan workflow yang dipicu manual.
Workflow yang dipicu manual terutama disediakan untuk kompatibilitas dengan pola pengembangan data lama. Jangan menggunakannya untuk proyek baru.
Panduan pemilihan cepat
Jawab tiga pertanyaan berikut untuk menentukan jenis workflow yang tepat bagi Anda:
Referensi
Pilih dokumen yang sesuai berdasarkan skenario Anda:
Untuk skenario penjadwalan terjadwal, lihat Orkestrasi alur kerja terjadwal.
Untuk skenario berbasis event, lihat Workflow yang dipicu event.
Untuk O&M dan Pemantauan, lihat Ikhtisar Operation Center.