Panduan konfigurasi dependensi penjadwalan

Dependensi penjadwalan di DataWorks menetapkan hubungan hulu-hilir antara node yang dipicu secara otomatis (node tugas yang berjalan secara periodik dalam sistem penjadwalan). Setelah Anda mengonfigurasi dependensi penjadwalan, sistem memastikan bahwa instans node hilir hanya dipicu setelah semua instans node hulu berhasil dijalankan, sehingga menjamin data diproduksi dan dikonsumsi dalam urutan yang benar. Topik ini menjelaskan konsep dasar, jenis dependensi, dan metode konfigurasi dependensi penjadwalan untuk membantu Anda memperoleh pemahaman menyeluruh sebelum melakukan konfigurasi serta dengan cepat menemukan dokumentasi yang sesuai dengan skenario Anda.

Ikhtisar

Dependensi penjadwalan adalah mekanisme di DataWorks yang menetapkan hubungan hulu-hilir antar node. Dengan mengonfigurasi dependensi penjadwalan, Anda dapat menentukan bahwa suatu node mulai berjalan hanya setelah node hulunya yang ditentukan berhasil dijalankan, sehingga menjamin urutan pemrosesan data yang benar. Setelah dependensi dikonfigurasi, sistem penjadwalan DataWorks secara otomatis mengatur urutan eksekusi: instans hilir hanya dipicu ketika semua instans hulu berhasil dijalankan dan kondisi seperti waktu serta ketersediaan resource terpenuhi.

DataWorks menetapkan hubungan dependensi antar node dengan mencocokkan nama output node dengan nama input node. Dari perspektif node saat ini, konfigurasi dependensi melibatkan dua operasi inti:

Konfigurasikan dependensi hulu (input node)
Tambahkan input ke node saat ini untuk menentukan dependensi hulunya. Di panel konfigurasi, Anda dapat menetapkan hubungan dependensi dengan mencari node hulu berdasarkan nama output node (disarankan), nama node, atau ID node. Instans node saat ini mulai berjalan hanya setelah semua instans node hulu yang ditentukan berhasil dijalankan.
Konfigurasikan outlet hilir (output node)
Konfigurasikan nama output untuk node saat ini sebagai pengenal unik yang dapat digunakan oleh node hilir untuk bergantung padanya. Kami menyarankan Anda menggunakan format project_name.table_name (misalnya, my_project.dim_user) sebagai nama output agar jelas menunjukkan tabel data yang dihasilkan oleh node tersebut. Setelah dikonfigurasi, node hilir dapat bergantung pada node saat ini dengan mereferensikan nama output ini.

Auto-parse (opsional): Untuk node bertipe SQL, DataWorks dapat secara otomatis mengurai pernyataan INSERT dan SELECT dalam kode, mengidentifikasi tabel input dan output, serta secara otomatis menghasilkan konfigurasi dependensi. Anda juga dapat menyesuaikan hasil auto-parse secara manual. Untuk jenis node yang mendukung fitur auto-parsing, lihat Dukungan untuk fitur parsing otomatis.

Penting

Setiap node harus memiliki setidaknya satu nama output. Sistem secara otomatis menghasilkan output default untuk setiap node. Bahkan jika Anda menghapus semua output kustom, output default ini tetap dipertahankan.

Aturan dan batasan

Berlaku setelah deployment: Konfigurasi dependensi penjadwalan hanya berlaku setelah node deployed ke Operation Center. Konfigurasi yang dilakukan selama pengembangan tidak secara otomatis disinkronkan ke lingkungan penjadwalan.
Status penjadwalan hulu dan hilir: Hubungan dependensi hanya berlaku ketika instans dari kedua node hulu dan hilir telah dihasilkan dan berada dalam status penjadwalan normal. Jika node dikonfigurasi secara tidak tepat atau instans hulu mengalami anomali, node tersebut mungkin menjadi terisolasi dan tidak dapat dijadwalkan.
Batasan dependensi siklus: Sistem melarang adanya dependensi siklus antar node (misalnya, A bergantung pada B dan B bergantung pada A), baik siklus langsung maupun tidak langsung. Jika sistem mendeteksi adanya dependensi siklus selama deployment, deployment akan diblokir dan sistem mengembalikan error.

Jenis dependensi

DataWorks menyediakan dua kategori utama dependensi penjadwalan: dependensi siklus sama dan dependensi lintas siklus, yang berlaku untuk skenario bisnis berbeda. Dependensi siklus sama secara default mengaitkan dengan instans hulu terdekat dalam siklus yang sama. Setelah Anda mengaktifkan konfigurasi dependensi penjadwalan lanjutan, Anda dapat lebih lanjut memilih Specified Range atau Specified Set untuk mengontrol secara tepat rentang instans hulu yang menjadi dependensi, mencakup skenario fleksibel seperti dependensi lintas zona waktu dan lintas jendela.

Konsep prasyarat

Siklus adalah konsep relatif yang maknanya ditentukan oleh waktu penjadwalan suatu node. Siklus penjadwalan mengacu pada offset waktu antara dua instans penjadwalan berdekatan dari suatu node, yang ditentukan oleh frekuensi penjadwalannya. Misalnya, untuk tugas penjadwalan harian, siklus sebelumnya merujuk pada instans dari hari sebelumnya; untuk tugas penjadwalan per jam, siklus tersebut merujuk pada instans dari jam sebelumnya.

Frekuensi penjadwalan	Satu siklus
Penjadwalan harian, mingguan, bulanan, dan tahunan	1 hari Catatan Untuk tugas penjadwalan mingguan, bulanan, dan tahunan, instans tetap dihasilkan setiap hari (instans pada hari non-penjadwalan merupakan instans dry-run). Oleh karena itu, perhitungan dependensi berbasis granularitas hari, dan instans siklus sebelumnya mungkin berstatus dry-run.
Penjadwalan per jam	Interval pada level jam
Penjadwalan per menit	Interval pada level menit (misalnya, setiap 5 menit)

Jenis dependensi

DataWorks menyediakan jenis dependensi berikut berdasarkan cara dependensi dimount:

Dependensi terdekat (dependensi siklus sama): Instans hilir dimount ke instans hulu terdekat dalam siklus yang sama berdasarkan prinsip kedekatan.
Specified range: Anda menentukan rentang kontinu dengan menggunakan offset awal dan akhir untuk mengontrol secara tepat rentang instans hulu yang menjadi dependensi. Ini berlaku untuk skenario seperti dependensi data lintas zona waktu.
Specified set: Anda memilih beberapa instans hulu diskrit. Ini berlaku untuk skenario di mana node hilir bergantung pada beberapa instans siklus hulu tertentu.
Cross-cycle dependency: Anda dapat dengan cepat menentukan hasil instans siklus sebelumnya dari suatu node tertentu. Node yang ditentukan dapat berupa node itu sendiri (self-dependency), node anak tingkat pertama dari hilir, atau node lainnya.

Catatan

Specified range dan Specified set hanya tersedia setelah Anda mengaktifkan sakelar Enable advanced scheduling dependency configuration (nonaktif secara default) di pengaturan penjadwalan DataStudio. Batas atas rentang adalah hari sebelumnya dan hari saat ini: untuk tugas level menit, offset maksimum adalah ±1440 menit; untuk tugas per jam, offset maksimum adalah ±24 jam; untuk tugas harian dan frekuensi lebih tinggi, rentang maksimum adalah dari pukul 00:00 hari sebelumnya hingga 23:59 hari saat ini.

Perbandingan keempat jenis dependensi

Contoh: Node A dengan penjadwalan harian menghasilkan tabel dim_user, dan node hilir B mengonsumsi tabel ini:

Dependensi terdekat (dependensi siklus sama)
Tugas harian hilir bergantung pada data yang dihasilkan oleh tugas harian hulu pada hari yang sama. Misalnya, laporan penjualan hari ini (node B) harus menunggu hingga total penjualan hari ini (node A) telah dihitung.
Specified range
Tugas hilir bergantung pada semua instans hulu dalam jendela waktu tertentu. Misalnya, tugas harian di wilayah Tiongkok (node B) bergantung pada semua 24 instans tugas per jam di wilayah India (node A) dalam jendela jam [-3, 21].
Specified set
Tugas hilir hanya bergantung pada instans hulu pada titik waktu tertentu. Misalnya, tugas ringkasan (node B) hanya perlu menunggu tugas pengumpulan data hulu (node A) menyelesaikan instans yang dihasilkan pada pukul 0:00, 6:00, 12:00, dan 18:00.
Cross-cycle dependency (bergantung pada siklus sebelumnya)
Tugas hilir bergantung pada data lengkap yang dihasilkan oleh tugas hulu pada siklus sebelumnya, atau mencapai eksekusi serial melalui self-dependency. Misalnya, laporan T+1 (node B) bergantung pada data yang dihasilkan oleh node A kemarin, atau tugas per jam bergantung pada instansnya sendiri dari jam sebelumnya untuk menghindari konkurensi.

Item perbandingan	Dependensi siklus sama			Cross-cycle dependency (bergantung pada siklus sebelumnya)
Item perbandingan	Dependensi terdekat (dependensi siklus sama)	Specified range	Specified set
Deskripsi	Instans saat ini dari node ini bergantung pada hasil eksekusi instans node hulu dalam siklus yang sama. Instans hulu terdekat dimount berdasarkan prinsip kedekatan.	Menggunakan offset awal/akhir untuk menentukan rentang kontinu, memungkinkan kontrol tepat atas rentang instans hulu yang menjadi dependensi.	Memilih beberapa instans hulu diskrit dengan menentukannya satu per satu.	Instans saat ini dari node ini bergantung pada hasil eksekusi instans node tertentu dari siklus sebelumnya. Node yang ditentukan dapat berupa node ini sendiri (self-dependency), node anak tingkat pertama dari hilir, atau node lainnya.
Representasi dalam DAG	Ditampilkan sebagai garis solid.	Ditampilkan sebagai garis solid.	Ditampilkan sebagai garis solid.	Ditampilkan sebagai garis putus-putus.
Skenario khas	Node B perlu membaca data yang dihasilkan oleh node A hari ini.	Dependensi data lintas zona waktu (misalnya, tugas harian di Tiongkok bergantung pada rentang kontinu instans tugas per jam di India atau Arab Saudi).	Hanya bergantung pada beberapa instans siklus hulu (misalnya, hanya pada pukul 0:00, 6:00, 12:00, dan 18:00).	Node bergantung pada data yang dihasilkan kemarin (misalnya, pengambilan data T-1). Tugas per jam atau per menit mencapai eksekusi serial melalui self-dependency untuk menghindari eksekusi konkuren beberapa instans siklus.
Metode konfigurasi	Mendukung parsing otomatis, penggambaran garis alur kerja, dan penambahan manual.	Konfigurasikan offset awal/akhir.	Pilih set diskrit yang diinginkan dari instans tugas hulu.	Di bagian "Previous Cycle" panel konfigurasi penjadwalan, pilih jenis dependensi dan tentukan ID node.
Apakah diperlukan konfigurasi lanjutan	Tidak	Ya	Ya	Tidak

Catatan: Dependensi siklus sama dan dependensi lintas siklus dapat berdampingan antara pasangan node yang sama, tetapi tujuan bisnis masing-masing harus didefinisikan dengan jelas. Jika Anda hanya memerlukan dependensi lintas siklus, ingatlah untuk menghapus dependensi siklus sama yang dihasilkan secara otomatis oleh sistem. Jika tidak, instans hilir tetap harus menunggu instans hulu dalam siklus saat ini selesai sebelum dapat dijalankan, sehingga menyebabkan penundaan yang tidak diinginkan.

Untuk menjamin integritas dan kemudahan pemeliharaan rantai penjadwalan, semua node harus memiliki dependensi hulu yang dikonfigurasi sebelum dapat dideploy ke Operation Center untuk penjadwalan otomatis. Jika suatu node tidak memiliki dependensi data, node tersebut harus bergantung pada node virtual atau node root. Saat mengonfigurasi dependensi penjadwalan, Anda perlu menganalisis logika bisnis node, mengidentifikasi target dependensi dan jenis dependensi, serta memilih metode konfigurasi yang paling tepat untuk membangun alur kerja data yang kokoh dan terstruktur dengan jelas.

1. Identifikasi target dependensi

Sebelum mengonfigurasi dependensi, lengkapi persiapan berikut:

Analisis lineage: Pastikan tabel atau partisi yang dihasilkan oleh hulu sesuai dengan tabel atau partisi yang dibaca oleh hilir.
Periksa properti penjadwalan: Pastikan siklus penjadwalan, waktu efektif, parameter penjadwalan, dan properti lain dari node dikonfigurasi dengan benar, karena properti penjadwalan secara langsung memengaruhi perilaku mounting dependensi.

Pilih objek dependensi berdasarkan cara node saat ini bergantung pada data.

Skenario 1: Bergantung pada output langsung node hulu

Skenario yang berlaku: Data yang diperlukan oleh node hilir langsung berasal dari tabel yang dihasilkan oleh node hulu yang dijadwalkan secara otomatis oleh DataWorks.
Strategi konfigurasi: Kami sangat menyarankan Anda mengonfigurasi dependensi node berdasarkan lineage data.
Nilai inti: Ini adalah pendekatan paling langsung dan kokoh. Sistem penjadwalan memastikan bahwa node hilir selalu mulai hanya setelah data hulu siap, sehingga menjamin konsistensi data end-to-end.

Skenario 2: Bergantung pada data hulu non-terjadwal (berbasis kesiapan data)

Skenario yang berlaku: Data hulu dihasilkan di luar sistem penjadwalan DataWorks dan tidak dapat menghasilkan instans penjadwalan untuk dependensi hilir. Contoh:
- File yang didorong ke OSS atau FTP oleh sistem bisnis eksternal.
- Tabel yang dihasilkan oleh sinkronisasi real-time.
- Tabel yang dihasilkan oleh alat sinkronisasi pihak ketiga yang tidak dijadwalkan oleh DataWorks.
- Tabel sementara yang diunggah secara manual atau dihasilkan oleh eksekusi manual.
Strategi konfigurasi: Konfigurasikan node pemeriksa, seperti node Check, untuk secara proaktif memverifikasi apakah data sudah siap (misalnya, periksa apakah file ada atau partisi tabel telah dihasilkan). Kemudian, konfigurasikan node bisnis hilir untuk bergantung pada node Check ini.
Nilai inti: Pendekatan ini mengubah "produksi data" menjadi "event penjadwalan", memungkinkan proses selanjutnya didorong oleh event "kesiapan data" dan menjamin kebenaran data dalam skenario pipeline non-terjadwal.

Skenario 3: Tidak ada dependensi data langsung, tetapi terdapat asosiasi logika bisnis

Skenario yang berlaku: Node sepenuhnya independen dalam hal pemrosesan data dan logika kode, tetapi perlu termasuk dalam alur kerja tertentu atau dijadwalkan secara periodik dari perspektif logika bisnis.
Strategi konfigurasi:
- Bergantung pada node virtual: Anda dapat mengelompokkan sejumlah tugas terkait menjadi unit logis untuk start/stop, pemantauan, dan pemeliharaan terpadu, menjaga logika bisnis tetap terorganisir dengan baik.
- Bergantung pada node root ruang kerja: Ini memastikan bahwa tugas dapat di-instantiate dan dieksekusi tepat waktu oleh sistem penjadwalan, mencegahnya menjadi node yatim yang tidak dapat dijadwalkan secara otomatis.
Nilai inti: Ini mencegah node menjadi terisolasi, membuat start/stop alur kerja dan pemantauan status lebih jelas, serta menjamin integritas struktur logika bisnis.

2. Pilih jenis dependensi

Jika node saat ini bergantung pada output langsung node hulu (Skenario 1), Anda perlu lebih lanjut memastikan apakah data yang menjadi dependensi merupakan output node hulu dari siklus penjadwalan yang sama atau lintas siklus.

Kriteria keputusan inti

Tentukan data output siklus mana yang sebenarnya dibaca oleh node hilir dari node hulu. Dalam kebanyakan skenario, node secara periodik menulis data ke partisi tertentu dari tabel dengan menggunakan parameter penjadwalan untuk resolusi dinamis. Anda dapat merujuk ke Sumber dan ekspresi parameter penjadwalan untuk memahami cara parameter penjadwalan diganti. Jika Anda perlu bergantung pada node dalam ruang kerja yang sama, Anda dapat memeriksa konfigurasi parameter penjadwalan node tersebut.

Cara memastikan

Node dalam ruang kerja yang sama: Periksa parameter penjadwalan dalam kode node hulu. Tentukan apakah partisi yang ditulis setelah penggantian parameter adalah partisi "hari ini" atau partisi "kemarin".
- Di lingkungan pengembangan, periksa konfigurasi parameter penjadwalan dan detail kode node hulu. Di lingkungan produksi, periksa hasil penggantian parameter di detail instans.
Node dalam ruang kerja berbeda: Gunakan Data Map untuk melihat informasi partisi dan riwayat perubahan tabel hulu.
- Pastikan nilai partisi yang benar-benar ditulis setiap hari.

Pilih jenis

Kode hilir membaca partisi hari ini atau siklus saat ini dari node hulu: Dependensi siklus sama.
Kode hilir membaca partisi kemarin atau siklus sebelumnya dari node hulu: Cross-cycle dependency.
Tugas per jam atau per menit yang harus berjalan secara ketat sesuai urutan terjadwal instans: Cross-cycle dependency, artinya bergantung pada node itu sendiri.
Node hilir mengagregasi data hulu lintas zona waktu berdasarkan tanggal bisnis (misalnya, tugas harian di Tiongkok mengagregasi tugas per jam lokal dari wilayah seperti India dan Arab Saudi): Aktifkan konfigurasi lanjutan dan gunakan specified range untuk mencakup instans dari hari bisnis lokal yang sesuai.
Jendela dependensi hilir melintasi batas hari alami (misalnya, tugas batch dini hari memproses data hanya dari sore kemarin hingga dini hari hari ini): Aktifkan konfigurasi lanjutan dan gunakan specified range untuk menentukan jendela kontinu lintas hari.
Node hilir hanya perlu bergantung pada beberapa instans siklus terbaru dari node hulu, bukan menunggu semua instans hulu hari ini secara default: Aktifkan konfigurasi lanjutan dan gunakan specified range untuk membatasi cakupan dependensi.
Node hilir hanya bergantung pada beberapa titik waktu diskrit dari node hulu (misalnya, pukul 0:00, 6:00, 12:00, dan 18:00): Aktifkan konfigurasi lanjutan dan gunakan specified set untuk memilih instans yang sesuai.

Penting

Dampak kegagalan memastikan lineage dengan benar:

Risiko dependensi hilang: Jika lineage tabel ada tetapi dependensi penjadwalan tidak dikonfigurasi, tugas hilir dimulai sebelum instans hulu berhasil, mengakibatkan tidak ada data yang dibaca atau data tidak lengkap.
Risiko ketidaksesuaian parameter: Jika dependensi dikonfigurasi tetapi parameter partisi tidak sejajar (misalnya, node hulu menghasilkan partisi hari ini tetapi node hilir membaca partisi kemarin), akan terjadi error logika data dan anomali kualitas.

3. Konfigurasikan dependensi

Berdasarkan objek dependensi dan jenis dependensi yang telah dikonfirmasi pada langkah 1 dan 2, pilih metode konfigurasi yang sesuai untuk mengonfigurasi dependensi.

DataWorks memungkinkan tugas dengan frekuensi penjadwalan berbeda saling bergantung. Dengan menggabungkan dependensi siklus sama/lintas siklus dengan parameter penjadwalan, Anda dapat mengimplementasikan berbagai skenario penjadwalan. Untuk informasi lebih lanjut, lihat:

Prinsip penjadwalan untuk dependensi kompleks

Untuk mengontrol secara tepat rentang instans hulu untuk dependensi (seperti menentukan rentang offset kontinu atau memilih instans diskrit), aktifkan toggle "Enable advanced scheduling dependency configuration" di DataStudio > Scheduling Settings, dan konfigurasikan dependensi menggunakan metode Specified range atau Specified set.

4. Verifikasi dependensi penjadwalan

Setelah konfigurasi selesai dan sebelum Anda mendeploy node, Anda harus melakukan verifikasi berikut:

Metode verifikasi

Deskripsi

Saat commit: Bandingkan hasil parsing kode

Saat Anda melakukan commit node, gunakan metode ini untuk memverifikasi apakah perubahan dependensi versi node saat ini sesuai harapan dan menilai dampak perubahan tersebut terhadap lingkungan produksi.

Saat auto-parsing diaktifkan, untuk menjamin generasi data normal di lingkungan produksi, Anda harus mengonfirmasi perubahan penjadwalan node saat melakukan commit. Anda dapat menggunakan fitur ini untuk memastikan bahwa perubahan dependensi tidak memengaruhi generasi data oleh tugas produksi.

Setelah deployment: Lihat node yang dipicu otomatis

Setelah node dideploy, gunakan metode ini untuk memverifikasi apakah dependensi tugas penjadwalan produksi di Operation Center sesuai harapan.

Verifikasi dependensi penjadwalan tugas produksi

Dalam ruang kerja mode standar, dependensi node di lingkungan pengembangan dan produksi dapat berbeda. Dependensi penjadwalan node lingkungan produksi harus dikonfigurasi di DataStudio dan hanya berlaku setelah Anda mendeploy node.

Setelah node dideploy, Anda dapat membuka halaman Auto Triggered Nodes di Operation Center, memperluas node hulu dan hilir dari tugas saat ini, dan melihat dependensi penjadwalan.

Penting
Halaman Auto Triggered Nodes menampilkan status terbaru node di lingkungan produksi. Namun, apakah dependensi baru ditambahkan atau dependensi yang ada dihapus dari instans node yang dipicu otomatis bergantung pada cara instans dihasilkan.
Verifikasi status data tugas produksi

Setelah memverifikasi bahwa dependensi penjadwalan benar, Anda juga harus memeriksa operasi baca/tulis partisi data dari node hulu dan hilir (yaitu, apakah parameter penjadwalan dikonfigurasi dengan benar). Ini membantu mencegah node hilir mengalami masalah kualitas data yang disebabkan oleh node hulu yang menghasilkan data yang tidak sesuai dengan yang dibutuhkan node saat ini.

Catatan
Jika kontrol alur kerja dikonfigurasi dalam proses deployment tugas, kami menyarankan Anda membuka halaman Auto Triggered Nodes di Operation Center produksi setelah tugas dideploy untuk melihat dependensi penjadwalan tugas dan properti terkait. Jika tugas tidak berfungsi sesuai harapan, periksa apakah proses deployment tugas diblokir. Untuk informasi lebih lanjut, lihat Deploy nodes.

Dampak penghapusan dependensi terhadap tugas hilir

Selama O&M atau iterasi tugas, Anda mungkin perlu menghapus atau menyesuaikan dependensi penjadwalan yang ada.

Sebelum menghapus dependensi, pastikan Anda menilai dampaknya terhadap perilaku penjadwalan tugas hilir untuk menghindari tugas hilir yatim atau insiden data. Untuk informasi lebih lanjut tentang node yatim, lihat Node yatim.

Skenario dependensi hilir	Dampak setelah penghapusan dependensi	Tingkat risiko
Tugas hilir hanya bergantung pada node saat ini.	Tugas hilir menjadi node yatim, kehilangan mekanisme pemicu hulu, dan tidak lagi dijadwalkan secara otomatis.	Tinggi
Tugas hilir bergantung pada beberapa node induk.	Tugas hilir mungkin mulai sebelum data hulu siap, yang menyebabkan data hilang atau error perhitungan.	Sedang
Tugas hilir bergantung pada instans lintas siklus.	Jika dependensi lintas siklus dihapus, tugas hilir mungkin membaca data dengan tanggal bisnis yang salah, yang menyebabkan error logika data.	Sedang

Kasus penggunaan

Konstruksi berlapis gudang data offline: Konfigurasikan dependensi full-link lintas ODS → DWD → DWS → ADS untuk memastikan data berlapis dihasilkan secara berurutan.
Pipeline ETL standar: Konfigurasikan dependensi siklus sama untuk memastikan tugas hilir hanya dieksekusi secara ketat setelah instans hulu berhasil, sehingga menjamin urutan dan konsistensi pipeline pemrosesan data.
Laporan hari berikutnya (T+1): Konfigurasikan cross-cycle dependency (offset -1) sehingga tugas hari ini bergantung pada data bisnis lengkap dari hari sebelumnya, memungkinkan analisis dan output data hari berikutnya yang akurat.
Agregasi campuran multi-siklus: Konfigurasikan cross-cycle dependency sehingga tugas harian bergantung pada semua instans siklus tugas per jam, memastikan data dasar sepenuhnya siap sebelum agregasi.
Pemicu kesiapan data eksternal: Konfigurasikan dependensi kustom atau node pemeriksa untuk memastikan file eksternal telah tiba atau antarmuka siap sebelum memicu alur kerja, memungkinkan koordinasi penjadwalan lintas sistem.
Kontrol alur kerja kompleks: Gunakan node virtual untuk mengelompokkan dependensi multi-cabang sebagai tonggak kontrol alur kerja, menyederhanakan struktur rantai dependensi dan meningkatkan visibilitas pemantauan.
Agregasi data multi-wilayah lintas zona waktu: Gudang data di Tiongkok memproses data dari wilayah di seluruh dunia. Dengan menentukan interval untuk memount instans hulu per jam yang sesuai dengan hari bisnis lokal masing-masing wilayah, offset lintas zona waktu dapat dicakup (misalnya, India [-3, 21], Arab Saudi [-5, 19]).
Agregasi jendela lintas hari: Tugas hilir mengagregasi data dalam jendela waktu non-kalender. Dengan menentukan interval, Anda dapat secara fleksibel memilih jendela kontinu antara hari sebelumnya dan hari saat ini (misalnya, [-12, 4] mencakup dari pukul 12:00 hari sebelumnya hingga 04:00 hari saat ini).
Hanya bergantung pada jendela hulu terbaru: Tugas hilir hanya membutuhkan instans terbaru dari tugas hulu (misalnya, 6 jam terakhir). Dengan menentukan interval, Anda dapat membatasi rentang mount dan menghindari menunggu semua instans hulu hari ini secara default.
Bergantung pada titik waktu hulu diskrit: Tugas hilir hanya membutuhkan output tugas hulu pada jam tertentu (misalnya, pukul 00:00, 06:00, 12:00, dan 18:00). Anda dapat menentukan set untuk memilih instans yang sesuai.

FAQ

Bagian berikut menjelaskan skenario khas. Untuk FAQ lebih lanjut tentang dependensi penjadwalan, lihat FAQ tentang dependensi.

Keunikan node.
- Node memiliki bentuk berbeda di lingkungan pengembangan dan produksi tetapi tetap unik: Konfigurasi dependensi penjadwalan node yang sama dapat berbeda antara lingkungan pengembangan dan produksi. Artinya, node yang sama dapat memiliki dua bentuk berbeda di lingkungan pengembangan dan produksi, tetapi node itu sendiri bersifat unik.
- Anda harus menghapus dependensi hilir di kedua lingkungan pengembangan dan produksi sebelum mengambil node offline: Karena keunikan node, untuk memastikan tugas hilir dapat mengambil data dan berjalan dengan benar, DataWorks mengharuskan Anda terlebih dahulu menghapus dependensi di konfigurasi penjadwalan node hilir, kemudian mengonfigurasi ulang node hulu yang perlu dijadikan dependensi oleh node hilir, serta melakukan commit dan deploy perubahan tersebut. Anda hanya dapat mengambil tugas hulu offline setelah dependensi dihapus di kedua lingkungan pengembangan dan produksi.
Metode pembuatan instans.
- Saat membuat node, pastikan node hulu dan hilir menggunakan metode pembuatan instans yang sama. Jika pengaturan metode pembuatan instans: Immediately after deployment berbeda, node hulu mungkin menghasilkan instans pada hari saat ini sedangkan node hilir menghasilkan instans pada hari berikutnya, menyebabkan instans hilir menjadi Skenario: Node terisolasi.
- Jika Anda mengubah siklus penjadwalan node yang sudah ada dan memilih opsi untuk menghasilkan instans segera setelah deployment, instans yang sebelumnya dihasilkan tidak secara otomatis dihapus saat Anda memodifikasi dependensi penjadwalan. Dependensi instans siklus yang dihasilkan pada hari deployment mungkin tidak konsisten. Untuk informasi lebih lanjut, lihat Metode pembuatan instans: Immediately after deployment.
Terjadi error yang menunjukkan jumlah dependensi hulu melebihi 200 saat Anda menggunakan OpenAPI untuk memperbarui tugas.
- Detail error: 'One file could not have more than 200 inputs'.
- Anda dapat menambahkan node virtual antara node hulu dan hilir di DataStudio untuk mengurangi jumlah dependensi hulu langsung dari node saat ini. Untuk informasi lebih lanjut tentang konfigurasi node virtual, lihat Zero load node.