How to configure schedule dependencies to control task execution order - DataWorks

Çalışma mekanizması

Bir zamanlama bağımlılığı, bir düğümün yalnızca yukarı akış düğümleri başarılı olduktan sonra başlamasını belirtir. Yapılandırıldıktan sonra DataWorks zamanlama sistemi yürütme sırasını otomatik olarak düzenler. Bir aşağı akış örneği, yalnızca tüm yukarı akış örnekleri başarılı olduğunda ve zaman ile kaynak kullanılabilirliği gibi diğer koşullar karşılandığında tetiklenir.

DataWorks, yukarı akış düğümlerin çıktı adlarını aşağı akış düğümlerin giriş adlarıyla eşleştirerek bağımlılıklar kurar. Bir bağımlılık yapılandırmanın temel iş akışı aşağıdaki gibidir:

Yukarı akış düğümde çıktıyı yapılandırın: Yukarı akış düğüme, genellikle project_name.table_name biçiminde (örneğin, my_project.dim_user) bir çıktı adı ekleyin; bu, düğüm tarafından üretilen veri tablosunu temsil eder.
Aşağı akış düğümde girişi yapılandırın: Aşağı akış düğümde, yukarı akış düğümün çıktı adını aratıp bunu giriş (bağımlılık) olarak seçin. Bu işlem bağımlılık ilişkisini kurar.
Otomatik ayrıştırma (isteğe bağlı): SQL tabanlı düğümler için DataWorks, kodunuzdaki INSERT ve SELECT deyimlerini otomatik olarak ayrıştırarak giriş ve çıkış tablolarını belirleyebilir ve ardından bağımlılık yapılandırmasını oluşturabilir. Otomatik olarak ayrılmış yapılandırmayı manuel olarak da ayarlayabilirsiniz. Otomatik ayrıştırmayı destekleyen düğüm türlerinin listesi için bkz. Farklı düğüm türleri için otomatik ayrıştırma senaryoları.

Önemli

Her düğüm en az bir çıktı adına sahip olmalıdır. Sistem, her düğüm için project_name.nodeID_out biçiminde varsayılan bir çıktı otomatik olarak oluşturur. Tüm özel çıktıları silseniz bile bu varsayılan çıktı korunur.

Kurallar ve sınırlamalar

Dağıtımdan sonra etkili olur: Bir zamanlama bağımlılığı, ancak düğümü gönderin ve Operation Center'a dağıttıktan sonra etkin hale gelir. Geliştirme ortamında yapılan yapılandırmalar üretim ortamına otomatik olarak eşitlenmez.
Yukarı akış ve aşağı akış zamanlama durumu: Bir bağımlılığın çalışması için hem yukarı akış hem de aşağı akış düğüm örneklerinin oluşturulmuş ve normal bir zamanlama durumunda olması gerekir. Bir düğüm hatalı yapılandırılmışsa veya bir yukarı akış örneği anormal durumdaysa düğüm izole olabilir ve normal şekilde zamanlanamaz.
Döngüsel bağımlılık kısıtlaması: Sistem, döngüsel bağımlılıkları (A, B'ye bağlıdır ve B, A'ya bağlıdır) hem doğrudan hem de dolaylı döngüler dahil olmak üzere yasaklar. Gönderim sırasında döngüsel bir bağımlılık tespit edilirse sistem dağıtımı engeller ve bir hata döndürür.

Bağımlılık türleri

DataWorks iki tür zamanlama bağımlılığını destekler: aynı döngü bağımlılığı ve çapraz döngü bağımlılığı; her biri farklı iş senaryolarına uygulanır.

Ön koşul kavramları

Bir döngü, bir düğümün zamanlama ayarları ile tanımlanır. Bu, bir düğümün zamanlama sıklığına göre belirlenen, ardışık iki zamanlanmış örneği arasındaki zaman farkını ifade eder. Örneğin, günlük zamanlanan bir görev için önceki döngü, önceki günden gelen örnektir. Saatlik zamanlanan bir görev için önceki döngü, önceki saatten gelen örnektir.

Zamanlama sıklığı	Bir döngü
Günlük, haftalık, aylık veya yıllık zamanlama	1 gün Not Haftalık, aylık veya yıllık zamanlanan görevler için örnekler yine de günlük bazda oluşturulur (zamanlanmayan günlerdeki örnekler kuru çalışma örnekleridir). Bu nedenle bağımlılık hesaplamaları gün granülerliğine dayanır ve önceki döngü örneği kuru çalışma durumunda olabilir.
Saatlik zamanlama	Saatlik aralık
Dakika düzeyinde zamanlama	Dakika düzeyinde aralık (örneğin, her 5 dakikada bir)

İki bağımlılık türü

Örnek: Günlük zamanlanan bir A düğümü dim_user tablosunu üretir ve aşağı akıştaki B düğümü bu tabloyu tüketir:

Aynı döngü bağımlılığı: B'nin bugünkü örneği, çalışmadan önce A'nın bugünkü örneğinin başarılı olmasını bekler. Yani B, A tarafından aynı gün üretilen verileri tüketir.
Çapraz döngü bağımlılığı: B'nin bugünkü örneği, çalışmadan önce A'nın dünkü örneğinin başarılı olmasını bekler. Yani B, A tarafından önceki gün üretilen verileri tüketir.

Karşılaştırma öğesi	Aynı döngü bağımlılığı	Çapraz döngü bağımlılığı (önceki döngüye bağlı)
Anlamı	Bu düğümün mevcut döngü örneği, yukarı akış düğümünün aynı döngüdeki örneğinin sonucuna bağlıdır.	Bu düğümün mevcut döngü örneği, belirtilen bir düğümün önceki döngüdeki örneğinin sonucuna bağlıdır. Belirtilen düğüm, bu düğümün kendisi (kendine bağımlılık), doğrudan aşağı akıştaki bir alt düğüm veya başka herhangi bir düğüm olabilir.
DAG'de gösterimi	Düz çizgi olarak görüntülenir.	Kesikli çizgi olarak görüntülenir.
Tipik senaryolar	B düğümü, bugün A düğümü tarafından üretilen verileri okumak zorundadır.	Bir düğüm, önceki gün üretilen verilere bağlıdır (T-1 veri alımı gibi); saatlik/dakika düzeyindeki görevler, birden çok döngüde eşzamanlı yürütmeyi önlemek ve seri yürütmeyi sağlamak için kendine bağımlılığı kullanır.
Yapılandırma yöntemi	Otomatik ayrıştırmayı, iş akışı sürükle-bırak bağlantısını ve manuel eklemeyi destekler.	Zamanlama ayarları panelinin "Önceki Döngü" bölümünde bağımlılık formunu seçin ve düğüm ID'sini belirtin.

Not: Aynı döngü bağımlılığı ve çapraz döngü bağımlılığı, aynı düğüm çifti arasında birlikte bulunabilir ancak her birinin iş anlamını net bir şekilde tanımlamanız gerekir. Yalnızca çapraz döngü bağımlılığına ihtiyacınız varsa sistem tarafından otomatik olarak oluşturulan aynı döngü bağımlılığını silmeyi unutmayın. Aksi takdirde aşağı akış örneği, çalışmadan önce yine de mevcut döngüdeki yukarı akış örneğinin tamamlanmasını bekler ve bu da beklenmeyen gecikmelere yol açar.

Zamanlama bağımlılığı yapılandırma kılavuzu

Tüm düğümler, otomatik zamanlama için Operation Center'a dağıtılmadan önce yukarı akış bağımlılıklarının yapılandırılmış olması gerekir. Veri bağımlılığı yoksa düğüm sanal bir düğüme veya kök düğüme bağlı olmalıdır. Bağımlılıkları yapılandırırken iş mantığını gözden geçirin, bağımlılık hedeflerini ve türlerini netleştirin ve sağlam, yapısı açık bir veri iş akışı oluşturmak için en uygun yapılandırma yöntemini seçin.

1. Bağımlılık hedeflerini belirleyin

Bağımlılıkları yapılandırmadan önce aşağıdaki hazırlıkları tamamlayın:

Soy ağacını inceleyin: Yukarı akış düğüm tarafından üretilen tabloların/bölümlerin, aşağı akış düğüm tarafından okunan tablolarla/bölümlerle eşleşip eşleşmediğini doğrulayın.
Zamanlama ayarlarını kontrol edin: Düğümün zamanlamasının, etkin süresinin, zamanlama parametrelerinin ve diğer ayarların doğru yapılandırıldığından emin olun çünkü zamanlama ayarları bağımlılık davranışını doğrudan etkiler.

Mevcut düğümün verilere nasıl bağlı olduğuna göre bağımlılık hedefini seçin.

Senaryo 1: Bir yukarı akış düğümün doğrudan çıktısına bağlı

Uygulanabilir senaryo: Aşağı akış düğümün ihtiyaç duyduğu veriler, doğrudan DataWorks tarafından otomatik olarak zamanlanan başka bir yukarı akış düğüm tarafından üretilen bir tablodan gelir.
Yapılandırma stratejisi: Düğüm bağımlılıklarını veri soy ağacına göre yapılandırmanızı şiddetle öneririz.
Temel değer: Bu, en doğrudan ve sağlam yaklaşımdır. Zamanlama sistemi, aşağı akış düğümün her zaman yalnızca yukarı akış verileri hazır olduktan sonra başlamasını sağlayarak uçtan uca veri tutarlılığını garanti eder.

Senaryo 2: Zamanlanmamış yukarı akış verilerine bağlı (veri hazırlığına dayalı)

Uygulanabilir senaryo: Yukarı akış veriler DataWorks zamanlama sistemi tarafından yönetilmez ve aşağı akış bağımlılıkları için zamanlanmış örnekler oluşturamaz. Örnekler:
- Harici iş sistemleri tarafından OSS/FTP'ye itilen dosyalar;
- Gerçek zamanlı senkronizasyon tarafından üretilen tablolar;
- Üçüncü taraf senkronizasyon araçları tarafından üretilen tablolar (DataWorks tarafından zamanlanmaz);
- Manuel olarak yüklenen veya manuel yürütmeyle üretilen geçici tablolar.
Yapılandırma stratejisi: Verilerin hazır olup olmadığını aktif olarak doğrulamak için bir kontrol düğümü (örneğin Check düğümü) yapılandırın (örneğin, bir dosyanın var olup olmadığını veya bir tablo bölümünün oluşturulup oluşturulmadığını kontrol edin). Aşağı akış iş düğümü daha sonra bu kontrol düğümüne bağlı olur.
Temel değer: Bu yaklaşım "veri üretimini" bir "zamanlama olayına" dönüştürerek aşağı akış süreçlerinin veri hazırlığına dayalı çalışmasını sağlar ve zamanlama zinciri dışındaki senaryolarda veri doğruluğunu garanti eder.

Senaryo 3: Doğrudan veri bağımlılığı yok ancak iş mantığı ilişkisi mevcut

Uygulanabilir senaryo: Düğüm, veri işleme/kod mantığı açısından tamamen bağımsızdır ancak iş mantığı perspektifinden bir iş akışına ait olması veya periyodik olarak zamanlanması gerekir.
Yapılandırma stratejisi:
- Sanal bir düğüme bağlı olun: İlgili görev gruplarını bir araya toplayarak tek tip yönetim sağlayabilir, mantıksal bir birim oluşturabilir ve böylece tek tip başlatma/durdurma, izleme ve bakım imkanı sunarak iş mantığının düzenli kalmasını sağlayabilirsiniz.
- Çalışma alanı kök düğümüne bağlı olun: Bu, görevin zamanlama sistemi tarafından doğru şekilde somutlaştırılmasını ve zamanında yürütülmesini sağlayarak otomatik olarak zamanlanamayan izole bir düğüm haline gelmesini önler.
Temel değer: Düğüm izolasyonunu önler, iş akışı başlatma/durdurma ve durum izlemeyi daha net hale getirir ve iş mantığının bütünlüğünü sağlar.

2. Bağımlılık türünü seçin

Mevcut düğüm bir yukarı akış düğümün doğrudan çıktısına bağlıysa (Senaryo 1), bağımlı verilerin yukarı akış düğümün aynı döngüsünden mi yoksa önceki döngüsünden mi geldiğini ayrıca belirleyin.

Temel değerlendirme

Aşağı akış düğümün yukarı akış düğümden aslında hangi döngünün çıktısını okuduğunu belirleyin. Çoğu senaryoda bir düğümün belirli bir bölüme yazdığı veriler, zamanlama parametreleri tarafından dinamik olarak belirlenir. Zamanlama parametrelerinin nasıl değiştirildiğini anlamak için bkz. Zamanlama parametreleri. Aynı çalışma alanındaki bir düğüme bağlı olmanız gerekiyorsa onun zamanlama parametresi yapılandırmasını kontrol edin.

Nasıl doğrulanır

Aynı çalışma alanındaki düğüm: Yukarı akış düğümün kodundaki zamanlama parametrelerini kontrol edin. Parametre değiştirmeden sonra yazılan bölümün "bugün" mü yoksa "dün" mü olduğunu belirleyin.
- Geliştirme ortamında yukarı akış düğümün zamanlama parametresi yapılandırmasını ve kod ayrıntılarını kontrol edin. Üretim ortamında örnek ayrıntılarındaki parametre değiştirme sonuçlarını kontrol edin.
Çalışma alanları arası düğüm: Yukarı akış tablonun bölüm bilgilerini ve değişiklik geçmişini görüntülemek için Data Map'i kullanın.
- Her gün yazılan gerçek bölüm değerini onaylayın.

Türü seçin

Aşağı akış kodu, yukarı akış bölümünü mevcut gün/mevcut döngü için okur: Aynı döngü bağımlılığı.
Aşağı akış kodu, yukarı akış bölümünü önceki gün/önceki döngü için okur: Çapraz döngü bağımlılığı.
Saatlik/dakika düzeyindeki görevlerin eşzamanlılık olmadan seri yürütülmesi gerekir: Çapraz döngü bağımlılığı (kendine bağımlılık).

Önemli

Soy ağacının doğru doğrulanmamasının sonuçları:

Eksik bağımlılık riski: Bir tablo soy ağacı mevcut ancak zamanlama bağımlılığı yapılandırılmamışsa aşağı akış görevi, yukarı akış örneği başarılı olmadan önce başlar ve bu durum eksik veya tamamlanmamış verilerle sonuçlanır.
Parametre uyumsuzluğu riski: Bir bağımlılık yapılandırılmış ancak bölüm parametreleri hizalanmamışsa (örneğin, yukarı akış bugünkü bölümü üretirken aşağı akış dünkü bölümü okursa) bu durum veri mantığı hatalarına ve kalite anormalliklerine yol açar.

3. Bağımlılığı yapılandırın

1. ve 2. adımlarda onaylanan bağımlılık hedeflerine ve türlerine göre uygun yapılandırma yöntemini seçerek bağımlılığı yapılandırın.

DataWorks, farklı zamanlama sıklıklarına sahip görevler arasındaki bağımlılıkları destekler. Aynı döngü/çapraz döngü bağımlılıkları ve zamanlama parametreleriyle birleştirildiğinde bu yaklaşım çok çeşitli zamanlama senaryolarını mümkün kılar. Ayrıntılar için bkz.:

Karmaşık bağımlılık senaryoları için zamanlama yapılandırmaları

4. Zamanlama bağımlılığını doğrulayın

Yapılandırmadan ve dağıtımdan önce bağımlılığı doğrulamanız gerekir:

Doğrulama yöntemi	Açıklama
Yapılandırma sırasında: Bağımlılıkları önizleyin	Dağıtımdan önce mevcut zamanlama bağımlılığı yapılandırmasının beklentileri karşılayıp karşılamadığını önizleyin. Şu anda yalnızca mevcut düğümün anlık yukarı akış ve aşağı akış bağımlılıkları görüntülenebilir. Mevcut görevin bağımlılıklarının doğru olduğundan emin olmak için yukarı akış düğümlerin kaydedilmiş durumda olduğunu onaylayın. Bağımlılık önizleme diyagramında düz çizgiler aynı döngü bağımlılıklarını, kesikli çizgiler ise çapraz döngü bağımlılıklarını (önceki döngüye bağımlılıkları) temsil eder.
Gönderim sırasında: Kod ayrıştırma sonuçlarını karşılaştırın	Mevcut sürümdeki bağımlılık değişikliklerinin beklentileri karşılayıp karşılamadığını onaylayın ve düğüm gönderimi sırasında üretim üzerindeki etkiyi değerlendirin. Otomatik ayrıştırma etkinleştirildiğinde üretim verilerinin normal çıktısını sağlamak için bir düğüm gönderirken zamanlama değişikliklerini ikinci kez onaylamanız gerekir. Bağımlılık değişikliklerinin üretim görevi veri çıktısını etkilemediğinden emin olmak için bu özelliği kullanın.
Dağıtımdan sonra: Zamanlanan görevleri görüntüleyin	Düğüm dağıtımından sonra Operation Center'da üretim zamanlanan görevin bağımlılıklarının beklentileri karşıladığını onaylayın. Üretim görevlerinin zamanlama bağımlılıklarını onaylayın Standart mod çalışma alanında geliştirme ortamı ve üretim ortamındaki düğüm bağımlılıkları farklı olabilir. Üretim ortamı düğümleri için zamanlama bağımlılıkları Data Studio'da yapılandırılmalı ve yalnızca dağıtımdan sonra etkili olmalıdır. Düğüm dağıtıldıktan sonra Operation Center'daki Zamanlanan Görevler sayfasına giderek mevcut görevin yukarı akış ve aşağı akışını genişletebilir ve zamanlama bağımlılığı durumunu görüntüleyebilirsiniz. Önemli Zamanlanan Görevler sayfası, üretim ortamındaki düğümlerin en son durumunu gösterir. Ancak zamanlanmış bir örneğin yeni bağımlılıklar ekleyip eklemediği veya kaldırıp kaldırmadığı, seçilen örnek oluşturma yöntemiyle ilgilidir. Üretim görevlerinin veri durumunu onaylayın Zamanlama bağımlılıklarını onayladıktan sonra ayrıca yukarı akış ve aşağı akış düğümlerin okuma ve yazma bölümü verisi davranışını (yani zamanlama parametresi yapılandırmasının doğru olup olmadığını) doğrulamanız gerekir. Bu, aşağı akış düğümün, yukarı akış düğümün mevcut düğümün bağımlı olduğu verilerden farklı veriler üretmesi nedeniyle veri kalitesi sorunlarıyla karşılaşmasını önler. Not Görev dağıtım süreci iş akışı kontrollerini içeriyorsa dağıtımdan sonra Operation Center'daki Zamanlanan Görevler sayfasına giderek görevin zamanlama bağımlılıklarını ve ilgili özelliklerini kontrol etmenizi öneririz. Görevin beklentileri karşılamadığını fark ederseniz dağıtım sürecinin engellenip engellenmediğini doğrulayın. Ayrıntılar için bkz. Düğümleri dağıtın.

Bağımlılıkların kaldırılmasının etkisi

Görev yinelemesi sırasında mevcut zamanlama bağımlılıklarını kaldırmanız veya ayarlamanız gerekebilir.

Bir bağımlılığı kaldırmadan önce görev izolasyonunu veya veri olaylarını önlemek için aşağı akış görevi zamanlama davranışı üzerindeki etkiyi değerlendirin.

Aşağı akış bağımlılık senaryosu	Kaldırıldıktan sonraki etki	Risk düzeyi
Aşağı akış yalnızca mevcut düğüme bağlı	Aşağı akış görevi izole bir düğüm haline gelir, yukarı akış tetikleme mekanizmasını kaybeder ve artık otomatik olarak zamanlanmaz.	Yüksek
Aşağı akış birden çok üst düğüme bağlı	Aşağı akış görevi, yukarı akış verileri hazır olmadan önce başlayabilir ve bu durum eksik verilere veya hesaplama hatalarına yol açabilir.	Orta
Aşağı akış çapraz döngü örneğine bağlı	Çapraz döngü bağımlılığı kaldırılırsa aşağı akış düğüm yanlış iş tarihinden veri okuyabilir ve bu durum veri mantığı karışıklığına yol açabilir.	Orta

Kullanım örnekleri

Çevrimdışı veri ambarı katmanlı yapılandırma: Her katmandaki verilerin sırayla üretilmesini sağlamak için ODS → DWD → DWS → ADS işlem hattı boyunca uçtan uca bağımlılıkları yapılandırın.
Standart ETL işlem hattı: Aşağı akış görevlerinin yürütmeden önce kesinlikle yukarı akış örneklerinin başarılı olmasını beklemesini ve böylece veri işleme işlem hattının sırasını ve tutarlılığını garanti etmesini sağlamak için aynı döngü bağımlılıklarını yapılandırın.
Sonraki gün (T+1) raporları: Bugünkü görevin dünkü tam iş verilerine bağlı olmasını sağlamak için çapraz döngü bağımlılıklarını (ofset -1) yapılandırın; bu sayede doğru sonraki gün veri analizi ve çıktısı mümkün olur.
Çoklu sıklıkta karışık toplama: Günlük granülerlikteki görevlerin saatlik granülerlikteki görevlerin tüm döngü örneklerine bağlı olmasını sağlamak için çapraz döngü bağımlılıklarını yapılandırın; bu sayede toplama öncesi alttaki verilerin tamamen hazır olması garanti edilir.
Harici veri hazırlığı tetikleyicisi: İş akışını tetiklemeden önce harici dosyaların ulaştığını veya arayüzlerin hazır olduğunu onaylamak için özel bağımlılıkları veya kontrol düğümlerini yapılandırın; bu sayede sistemler arası zamanlama koordinasyonu sağlanır.
Karmaşık iş akışı kontrolü: İşlem hattı yapısını basitleştirmek ve izleme görünürlüğünü artırmak için sanal düğümleri çok dallı bağımlılıkları toplamak amacıyla iş akışı kontrol kilometre taşları olarak kullanın.

SSS

Aşağıda tipik senaryolar yer almaktadır. Zamanlama bağımlılıkları hakkında daha sık sorulan sorular için bkz. Bağımlılık ilişkileri hakkında SSS.

Düğüm benzersizliği.
- Düğümler geliştirme ve üretim ortamlarında farklı formlara sahiptir ancak benzersiz kalır: Aynı düğümün zamanlama bağımlılığı yapılandırması geliştirme ortamı ile üretim ortamı arasında farklılık gösterebilir. Yani aynı düğüm geliştirme ve üretim ortamlarında iki farklı forma sahip olabilir ancak düğüm benzersizdir.
- Bir düğümü dağıtımı kaldırmadan önce her iki ortamda da aşağı akış bağımlılıklarını kaldırın: Düğüm benzersizliği nedeniyle aşağı akış görevlerinin verileri doğru şekilde almasını ve çalışmasını sağlamak için DataWorks'te bir yukarı akış görevinin dağıtımını kaldırmadan önce öncelikle aşağı akış düğümün zamanlama ayarlarında bağımlılığı kaldırmanız, ardından aşağı akış düğümün bağlı olması gereken yukarı akış düğümleri yeniden yapılandırmanız ve değişiklikleri gönderip dağıtmanız gerekir. Yukarı akış görevinin dağıtımı yalnızca bağımlılık hem geliştirme hem de üretim ortamlarında kaldırıldıktan sonra kaldırılabilir.
Örnek oluşturma yöntemiyle ilgili.
- Düğümleri oluştururken yukarı akış ve aşağı akış düğümlerin aynı örnek oluşturma yöntemini kullandığından emin olun. Aksi takdirde örnek oluşturma yöntemlerindeki fark, yukarı akış düğümün mevcut gün için örnekler oluşturmasına neden olurken aşağı akış düğümün ertesi gün örnekler oluşturmasına yol açabilir ve bu durum aşağı akış örneklerinin izole örnekler haline gelmesine neden olabilir.
- Mevcut bir düğümün zamanlamasını değiştirir ve dağıtımdan hemen sonra örnekler oluştur seçeneğini belirlerseniz düğümün zamanlama bağımlılıklarını değiştirdiğinizde zaten oluşturulmuş örnekler otomatik olarak silinmez. Düğüm dağıtımından sonra o günkü zamanlanmış örneklerin bağımlılıkları tutarsız hale gelebilir. Ayrıntılar için bkz. Anında örnek oluşturmanın o günkü zamanlanmış örnek bağımlılıkları üzerindeki etkisi.
OpenAPI kullanılarak bir iş güncellenirken 200'den fazla yukarı akış bağımlılığı olduğunu belirten hata.
- Hata ayrıntıları: 'One file could not have more than 200 inputs 'One file could not have more than 200 inputs'.
- Mevcut düğüm için doğrudan yukarı akış bağımlılığı sayısını azaltmak amacıyla Data Studio'da yukarı akış ve aşağı akış arasında sanal düğümler ekleyebilirsiniz. Sanal düğümlerin nasıl yapılandırılacağı hakkında ayrıntılı bilgi için bkz. Sanal düğüm oluşturun