Kullanım durumu 2: Döngüler arası bağımlılık yapılandırma - DataWorks

Döngüler arası bağımlılık, bir düğümün geçerli döngüdeki örneğini önceki bir döngüdeki bir örneğin başarılı şekilde tamamlanmasına bağlar.

DataWorks aşağıdaki üç tür döngüler arası bağımlılığı destekler:

Alt Düğümlerin Örnekleri
- Bu bağımlılık türünde bir düğüm doğrudan alt akıştaki düğümlerine bağlıdır. Örneğin, A düğümünün B, C ve D olmak üzere üç alt akış düğümü varsa A düğümünün geçerli örneği yalnızca B, C ve D düğümlerinin önceki döngü örneklerinin tümü başarıyla tamamlandıktan sonra çalışır.
- Bu bağımlılık genellikle bir düğümün geçerli çalışmasının, alt akıştaki düğümlerin önceki döngüde çıktı tablosundaki verileri beklenen şekilde temizlemesine bağlı olduğu durumlarda kullanılır. Alt akıştaki düğümlerin verileri beklenen şekilde temizlediğini doğrulamak için çıktı tablolarına veri kalitesi kuralları ekleyebilirsiniz.
Geçerli Düğümün Örnekleri
- Bu, kendi kendine döngüler arası bağımlılıktır. Bir düğümün geçerli örneği, kendi önceki döngü örneğinin başarılı şekilde tamamlanmasına bağlıdır.
- Bu bağımlılık genellikle bir düğümün geçerli çalışmasının, önceki çalışmasında üretilen iş verilerine bağlı olduğu durumlarda kullanılır. Veri temizleme sonuçlarının beklentilere uygun olduğunu doğrulamak için düğümün çıktı tablosuna veri kalitesi izleme kuralları ekleyebilirsiniz.
Özel Düğümlerin Örnekleri: Diğer düğümlere olan bağımlılıkları, kimliklerini manuel olarak girerek belirtin. Birden fazla düğüm belirtiyorsanız kimliklerini virgülle ayırın; örneğin, 12345,23456.
- Bu bağımlılık türünde, geçerli düğümün örneği yalnızca belirtilen tüm özel düğümlerin önceki döngü örnekleri başarıyla tamamlandıktan sonra çalışır.
- Yaygın bir kullanım durumu, iş mantığının başka bir süreç tarafından üretilen verilere bağımlı olmasını gerektirdiği ancak geçerli düğümün kodunun bu veriler üzerinde doğrudan işlem yapmadığı senaryolardır.

Operation Center içinde düğüm bağımlılıklarını görüntülerken, döngüler arası bağımlılıklar aynı döngü bağımlılıklarından ayırt edilmek üzere kesikli çizgiler olarak gösterilir.

Bir düğümü devre dışı bırakırken zamanlama bağımlılıklarını kaldırmanız gerekir. Bu, hem döngüler arası bağımlılıkları hem de aynı döngü bağımlılıklarını kapsar.

Üst akış düğümleri için bağımlılık döngüsünü iş gereksinimlerinize göre seçin. Genellikle aynı döngü bağımlılığı veya döngüler arası bağımlılıktan birini yapılandırmanız gerekir, ikisini birden değil. Otomatik ayrıştırma özelliği varsayılan olarak aynı döngü bağımlılığı oluşturur. Bunu değiştirmek için önce aynı döngü bağımlılığını silip ardından yeni bağımlılığı eklemeniz gerekir. Daha fazla bilgi için bkz. Zamanlama bağımlılıklarının mantığı.

Aşağıdaki şekil bir iş akışındaki düğümler arasındaki bağımlılıkları gösterir. 依赖关系

Operation Center sayfası iş akışındaki bağımlılıkları görüntüler. 依赖关系

xc_create düğümünü örnek alarak, kod düzenleyicide CREATE TABLE xc_1 ve CREATE TABLE xc_2 DDL deyimlerini yazdıktan sonra zamanlama yapılandırması panelinde Parse Input and Output from Code seçeneğine tıklayın. Sistem, Node Output Name bölümünde iki çıktı kaydı (test.xc_1 ve test.xc_2) otomatik olarak oluşturur ve yöntem Code Parsing olarak listelenir. Cross-Cycle Dependencies bölümünde Instances of Current Node, Instances of Child Nodes veya Instances of Custom Nodes seçeneklerinden birini belirleyebilirsiniz.

xc_select düğümünün kod düzenleyicisi iki SQL deyimi içerir: SELECT * FROM xc_1; ve SELECT * FROM xc_2;. Parse Input and Output from Code özelliği aracılığıyla sistem, test.xc_1 ve test.xc_2 öğelerini bu düğüm için üst akış bağımlılıkları olarak otomatik şekilde tanımlar; yani xc_select düğümü, xc_create düğümü tarafından üretilen iki tabloya bağlıdır.

Döngüler arası bağımlılık: Alt düğümler

Bir düğümü, önceki döngüdeki alt akış düğümlerinin başarılı şekilde tamamlanmasına bağlı hale getirebilirsiniz. Örneğin, A düğümünün B, C ve D alt akış düğümleri varsa geçerli döngü örneği yalnızca B, C ve D düğümlerinin önceki döngü örneklerinin tümü başarıyla tamamlandıktan sonra çalışır.

Bir düğümün geçerli yürütmesinin, alt akış düğümlerinin önceki döngüde gerçekleştirdiği veri temizlemeye bağlı olduğu durumlarda bu bağımlılığı kullanın. Bu alt akış düğümleri, üst düğümün önceki çalışmasında ürettiği çıktı verilerini temizler. Üst düğümün geçerli döngü örneği, yalnızca alt akış düğümlerinin önceki döngü örnekleri başarıyla çalıştıysa başlar.

xc_create düğümü, önceki döngüdeki alt düğümlerine bağlı olacak şekilde yapılandırılır. Scheduling Configuration panelinin alt kısmındaki Cross-Cycle Dependencies (formerly Previous Cycle) bölümünde Instances of Child Nodes onay kutusunu seçin.

Operation Center sayfası düğümler arasındaki bağımlılıkları görüntüler. 依赖关系

Döngüler arası bağımlılık: Geçerli düğüm

Bir düğümün geçerli döngü yürütmesi, kendi önceki döngü örneğinin başarılı şekilde tamamlanmasına bağlı olabilir. Başarısız veya tamamlanmamış bir önceki döngü örneği, geçerli döngü örneğinin çalışmasını engeller.

Geçerli döngüdeki bir veri temizleme görevinin, önceki döngüdeki aynı görevin sonucuna bağlı olduğu durumlarda bu bağımlılığı kullanın. Bu örnekte, bağımlılığı daha kolay gözlemlemek için düğüm saatlik görev olarak zamanlanır.

Düğümün bağımlılıklarını Operation Center > Auto Triggered Task O&M > Auto Triggered Instances sayfasında görüntüleyin.

Not

Saatlik bir düğüm kendi kendine bağımlılık (Döngüler Arası Bağımlılıklar: Geçerli Düğüm) ile yapılandırılmışsa, önceki döngüdeki örnek başarıyla çalışmazsa bu düğümün sonraki saatlik örneği çalışmaz.

Örneğin, belirli bir günde saatlik bir görevin ilk örneği başarısız olursa veya çalışmazsa o günkü sonraki tüm saatlik örnekler de çalışmaz.

Döngüler arası bağımlılık: Özel düğümler

Bu senaryoda, xc_create düğümü kodu 1000374815 düğümü tarafından üretilen çıktı tablosunu kullanmasa bile iş mantığı nedeniyle 1000374815 düğümünün önceki döngü örneğine bağlıdır.

İş mantığınız başka bir düğüm (bu durumda 1000374815 düğümü) tarafından üretilen verileri gerektirdiği ancak geçerli düğümün (xc_create) bu veriler üzerinde doğrudan işlem yapmadığı; örneğin, 1000374815 düğümünün sonuç tablosundan seçim yapmadığı durumlarda bu bağımlılığı kullanın.

xc_create düğümü, özel düğüm 1000374815 üzerinde bir üst akış bağımlılığına sahip olacak şekilde yapılandırılır. Scheduling Configuration panelindeki Cross-Cycle Dependencies bölümünde Instances of Custom Nodes seçeneğini belirleyin, giriş alanına 1000374815 düğüm kimliğini girin ve Add seçeneğine tıklayın.

Düğümün bağımlılıklarını Operation Center > Auto Triggered Task O&M > Auto Triggered Instances sayfasında görüntüleyin. 周期实例

Döngüler arası bağımlılıklar için gelişmiş ayarlar

İki alt akış yoluna sahip bir dal düğümü içeren iş akışlarında genellikle yalnızca bir yol yürütülür, diğeri ise kuru çalıştırma olarak ayarlanır. Bu kuru çalıştırma durumu tüm sonraki alt akış düğümlerine yayılır. Bu davranışı yönetmek için DataWorks Upstream node air running attribute does not conduct cross-cycle seçeneğini sağlar.

Ancak bir dal yolundaki bir düğüm kendi kendine bağımlılığa sahipse ve dalı seçilmediği için önceki döngü örneği kuru çalıştırma olarak ayarlanmışsa düğüm kalıcı olarak kuru çalıştırma durumunda sıkışıp kalabilir.

Örneğin, soldaki düğüm kuru çalıştırma olarak ayarlanırsa alt akış düğümü de kuru çalıştırma olarak ayarlanır. 分支节点

Bir düğümün sonraki döngüdeki yürütmesinin, önceki döngüden gelen kuru çalıştırma durumundan etkilenmemesi yerine aynı döngünün dal mantığıyla belirlenmesini sağlamak için şu adımları izleyin:

Düğüm yapılandırma sayfasında sağ taraftaki panelde Scheduling seçeneğine tıklayın.
Schedule bölümünde Dependency on Last Cycle seçeneğini belirleyin.
Advanced Settings seçeneğine tıklayın.
Upstream node air running attribute does not conduct cross-cycle seçeneğini belirleyin. Görev artık önceki döngüdeki bir dal düğümünün kuru çalıştırma durumundan etkilenmez. Cross-Cycle Dependencies (formerly Previous Cycle) bölümünde Instances of Current Node seçeneğini belirleyin. Skip Upstream Dry-Run Status ayarını Yes olarak değiştirin.

Not

Bu seçenek yalnızca seçilmemiş bir dal düğümünden yayılan kuru çalıştırma durumu için geçerlidir. Normal bir düğümün önceki döngü örneğinden miras alınan kuru çalıştırma durumunu etkilemez.

Döngüler arası bağımlılıklar için tipik kullanım durumları

Kullanım durumu 1:
- Senaryo: Günlük bir görev saatlik bir göreve bağlıdır. Günlük görevin, 24 saatlik örneğin tümünün tamamlanmasını beklemeden planlanan saat 12:00'de çalışmasını istersiniz.
- Çözüm: Üst akıştaki saatlik görevi Dependency on Last Cycle > This node seçeneklerini belirleyerek kendi önceki örneğine bağlı olacak şekilde yapılandırın. Alt akıştaki günlük görevi 12:00'de çalışacak şekilde ayarlayın ve bunun için herhangi bir döngüler arası bağımlılık yapılandırmayın.
  
  Üst akıştaki saatlik görevin 12:00 örneği başarıyla çalıştıktan sonra alt akıştaki günlük görev başlar.
Kullanım durumu 2:
- Senaryo: Günlük bir görev, önceki günden bir saatlik görev tarafından üretilen verilere bağlıdır.
- Çözüm: Alt akıştaki günlük görevi Dependency on Last Cycle > Custom Rule seçeneklerini belirleyerek yapılandırın. Ardından üst akıştaki saatlik görevin düğüm kimliğini girin.
Kullanım durumu 3:
- Senaryo: Saatlik bir görev günlük bir göreve bağlıdır. Günlük görev tamamlandıktan sonra saatlik görevin birden fazla planlanan çalışma zamanı geçmiş olabilir; bu da birden fazla örneğin eşzamanlı başlamasına neden olur. Bunu nasıl önlersiniz?
- Çözüm: Alt akıştaki saatlik görevi Dependency on Last Cycle > This node seçeneklerini belirleyerek kendi önceki örneğine bağlı olacak şekilde yapılandırın. Bu, saatlik örneklerin sırayla çalışmasını sağlar.
Kullanım durumu 4:
- Senaryo: Bir düğüm, kendi önceki döngüsünde ürettiği verilere bağlıdır. Önceki döngü verilerinin hazır olduğundan nasıl emin olursunuz?
- Çözüm: Düğümü Dependency on Last Cycle > This node seçeneklerini belirleyerek kendi önceki örneğine bağlı olacak şekilde yapılandırın.