DataWorks:Zaman özelliklerini yapılandırın

Hızlı başlangıç: Yapılandırma örneği

Senaryo: Bir e-ticaret şirketi her gün saat 02:00'de önceki günün toplam satışlarını otomatik olarak hesaplamak istemektedir. Görev, ağ dalgalanmaları gibi faktörler nedeniyle başarısız olursa sistemin bunu otomatik olarak 3 kez yeniden denemesi gerekir.

• Adım 1: Zamanlanmış süreyi ayarlayın

  1. Zamanlama döngüsünü ayarlayın: Görev yapılandırma panelini açmak için görev adına çift tıklayın. Sağ taraftaki Schedule Settings > Time Properties bölümüne tıklayın. Scheduling Cycle seçeneğini Day olarak ayarlayın.

  2. Zamanlanmış süreyi ayarlayın: Zamanlanmış süreyi 02:00 olarak belirleyin.

• Adım 2: Zamanlama ilkesini ayarlayın

  1. Yeniden çalıştırma özelliğini ayarlayın: Yeniden çalıştırma özelliğini You can run again after successful or failed operation. olarak ayarlayın.

  2. Başarısızlık durumunda otomatik yeniden çalıştırma: Auto Rerun upon Failure seçeneğini işaretleyin, yeniden deneme sayısını 3 olarak, aralığı ise 5 minutes olarak ayarlayın.

  3. Diğer özellikler için varsayılan değerleri koruyun.

• Sonuç:

  Görevi dağıttıktan sonra sistem, ertesi günden (T+1) başlayarak her gün saat 02:00'de görevi otomatik olarak tetikler. Görev başarısız olursa sistem bunu her 5 dakikada bir yeniden dener. Görev en fazla 4 kez çalışır (1 normal çalışma + 3 yeniden deneme).

Nasıl çalışır

Zaman özelliği yapılandırmaları, örnek oluşturmadan yürütmeye kadar zamanlanmış bir görevin tüm yaşam döngüsünü tanımlar. Aşağıdaki temel boyutları kapsarlar:

• Zamanlama zamanı: Görev yürütmesinin sıklığını ve belirli zamanını görsel olarak tanımlar.

• Örnek yaşam döngüsü yönetimi: Bir örneğin ne zaman oluşturulduğunu ve ne zaman geçerli olduğunu belirler. Buna şunlar dahildir:

  • Örnek oluşturma modu: Örneklerin dağıtım gününde mi yoksa ertesi gün mü oluşturulacağını kontrol eder.

  • Geçerlilik süresi: Görev için genel geçerli zaman aralığını ayarlar.

  • Zamanlama takvimi: Çalışma dışı günleri (tatiller gibi) hariç tutmak için kullanılır.

• Yürütme ilkesi: Zamanlama türü aracılığıyla zamanlanmış süre geldiğinde bir örneğin davranışını tanımlayarak örneğin normal çalışıp çalışmayacağını, kuru çalıştırma (atlama) yapıp yapmayacağını veya askıya alınıp alınmayacağını belirler.

• Özel durum işleme ve hata toleransı: Zaman aşımı tanımları ve yeniden çalıştırma ayarları aracılığıyla görev yürütme hataları veya zaman aşımları gibi özel durumlar için otomatik işleme mekanizmaları sağlar.

Zamanlama zamanı

Zamanlama zamanı, bir görevin çalışmasının planlandığı zamanı (diğer adıyla zamanlanmış süre) kontrol eder ve bu da bir görev düğümünün üretim ortamında ne sıklıkla otomatik olarak tetikleneceğini belirler. Yapılandırdığınız döngüye bağlı olarak sistem, görev için ilgili sayıda periyodik örnek oluşturur ve bu örneklerin zamanlanmış süresi ile zamanlama bağımlılıkları aracılığıyla tüm iş akışının otomatik yürütülmesini sağlar.

Aşağıda her bir senaryo için yapılandırma örnekleri verilmiştir:

Dakika düzeyinde zamanlama

Başlangıç zamanını, bitiş zamanını ve çalışma aralığını ayarlayın. Minimum aralık 1 dakikadır. Belirtilen zaman aralığında sistem sabit aralıklarla birden çok örnek oluşturur.

Yapılandırma örneği

Hedef düğüm, her gün 00:00 ile 23:59 zaman aralığında 30 dakikada bir zamanlanır.

Örnek ayrıntıları

Aşağıdaki şekil, 30 dakikada bir zamanlanan bir düğümün örnekleri için zamanlanmış süreleri ve zamanlama parametresi değiştirmelerini gösterir.

Saat düzeyinde zamanlama

Yüksek frekanslı senkronizasyon veya neredeyse gerçek zamanlı hesaplama senaryoları için uygundur.

• Örnek oluşturma mantığı: Sistem periyodik örnekleri kapalı bir aralık [başlangıç zamanı, bitiş zamanı] temelinde hesaplar.

  • Örnek: Zaman aralığı [00:00,03:00] ve aralık 1 hour olarak ayarlanırsa sistem 00:00, 01:00, 02:00 ve 03:00 saatlerinde planlanan yürütme zamanlarına sahip 4 örnek oluşturur.

• Yapılandırma yöntemleri:

  • Aralık tabanlı tetikleme: Belirtilen bir zaman aralığında sabit bir aralıkla (örneğin her saat) döngüsel olarak çalışır.

  • Anlık zaman tetikleme: Bir veya daha fazla belirtilen ayrı zaman noktasında çalışır.

Yapılandırma örneği

Hedef görev, her gün 00:00 ile 23:59 zaman aralığında her 6 saatte bir otomatik olarak zamanlanır.

Zamanlama ayrıntıları

Zamanlama sistemi günde 4 örnek oluşturur ve bunları 00:00, 06:00, 12:00 ve 18:00 zamanlanmış sürelerinde çalıştırır.

Gün düzeyinde zamanlama

Gün düzeyinde zamanlama en yaygın zamanlama yöntemidir. Geçerli bir zaman aralığında belirtilen bir zamanda bir görevi günde bir kez çalıştırmanıza olanak tanır. Varsayılan olarak yeni oluşturulan görevler gün düzeyinde zamanlamayı kullanır ve zamanlanmış süre 00:00 ile 00:30 zaman aralığında rastgele oluşturulur. İhtiyaç duyduğunuzda özel bir çalışma zamanı belirtebilirsiniz. Örneğin, görevin günde bir kez saat 13:00'te çalışmasını sağlayabilirsiniz.

Yapılandırma örneği

Scheduling Cycle öğesini Day olarak, Scheduled Time öğesini ise 13:00 olarak ayarlayın. Sistem otomatik olarak 00 00 13 * * ? cron ifadesini oluşturur.

Zamanlama ayrıntıları

Zamanlama sistemi görev için örnekleri otomatik olarak oluşturur ve çalıştırır. Aşağıdaki şekil her bir iş günü için veri işleme zamanlarını gösterir.

Hafta düzeyinde zamanlama

Her hafta sabit bir sıklıkta gerçekleştirilen haftalık iş toplamları veya periyodik veri bakımı için uygundur.

Örnek oluşturma mantığı: Sistem geçerli zaman aralığında her gün örnekler oluşturur.

• Normal yürütme: Kod mantığı yalnızca seçilen çalışma günlerinde (örneğin Pazartesi ve Cuma) zamanında tetiklenir.

• Otomatik kuru çalıştırma: Seçilmeyen günlerde (örneğin Salı, Çarşamba, Perşembe, Cumartesi ve Pazar) oluşturulan örnekler otomatik olarak "kuru çalıştırma başarılı" durumuna ayarlanır. Hiçbir kod mantığı gerçekten yürütülmez ve hiçbir hesaplama kaynağı tüketilmez.

Yapılandırma örneği

Hedef görev haftada Pazartesi ve Cuma günleri çalışacak şekilde yapılandırılırsa Pazartesi ve Cuma günleri oluşturulan örnekler normal şekilde zamanlanır ve yürütülür. Diğer beş günde (Salı, Çarşamba, Perşembe, Cumartesi ve Pazar) oluşturulan örnekler kuru çalıştırma örnekleridir. Zamanlanmış süre geldiğinde bu örnekler herhangi bir kod mantığı gerçekten yürütülmeden doğrudan başarılı bir duruma ayarlanır.

Scheduled Time öğesini 13:00 olarak ayarlayın. Sistem otomatik olarak 00 00 13 ? * 1,5 cron ifadesini oluşturur.

Zamanlama ayrıntıları

Zamanlama sistemi görev için örnekleri otomatik olarak oluşturur ve çalıştırır.

Ay düzeyinde zamanlama

Verilerin aylık bazda işlendiği senaryolar için uygundur. Finansal mutabakatlar, aylık performans raporları ve aylık kullanıcı davranışı analizleri gibi çekirdek görevler için yaygın olarak kullanılan bir zamanlama döngüsüdür.

Örnek oluşturma mantığı: Sistem, seçtiğiniz ayın belirli günlerine göre örnekler oluşturur. Her aylık örnek tam bir takvim ayını temsil eder.

• Normal yürütme: Kod mantığı yalnızca seçilen çalışma günlerinde (örneğin her ayın 15'i veya son günü) zamanında tetiklenir.

• Otomatik kuru çalıştırma: Seçilmeyen günlerde (örneğin her ayın 1'i ile 14'ü arasında) oluşturulan örnekler otomatik olarak "kuru çalıştırma" durumuna ayarlanır. Hiçbir kod mantığı gerçekten yürütülmez ve hiçbir hesaplama kaynağı tüketilmez.

Yapılandırma örneği

Hedef görev her ayın son günü mutabakat yapacak şekilde yapılandırılırsa her ayın son günü oluşturulan örnek normal şekilde zamanlanır ve yürütülür. Diğer tarihlerde oluşturulan örnekler kuru çalıştırmadır; yani zamanlanmış süre geldiğinde herhangi bir kod mantığı yürütülmeden otomatik olarak başarılı durumuna ayarlanır.

Bu örnekte Specified Time değeri her ayın 15'i ve her ayın son günü olarak, zamanlanmış süre ise 02:00 olarak ayarlanır. Sistem otomatik olarak 00 00 02 15,L * ? cron ifadesini oluşturur.

Zamanlama ayrıntıları

Zamanlama sistemi görev için örnekleri otomatik olarak oluşturur ve çalıştırır.

Not

• Aylık zamanlanan bir görev için verileri geri doldurmak üzere verileri geri doldurma özelliğini kullanırken seçilen tarihin veri zaman damgası olduğunu unutmayın; burada veri zaman damgası = zamanlanmış tarih - 1.

  Örnekler:

  • Her ayın ilk günü zamanlanan bir görev için verileri geri doldururken veri zaman damgasını önceki ayın son günü olarak seçin.

  • Her ayın son günü zamanlanan bir görev için verileri geri doldururken veri zaman damgasını ayın son gününden bir önceki gün olarak seçin.

  • Geri doldurma için farklı bir veri zaman damgası seçerseniz geri doldurma örnekleri kuru çalıştırma olur.

• Diğer bağımlılık senaryoları için bkz. Bağımlılık senaryoları.

Yıllık zamanlama

Çeyreklik özetler, yıllık denetimler veya belirli tatille ilgili işlemler gibi uzun döngülü veri görevleri için uygundur.

• Örnek oluşturma mantığı: Yılın 365 günü için örnekler oluşturulur ancak gerçek hesaplama yalnızca belirtilen aylarda ve tarihlerde tetiklenir.

  • Esnek kombinasyonlar: Ay跨越ı çoklu tarih seçimi desteklenir. Örneğin, bir görevi yalnızca her çeyreğin ilk veya son gününde çalıştırabilirsiniz.

  • Kuru çalıştırma mekanizması: Yürütme koşullarını karşılamayan tarihlerde örnekler saniyeler içinde kuru çalıştırılır; mantık gerçekten yürütülmez ve hesaplama kaynakları tüketilmez.

Yapılandırma örneği

Hedef görev her yıl Ocak, Nisan, Temmuz ve Ekim aylarının 1'i ve son günü çalışacak şekilde yapılandırılırsa bu belirtilen tarihlerde oluşturulan örnekler normal şekilde zamanlanır ve yürütülür. Diğer tarihlerde oluşturulan örnekler kuru çalıştırmadır; yani zamanlanmış süre geldiğinde herhangi bir kod mantığı gerçekten yürütülmeden otomatik olarak başarılı durumuna ayarlanır.

Bu örnekte Specified Time değeri her ayın son günü olarak, zamanlanmış süre ise 00:00 olarak ayarlanır. Sistem otomatik olarak 00 00 00 L 1,4,7,10 ? cron ifadesini oluşturur.

Zamanlama ayrıntıları

Zamanlama sistemi görev için örnekleri otomatik olarak oluşturur ve çalıştırır.

Örnek yaşam döngüsü yönetimi

Bu yapılandırmalar görev örneklerinin oluşturulup oluşturulmayacağını belirler. Bunlar bir görevin spesifik yürütme zamanıyla ilgilenmez; bunun yerine makro düzeyde örneklerin oluşturulup oluşturulmayacağını ve zamanlama kurallarının kendisinin geçerli olup olmadığını yönetir.

• Örnek oluşturma modu: Yapılandırma değişikliklerinizin o gün mü yoksa ertesi gün mü etkili olacağını belirler. Ertesi gün modu (varsayılan), değişikliklerin o günkü görevlere müdahale etmemesini sağlayarak sorunsuz bir geçiş imkanı sunar. Anında modu, mevcut günün örneklerini değişiklikleri uygulamak için zorla sıfırlar. Etkiyi tamamen anladığınızdan ve riskleri değerlendirdiğinizden emin olduktan sonra bu modu yalnızca acil düzeltmeler için kullanın.

• Geçerlilik süresi: Tüm zamanlama kuralları seti için geçerli zaman aralığını tanımlar.

• Zamanlama takvimi: Zamanlamayı yalnızca işlem günlerinde çalıştırma gibi belirli bir takvime bağlamanıza olanak tanır. Bu, haftalık bir döngüden daha esnek bir kontrol sağlar.

Yürütme ilkesi

Bu yapılandırma, bir görev tetiklendikten sonra nasıl yürütüleceğini tanımlar.

Özel durum işleme ve hata toleransı

Bu, çeşitli olası özel durumlar için önceden yanıt planları belirleyerek veri işlem hattı kararlılığını sağlamada kilit rol oynar.

• Yeniden çalıştırma özelliği: Bir görev başarısız olduğunda sistemin otomatik olarak yeniden deneme yapıp yapmayacağını ve nasıl yapacağını tanımlar.

• Zaman aşımı ayarları: Bir görev için makul bir maksimum çalışma süresi ayarlar. Görev bu süreyi aşarsa sistem otomatik olarak bir uyarı tetikleyebilir veya görevi sonlandırarak tek bir düğümün takılıp aşırı kaynak tüketmesini önler.

SSS ve en iyi uygulamalar

• S: Bir görevin gerçek çalışma zamanı neden zamanlanmış süreden farklıdır?

  C: Zamanlanmış süre yalnızca bir görevin beklenen başlangıç zamanıdır. Gerçek çalışma için ayrıca iki koşulun karşılanması gerekir: ① Tüm üst akış bağımlılık görevleri başarıyla çalışmıştır. ② Zamanlama kaynakları kullanılabilir durumdadır. Bu koşullardan herhangi biri karşılanmazsa görev bekleme durumunda kalır.

  Ayrıca zamanlanmış süre 00:00 civarında ayarlanırsa örnek tetiklenmeden önce birkaç dakikalık bir gecikme yaşayabilir çünkü bu dönem DataWorks için yoğun zamanlama saatidir. Bu normaldir. Ayrıntılar için sonraki soruya bakın.

• S: Bir görevin zamanlanmış süresi 00:00. Örnek neden birkaç dakika geç başlıyor?

  C: Her gün 00:00 civarı DataWorks için yoğun zamanlama saatidir. Çok sayıda görev aynı anda tetiklenir ve zamanlanmış süre ile bir örneğin gerçek başlangıcı arasında genellikle birkaç dakikalık bir gecikme olur. Bu gecikme görev tetikleme aşamasında gerçekleşir ve normaldir. Destek bileti açmanıza gerek yoktur.

  Tetikleme gecikmesini azaltmak için zamanlanmış süreyi yoğun saatleri atlatmak amacıyla 00:00 sonrasındaki bir zaman noktasına ayarlamanızı öneririz. İşiniz 00:00 saatinde tetiklemeyi gerektiriyorsa işlem hattı gecikmenizi değerlendirirken bu gecikmeyi göz önünde bulundurun.

• S: Üst akış görevim saatlik bir programda çalışıyor ve alt akış görevim günlük bir programda çalışıyor. Bunlar birbirine bağlı olabilir mi?

  C: DataWorks, farklı zamanlama döngülerine sahip görevler arasındaki bağımlılıkları destekler. Sistem, bir alt akış görevinin çalışmadan önce tüm üst akış örneklerinin tamamlanmasını doğru şekilde beklemesini sağlayan karmaşık bir bağımlılık çözümleme algoritması kullanır. Ayrıntılar için bkz. Çapraz döngü bağımlılığı ilkeleri.

• S: Geçen Cuma için verileri geri doldurdum. Neden bizdate değişkeni Cuma'nın tarihini göstermiyor?

  C: Bu genellikle "veri zaman damgası"nı (bizdate) "çalışma tarihi" ile karıştırmanızdan kaynaklanır. DataWorks'te bizdate = zamanlanmış süre − 1 gün. Zamanlanmış süresi Cumartesi sabahı erken saatlerde olan bir görevi geri doldurduğunuzda seçmeniz gereken bizdate Cuma günüdür.

• S: Görevimde veri yazma mantığı var. Görevi yeniden çalıştırırsam veriler yinelenir mi?

  C: Mümkündür. Bu nedenle görev idempotensini sağlamanızı kesinlikle öneririz. Veri yazma görevleri için birden çok yeniden çalıştırmada tutarlı sonuçlar sağlamak üzere INSERT OVERWRITE (üzerine yaz) komutunu INSERT INTO (ekle) komutu yerine kullanın.