DataWorks:Operation Center ile çalışmaya başlayın

Ön koşullar

Veri geliştirme iş akışı kılavuzunu izleyerek bir result_table düğümü oluşturun ve yayımlayın.

Arka plan bilgisi

DataWorks Operation Center; otomatik tetiklenen düğümler, manuel görevler ve gerçek zamanlı senkronizasyon görevleri gibi çeşitli görev türleri için O&M desteği sunar. Ayrıca görevler ve bu görevlerin çalıştırılması için kullanılan kaynaklar için birden fazla izleme yöntemi sağlar. Bu sayede uyarılar aracılığıyla özel durumları hızla tespit edip işleme alabilir, verimli ve kararlı veri üretimini güvence altına alabilirsiniz.

Operation Center'a girin

Operation Center konsoluna giriş yapın. Hedef bölgeye geçin, açılan listeden istenen çalışma alanını seçin ve Operation Center öğesine tıklayın.

Yordam

1. Aşama: Otomatik tetiklenen bir düğümü doğrulayın

1. Adım 1: Otomatik tetiklenen düğümün yapılandırmasını görüntüleyin

   Otomatik tetiklenen bir düğümün beklenmedik şekilde zamanlanmasını önlemek için yayımlandıktan sonra zamanlama parametreleri ve zamanlama kaynak grubu gibi yapılandırmasını kontrol edin. Yapılandırma yanlışsa değiştirin ve düğümü yeniden yayımlayın.

2. Adım 2: Otomatik tetiklenen düğümü test edin

   Otomatik tetiklenen düğümün üretim ortamında beklendiği gibi çalıştığını doğrulamak için duman testi özelliğini kullanın. Bir hata oluşursa düğümün düzgün çalışmasını sağlamak için hatayı hemen giderin.

3. Adım 3: Otomatik tetiklenen düğüm için geçmiş verileri geri doldurun

   Geçmiş verileri yeniden hesaplamak için veri geri doldurma özelliğini kullanabilirsiniz.

4. Adım 4: Yinelenen örnekleri görüntüleyin

   Otomatik tetiklenen bir düğüm yayımlandıktan sonra zamanlama döngüsüne göre yinelenen örnekler oluşturulur. DataStudio'da Instance generation method ayarı T +1 generated next day olarak yapılandırılmışsa görev ertesi günden itibaren çalışacak şekilde zamanlanır. Parametre Instant generation after publishing olarak ayarlanırsa görev aynı gün çalışacak şekilde zamanlanır. Görevin doğru şekilde zamanlandığını doğrulamak için yinelenen örneklerin oluşturma ve çalışma durumunu görüntüleyebilirsiniz.

5. Adım 5: Yürütme sonuçlarını görüntüleyin

   Bir düğüm için duman testi veya veri geri doldurma işlemi gerçekleştirdikten sonra verilerin doğru yazıldığını doğrulayabilirsiniz.

2. Aşama: Otomatik tetiklenen bir düğümü izleyin

1. Adım 6: Özel bir izleme kuralı oluşturun

   İş gereksinimlerinize göre otomatik tetiklenen bir düğüm için akıllı izleme kuralları yapılandırarak zamanlama ve çalışma zamanı durumunu izleyebilir ve görevin zamanlandığı gibi çalışmaya devam etmesini sağlayabilirsiniz.

2. Adım 7: Akıllı bir temel çizgi oluşturun (gelişmiş)

   Yüksek öncelikli görevlerin belirli bir süre içinde veri üretmesini sağlamak için görevlere akıllı temel çizgi izlemesi yapılandırabilirsiniz. Sistem, bir görevin taahhüt edilen sürede tamamlanamayacağını öngörürse temel çizgi proaktif olarak bir görev özel durumu uyarısı gönderir. Bu sayede özel durumları verimli bir şekilde alıp işleme alabilirsiniz.

3. Adım 8: Bir kaynak grubu için otomatik O&M kuralı oluşturun

   Kullanımını ve kaynak grubunda bekleyen örnek sayısını izlemek ve ilgili O&M işlemlerini gerçekleştirmek için özel bir kaynak grubuna özel izleme kuralları oluşturabilirsiniz.

Adım 1: Düğüm yapılandırmasını görüntüleyin

Otomatik tetiklenen bir düğümün beklenmedik şekilde çalışmasını önlemek için yayımlandıktan sonra zamanlama parametreleri ve düğüm bağımlılıkları gibi yapılandırmasını kontrol edin.

1. Operation Center'a girin.

2. Hedef düğümü bulun.

   1. Sol gezinme bölmesinde Auto Triggered Task O&M > Auto Triggered Node yolunu izleyin.

   2. Auto Triggered Node sayfasında hedef düğümü arayın.

3. Düğüm ayrıntılarını görüntüleyin.

   1. Yönlendirilmiş döngüsüz grafiğini (DAG) açmak için hedef düğüme tıklayın.

   2. Düğümle ilgili ayrıntılı bilgileri görüntülemek için Show Details öğesine tıklayın.

Bu örnekte, otomatik tetiklenen düğüm listesinde yayımlanan result_table düğümünün nasıl bulunacağı ve Scheduling Parameters ile Scheduling Resource Group ayarlarının doğru yapılandırılıp yapılandırılmadığının nasıl kontrol edileceği gösterilmektedir.

Adım 2: Otomatik tetiklenen bir düğümü test edin

Otomatik tetiklenen düğümün üretim ortamında beklendiği gibi çalıştığını doğrulamak için bir duman testi çalıştırın. Bu işlem, gerçek kod mantığını yürütür.

1. Duman testi sayfasına gidin.

   Aşağıdaki yöntemlerden birini kullanabilirsiniz:

   • Yöntem: Otomatik tetiklenen düğüm listesinde hedef görevi bulun ve Actions sütunundaki Test öğesine tıklayın.

   • Yöntem: Hedef düğümün DAG'ında düğüme sağ tıklayın ve Test öğesini seçin.

2. Test için veri zaman damgasını ve çalışma zamanını yapılandırın ve OK öğesine tıklayın.

   Duman testi çalıştırıldığında bir test örneği oluşturulur. Auto Triggered Task O&M > Test Instance sayfasında örneğin ayrıntıları ve durumu gösterilir.

   Not

   • Duman testleri hakkında daha fazla bilgi için bkz. Duman testi gerçekleştirin.

   • Test örneğini görüntüleme hakkında daha fazla bilgi için bkz. Test çalıştırın ve test örneklerini görüntüleyin.

Bu örnekte, result_table düğümünün başarıyla çalışıp çalışmadığını kontrol etmek üzere nasıl test edileceği gösterilmektedir. Testi çalıştırmak ve oluşturulan test örneğinin yürütme durumunu görüntülemek için aşağıdaki şekildeki adımları izleyebilirsiniz.

Adım 3: Geçmiş verileri geri doldurun

Otomatik tetiklenen bir düğüm geliştirilip yayımlandıktan sonra yapılandırmasına göre zamanlanmış aralıklarla çalışır. Geçmiş verileri yeniden hesaplamanız gerekiyorsa veri geri doldurma özelliğini kullanabilirsiniz.

1. Veri geri doldurma sayfasına gidin.

   Aşağıdaki yöntemlerden birini kullanabilirsiniz:

   • Yöntem: Otomatik tetiklenen düğüm listesinde hedef görevi bulun ve Actions sütunundaki Run öğesine tıklayın.

   • Yöntem: Hedef düğümün DAG'ında düğüme sağ tıklayın ve Run öğesini seçin.

2. Bir veri geri doldurma modu seçin.

   İhtiyaçlarınıza göre bir mod seçebilirsiniz:

   Mod	Açıklama	Kullanım durumları
   Manuel seçim	Kök düğüm olarak bir veya daha fazla düğüm seçin. Ardından veri geri doldurma için alt düğümlerini manuel olarak seçebilirsiniz. Alt düğümlerin bir alt kümesini belirtebilirsiniz. Not Bu mod, önceki Backfill Data for Current Node, Current and Descendant Nodes Retroactively ve Advanced Mode gibi veri geri doldurma planlarıyla uyumludur. Tek bir işlemde en fazla 500 kök düğüm ve toplam 2.000 düğüm (kök ve alt düğümler) geri doldurulabilir.	Geçerli düğüm ve alt düğümleri için toplu veri geri doldurma. Veri geri doldurma için esnek bir şekilde bir düğüm grubu seçin. Düğümlerin birbirine bağımlı olması gerekmez.
   Bağlantıya göre seç	Kök düğüm olarak bir başlangıç düğümü ve bir veya daha fazla bitiş düğümü seçin. Sistem, başlangıç ve bitiş düğümleri dahil olmak üzere bu düğümler arasındaki tüm düğümleri otomatik olarak analiz eder ve veri geri doldurma kapsamına dahil eder.	Karmaşık bağımlılıklara sahip görevler için uçtan uca veri geri doldurma.
   Çalışma alanına göre seç	Bir kök düğüm seçin ve veri geri doldurma kapsamını alt düğümlerin çalışma alanlarına göre belirleyin. Not Bu mod, önceki Massive Node Mode veri geri doldurma planıyla uyumludur. Tek bir işlemde en fazla 20.000 düğüm geri doldurulabilir. Görev kara listeleri desteklenmez.	Geçerli düğümün alt düğümleri birden fazla çalışma alanında bulunuyorsa ve bu çalışma alanındaki düğümler için veri geri doldurmanız gerekiyorsa bu modu kullanın.
   Belirtilen düğüm ve tüm alt düğümler	Bir kök düğüm seçtikten sonra sistem bu düğümü ve tüm alt düğümlerini otomatik olarak analiz eder ve veri geri doldurma kapsamına dahil eder. Önemli Tetiklenen düğümler yalnızca veri geri doldurma görevi çalışırken görünür hale gelir. Bu modu dikkatli kullanın.	Bir kök düğüm ve tüm alt düğümleri için veri geri doldurun.

3. Veri geri doldurma parametrelerini yapılandırın.

   İş gereksinimlerinize göre veri zaman damgası ve geri doldurulacak düğümler gibi parametreleri yapılandırın. Parametreler seçilen moda göre değişir. Daha fazla bilgi için bkz. Veri geri doldurma örneklerini yönetin.

Bu örnekte, result_table düğümü için 2024-09-17 ile 2024-09-19 tarihleri arasında, her gün 00:00 ile 01:00 saatleri aralığında veri geri doldurmak üzere Backfill Data for Current Node modu kullanılmaktadır. Yapılandırma adımları için aşağıdaki şekle bakın.

Adım 4: Yinelenen örnekleri görüntüleyin

Otomatik tetiklenen bir düğüm yayımlandıktan sonra zamanlama döngüsüne göre yinelenen örnekler oluşturulur. DataStudio'da Instance generation method ayarı T +1 generated next day olarak yapılandırılmışsa görev ertesi günden itibaren çalışacak şekilde zamanlanır. Parametre Instant generation after publishing olarak ayarlanırsa görev aynı gün çalışacak şekilde zamanlanır. Görevin doğru şekilde zamanlanıp çalıştırıldığını belirlemek için oluşturulan yinelenen örnekleri görüntüleyebilirsiniz.

1. Yinelenen örnek sayfasına gidin.

   Operation Center sol gezinme bölmesinde Auto Triggered Task O&M > Scheduled Instance yolunu izleyin.

2. Yinelenen örnekleri görüntüleyin.

   Otomatik tetiklenen düğümün zamanlama yapılandırmasına göre karşılık gelen yinelenen örneklerin oluşturulduğunu ve beklendiği gibi çalıştığını kontrol edin. Yinelenen örnekler hakkında daha fazla bilgi için bkz. Yinelenen örnekleri görüntüleyin.

   Bir örnek Çalıştırılmadı durumunda ise aşağıdaki işlemleri gerçekleştirin:

   1. DAG panelindeki Upstream Analysis özelliğini kullanarak geçerli görevi engelleyen önemli üst akış görevini hızlıca belirleyin.

   2. Önemli bir üst akış görevinin neden başarısız olduğunu teşhis etmek veya diğer sorunları belirlemek için Run Diagnostics özelliğini kullanın. Derin bağımlılık zincirlerine sahip görevler için bu özellik, sorunları hızlıca bulmanıza ve O&M verimliliğini artırmanıza yardımcı olur.

Bu örnekte, saatlik zamanlanan result_table düğümünün 2024.09.19 tarihinde oluşturduğu yinelenen örnekler gösterilmektedir.

Adım 5: Yürütme sonuçlarını görüntüleyin

Adım 6: Özel bir izleme kuralı oluşturun

Düğümün beklendiği gibi çalıştığını doğruladıktan sonra çalışma durumunu izlemek için özel bir izleme kuralı oluşturabilirsiniz. Düğümde bir hata oluştuğunda DataWorks yapılandırmanıza göre bir uyarı gönderir. Bu sayede özel durumu zamanında tespit edip işleme alarak düğümün beklendiği şekilde zamanlanmasını sağlayabilirsiniz.

1. Operation Center'a girin.

2. Sol gezinme bölmesinde Monitoring and Alerting > Rule Management yolunu izleyin.

3. Özel bir kural oluşturun.

   1. Create Custom Rule öğesine tıklayın.

   2. Kuralı yapılandırın.

      İş gereksinimlerinize göre özel bir kural oluşturabilirsiniz. Yapılandırma hakkında daha fazla bilgi için bkz. Özel izleme kuralı oluşturun.

      Bu örnekte, result_table düğümü çalışmayı başaramadığında uyarı gönderen bir izleme kuralı yapılandırılmıştır. Yapılandırma aşağıdaki şekilde gösterilmektedir.result_table düğümü çalışmayı başaramadığında Test rules kuralı tetiklenir ve düğüm sahibine bir SMS uyarısı gönderilir. En fazla üç uyarı, 30 dakikalık aralıklarla gönderilebilir.

      Not

      Uyarı kişilerini önceden yapılandırın. Daha fazla bilgi için bkz. Uyarı kişilerini görüntüleyin ve yapılandırın.

Adım 7: Akıllı bir temel çizgi oluşturun (gelişmiş)

Bir görevin belirtilen süre içinde veri üretmesini sağlamak için görev için temel çizgi izlemesi yapılandırabilirsiniz. Görevi bir temel çizgiye ekleyin ve bir öncelik ile taahhüt edilen bir zaman ayarlayın. DataWorks, temel çizgi görevinin tahmini tamamlanma zamanını çalışma durumuna göre hesaplar ve yüksek öncelikli görevlerin zamanlama kaynaklarını öncelikli olarak almasına olanak tanır. Sistem, temel çizgi görevinin taahhüt edilen zamanı kaçıracağını öngörürse DataWorks bir uyarı gönderir. Ardından uyarıya dayanarak özel durumu hemen işleme alabilirsiniz.

1. Operation Center'a girin.

2. Sol gezinme bölmesinde Intelligent Baselines öğesine tıklayın.

3. Akıllı bir temel çizgi oluşturun.

   1. Baselines sekmesinde Create Baseline öğesine tıklayın.

   2. Temel çizgiyi yapılandırın.

      Temel çizgiyi iş gereksinimlerinize göre yapılandırabilirsiniz. Yapılandırma hakkında daha fazla bilgi için bkz. Temel çizgi oluşturun.

      Bu örnekte, result_table düğümünün veri çıkışını saatlik olarak izlemek üzere saatlik bir temel çizgi nasıl yapılandırılacağı gösterilmektedir. Yapılandırma aşağıdaki şekilde gösterilmektedir. Aşağıda bazı parametreler açıklanmaktadır:

      • Priority: Değer ne kadar büyükse öncelik o kadar yüksektir. Kaynak çekişmesi durumunda yüksek öncelikli görevlere zamanlama kaynakları öncelikli olarak verilir.

      • Estimated Completion Time: Tahmini tamamlanma zamanı, düğümün belirli bir süre boyunca geçen tamamlanma geçmişine göre hesaplanır.

      • Committed Completion Time: Düğümün veri üretmesi gereken en son zaman. Bu parametreyi iş gereksinimlerinize ve düğümün belirli bir süre boyunca geçen tamamlanma geçmişine göre yapılandırabilirsiniz.

      • Alert Margin Threshold: Görev özel durumlarını işlemek için Committed Completion Time öncesindeki bir arabellek süresi. Bu, görevin taahhüt edilen zamanda tamamlanabilmesini sağlar.

        Not

        Uyarı marjı ile taahhüt edilen zaman arasındaki aralık en az 5 dakika olmalıdır.

      result_table düğümünün saatlik bir örneği her saatin ilk 30 dakikası içinde tamamlanamazsa Test Baselines temel çizgisi tetiklenir ve düğüm sahibine bir SMS uyarısı gönderilir. En fazla üç uyarı, 30 dakikalık aralıklarla gönderilebilir.

Adım 8: Otomatik bir kaynak grubu O&M kuralı oluşturun

Görevleri çalıştırmak için özel bir kaynak grubu kullanıyorsanız iş gereksinimlerinize göre özel kaynak grubu için otomatik bir O&M kuralı oluşturabilirsiniz. Bu sayede kaynak grubunun kullanımını ve kaynak grubunda bekleyen örnek sayısını izlemek için izleme uyarıları ayarlayabilir ve ilgili O&M işlemlerini gerçekleştirebilirsiniz.

Otomatik O&M özelliği, özel bir kaynak grubu için izleme kurallarını ilişkilendirerek, hedef kaynak grubunda çalışan örnekler için özel izleme ölçütlerini tanımlayarak ve iş mantığı içeren O&M kuralları belirterek çalışır. Bir örnek filtre koşullarını karşıladığında belirtilen O&M eylemi otomatik olarak tetiklenir.

1. Operation Center'a girin.

2. Kaynak grubu için bir izleme kuralı oluşturun.

   1. Sol gezinme bölmesinde Monitoring and Alerting > Rule Management yolunu izleyin.

   2. Kaynak grubu için bir izleme kuralı oluşturun ve yapılandırın.

      Kaynak grubu için izleme kuralı yapılandırma yordamı, bir düğüm için olanla benzerdir. Sadece Object Type ayarını Exclusive Resource Group for Scheduling olarak belirlemeniz gerekir. Yapılandırma hakkında daha fazla bilgi için bkz. Özel izleme kuralı oluşturun.

      Bu örnekte, Exclusive_Scheduling_Resource kaynak grubunun kaynak kullanımı izlenmektedir. Yapılandırma aşağıdaki şekilde gösterilmektedir.

      Not

      Bu konu, yalnızca gösterim amacıyla bir yapılandırma örneği sunmaktadır. Yapılandırmayı gerçekleştirirken kullandığınız kaynak grubu için bir izleme kuralı oluşturun.

      Exclusive_Scheduling_Resource kaynak grubunun kaynak kullanımı art arda 10 dakika boyunca %90'ı aşarsa Resource group monitoring rules kuralı tetiklenir ve alıcıya bir SMS uyarısı gönderilir. En fazla üç uyarı gönderilebilir.

3. Kaynak grubu izleme kuralına dayalı olarak otomatik bir O&M kuralı oluşturun.

   1. Sol gezinme bölmesinde O&M Assistant > Automatic O&M yolunu izleyin.

   2. Rule Management sekmesinde Create Rule öğesine tıklayın.

   3. Kuralı yapılandırın.

      Kuralı iş gereksinimlerinize göre yapılandırabilirsiniz. Yapılandırma hakkında daha fazla bilgi için bkz. Kaynak grubu için otomatik O&M kuralı oluşturun.

      Bu örnekte, Automatic_test adlı bir kural oluşturulmuş ve özel zamanlama kaynak grubu için Resource group monitoring rules izleme kuralıyla ilişkilendirilmiştir. Resource group monitoring rules kuralı tetiklendiğinde DataWorks, filtre koşullarını karşılayan Automatic_test kuralındaki örneklerde otomatik olarak bir O&M işlemi gerçekleştirir. Yapılandırma aşağıdaki şekilde gösterilmektedir. Aşağıda bazı parametreler açıklanmaktadır:

      • Associated Monitoring Rule: Şu anda yalnızca zamanlama için özel bir kaynak grubuna ait bir izleme kuralı ilişkilendirebilirsiniz. Gerekli kaynak grubu izleme kuralını önceden oluşturmanız gerekir.

      • O&M Operation: Şu anda yalnızca Terminate Running Instance desteklenmektedir. O&M kuralı tetiklendikten sonra DataWorks, filtre koşullarını karşılayan örnekleri durdurur.

      Exclusive_Scheduling_Resource özel zamanlama kaynak grubunun kaynak kullanımı art arda 10 dakika boyunca %90'ı aşarsa DataWorks, belirtilen çalışma alanında Exclusive_Scheduling_Resource kaynak grubunda çalışan ve önceliği 1 olan saatlik ve dakikalık görevleri durdurur. Bu görevler yinelenen örnekler, test örnekleri veya veri geri doldurma örnekleri olabilir.

O&M İşlem Kontrolü (gelişmiş)

Operation Center; bir düğümü dondurma, dondurmayı kaldırma, veri geri doldurma ve bir düğümü çevrimdışı duruma getirme gibi işlemler için genişletme noktaları sağlar. Bu genişletme noktalarını bir uzantıyla birlikte kullanarak görev mantığını ve O&M işlemlerini özelleştirebilirsiniz. Daha fazla bilgi için bkz. Uzantılara genel bakış ve Örnek: Operation Center'da tetiklenen olayları kontrol edin.

Sonraki adımlar

Düğümler tarafından üretilen verilerin beklentilerinizi karşıladığından emin olmak için Veri Kalitesi izleme kuralları yapılandırabilirsiniz. Daha fazla bilgi için bkz. Veri Kalitesi.