Operation Center, büyük veri işletim ve bakım (O&M) izleme platformudur. Görev yürütme durumlarını gerçek zamanlı olarak görüntüleyin, anormal görevleri tanılama ve yeniden çalıştırma işlemlerini uygulayın ve kritik görevlerin zamanında tamamlanmasını sağlamak için Smart Baseline özelliğini kullanın. Operation Center ayrıca motorlar, kaynaklar ve zamanlama için O&M yetenekleri sunar.
Functional modules
Düğümveri DataStudio üzerinden dağıttıktan sonra, Otomatik Tetiklenen Düğümleri, Manuel Tetiklenen Düğümleri ve gerçek zamanlı düğümleri yönetmek için Operation Center'ı kullanın; üretim görevlerini çalıştırın, sorunları giderin, durumu izleyin ve O&M ölçümlerini görüntüleyin.
Operation Center, Chrome 69 veya üzeri çekirdeğe sahip bir masaüstü tarayıcı gerektirir.
Usage notes
Düğümler yalnızca üretim ortamına dağıtıldıktan sonra zamanlamaya göre çalışır. Geliştirme ortamındaki düğümler otomatik olarak zamanlanmaz.
Access Operation Center
DataWorks konsolu oturumunu açın. Hedef bölgede, sol gezinme bölmesinde seçeneğine tıklayın. Açılan listeden bir çalışma alanı seçin ve Go to Operation Center seçeneğine tıklayın.
Task O&M
Görev O&M, Otomatik Tetiklenen Düğümler, gerçek zamanlı düğümler ve Manuel Tetiklenen Düğümler olmak üzere üç düğüm türünü kapsar. Temel yürütme ölçümleri için O&M Dashboard'u kullanın ve kapsamlı bakım için Data Backfill, Intelligent Diagnosis ve Automated O&M gibi araçlardan yararlanın.
|
Module |
Description |
Environment availability |
|
|
zamanlanmış görevler için temel O&M ölçümlerini raporlarda görüntüler. Data Integration içinde çevrimdışı ve gerçek zamanlı senkronizasyon görevleri için özel sayfalar sunar. |
Geliştirme ortamında kullanılamaz. |
||
|
Auto Triggered Task O&M |
Otomatik Tetiklenen Düğümler için DAG yapısını görüntüleyin ve düğüm Test ile Run işlemlerini gerçekleştirin. |
Geliştirme ortamı, Otomatik Tetiklenen örnekleri otomatik olarak zamanlayamaz veya oluşturamaz. |
|
|
Otomatik Tetiklenen Düğümler zamanlama sistemine gönderildikten sonra oluşturulan örnekleri listeler. Örnek DAG yapısını görüntüleyin, Run Diagnostics çalıştırın ve Otomatik Tetiklenen örnekleri Rerun edin. |
|||
|
Bir Otomatik Tetiklenen Düğümü test ettikten sonra oluşturulan test örneklerini listeler. Yürütme durumunu kontrol edin, örnek DAG yapısını görüntüleyin, Run Diagnostics çalıştırın ve örnekleri Rerun edin. |
|||
|
Real-time Task O&M |
Gerçek zamanlı hesaplama düğümlerini Start, Stop ve Undeploy edin. Zamanında istisna işlemi için Monitoring Setting uyarılarını yapılandırın. |
- |
|
|
Gerçek zamanlı senkronizasyon düğümlerini Start, Stop, Undeploy edin ve sahipliğini Modify Owner ile değiştirin. Zamanında istisna işlemi için Monitoring Setting uyarılarını yapılandırın. |
- |
||
|
Manually Triggered Task O&M |
Manuel Tetiklenen Düğümleri, manuel iş akışlarını ve olay tetiklemeli iş akışlarını sorgulayın. DAG yapısını görüntüleyin, düğümleri manuel olarak Run edin ve örnekleri View Instances ile görüntüleyin. |
- |
|
|
Örnek ayrıntılarını DAG üzerinden görüntüleyin: View Runtime Log, Run Diagnostics, View Code ve View Lineage. |
- |
||
|
O&M Assistant |
Veri doldurma görevlerini yönetin. |
- |
|
|
Hızlı sorun teşhisi için uçtan uca analiz sağlar. Bir düğümün Operation Details, General, Influenced Baseline ve Historical instance bilgilerini görüntüleyin. |
Geliştirme ortamında kullanılamaz. |
||
|
Hedef kaynak grubundaki örnekler için izleme ölçümlerini tanımlayan özel O&M kuralları oluşturun. Tetiklendiğinde sistem önceden tanımlanmış bir eylemi otomatik olarak yürütür. |
- |
||
Periyodik olarak zamanlanan bir düğüm örneği yalnızca aşağıdaki koşullar karşılandığında çalışır:
Tüm bağımlı üst düğüm örnekleri başarıyla çalışmıştır.
Düğüm için planlanan yürütme zamanına ulaşılmıştır.
Yeterli zamanlama kaynağı mevcuttur.
Düğüm dondurulmuş durumda değildir.
Operation Center'da farklı renkler farklı örnek durumlarını temsil eder. Örnek durumları hakkında daha fazla bilgi için bkz. Ek: Örnek yürütme durumu ve teşhis.
Task monitoring
Görev izleme, Smart Baseline ve Uyarı izlemeyi içerir. Düğüm istisnalarını tespit etmek ve erken uyarılar göndermek için Smart Baseline'ı yapılandırın. Uyarıları zamanında işlemek için izleme kurallarını, uyarı bildirimlerini ve nöbet çizelgelerini yönetin.
|
Module |
Description |
Environment availability |
|
|
Intelligent Baselines, temel düğümlerin zamanında tamamlanmasını engelleyen istisnaları tespit eder ve erken uyarı göndererek kritik verilerin zamanında üretilmesini sağlar. Avantajları: yapılandırma maliyetlerini azaltma, gereksiz uyarılardan kaçınma ve tüm kritik görevleri otomatik olarak izleme. |
Geliştirme ortamında kullanılamaz. |
||
|
Monitoring and Alerting |
İstisnaları hızla tespit etmek ve işlemek için düğüm yürütme durumu veya kaynak kullanımı üzerine özel izleme kuralları yapılandırın. |
||
|
Task Monitoring modülündeki tüm uyarıları merkezileştirir: Intelligent Baselines kaynaklı temel uyarıları ve olay uyarılarını ile özel kural ve global kural uyarılarını içerir. |
|||
|
O&M uyarısı yanıt vardiya yönetimi sağlar. Yapılandırıldıktan sonra DataWorks, hızlı çözüm için nöbetçi personele Alerts gönderir. |
|||
Other O&M
Görev O&M ve izlemenin ötesinde DataWorks, E-MapReduce motor ayrıntılarını görüntülemenize, kaynak grubu kullanımını izlemenize ve zamanlama parametrelerini özelleştirmenize olanak tanır.
|
Module |
Description |
Environment availability |
|
|
E-MapReduce iş ayrıntılarını görüntüleyin. Aşağı akış düğümlerini engellemelerini önlemek için hatalı işleri bulun ve temizleyin. |
Geliştirme ortamında kullanılamaz. |
||
|
Kaynak grubu kullanımını ve örnek yürütme durumunu görselleştirir. Kaynak grupları ve örnekler için akıllı izleme ve Automated O&M özelliklerini etkinleştirir. |
- |
||
|
Görev zamanlamasını özelleştirmek için Scheduling Calendar ve Workspace-level Parameters oluşturun ve yönetin. |
- |
||
Appendix: Instance execution status and diagnosis
Operation Center'da renkler ve simgeler aşağıda açıklandığı gibi örnek yürütme durumunu belirtir. Görev yürütme ön koşulları için bkz. Görev yürütme teşhisi.
|
No. |
Status type |
Status icon |
Execution flowchart |
|
1 |
Success |
|
|
|
2 |
Not running |
|
|
|
3 |
Failed |
|
|
|
4 |
Running |
|
|
|
5 |
Waiting |
|
|
|
6 |
Suspended/frozen |
|
