Le centre d'opérations est une plateforme de surveillance et d'exploitation pour le Big Data. Consultez l'état d'exécution des tâches en temps réel, diagnostiquez et relancez les tâches anormales, et utilisez la fonctionnalité Smart Baseline pour garantir que les tâches critiques se terminent dans les délais. Le centre d'opérations propose également des fonctionnalités d'exploitation pour les moteurs, les ressources et la planification.
Modules fonctionnels
Après avoir déployé des nœuds depuis DataStudio, utilisez le centre d'opérations pour gérer les nœuds déclenchés automatiquement, les nœuds déclenchés manuellement et les nœuds en temps réel : exécutez des tâches de production, résolvez les problèmes, surveillez l'état des tâches et consultez les métriques d'exploitation.
Le centre d'opérations nécessite un navigateur de bureau basé sur le noyau Chrome 69 ou une version ultérieure.
Remarques sur l'utilisation
Les nœuds ne s'exécutent selon la planification qu'après leur déploiement dans l'environnement de production. Les nœuds de l'environnement de développement ne sont pas planifiés automatiquement.
Accéder au centre d'opérations
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Operation Center.
Exploitation des tâches
L'exploitation des tâches couvre trois types de nœuds : les nœuds déclenchés automatiquement, les nœuds en temps réel et les nœuds déclenchés manuellement. Utilisez le tableau de bord d'exploitation pour obtenir les principales métriques d'exécution, ainsi que des outils tels que la rétroalimentation des données, le diagnostic intelligent et l'exploitation automatisée pour une maintenance complète.
|
Module |
Description |
Disponibilité de l'environnement |
|
|
Affiche les principales métriques d'exploitation pour les tâches planifiées sous forme de rapports, avec des pages dédiées aux tâches de synchronisation hors ligne et en temps réel dans Data Integration. |
Non disponible dans l'environnement de développement. |
||
|
Auto Triggered Task O&M |
Consultez le DAG des nœuds déclenchés automatiquement et testez ou exécutez les nœuds via les options Test et Run. |
L'environnement de développement ne peut pas planifier ni générer automatiquement des instances déclenchées automatiquement. |
|
|
Répertorie les instances générées après la soumission des nœuds déclenchés automatiquement au système de planification. Consultez le DAG des instances, lancez un Run Diagnostics et Rerun des instances déclenchées automatiquement. |
|||
|
Répertorie les instances de test générées après le test d'un nœud déclenché automatiquement. Vérifiez l'état d'exécution, consultez le DAG de l'instance, lancez un Run Diagnostics et Rerun des instances. |
|||
|
Real-time Task O&M |
Start, Stop et Undeploy des nœuds de calcul en temps réel. Configurez les alertes via Monitoring Setting pour gérer les exceptions en temps opportun. |
- |
|
|
Start, Stop, Undeploy et Modify Owner des nœuds de synchronisation en temps réel. Configurez les alertes via Monitoring Setting pour gérer les exceptions en temps opportun. |
- |
||
|
Manually Triggered Task O&M |
Recherchez des nœuds déclenchés manuellement, des flux de travail métier manuels et des flux de travail déclenchés par des événements. Consultez le DAG, Run manuellement les nœuds et affichez les instances via View Instances. |
- |
|
|
Utilisez le DAG pour afficher les détails de l'instance : View Runtime Log, Run Diagnostics, View Code et View Lineage. |
- |
||
|
O&M Assistant |
Gérez les tâches de rétroalimentation des données. |
- |
|
|
Analyse de bout en bout pour un diagnostic rapide des problèmes. Consultez les Operation Details, les informations General, la Influenced Baseline et l'Historical instance d'un nœud. |
Non disponible dans l'environnement de développement. |
||
|
Créez des règles d'exploitation personnalisées qui définissent les métriques de surveillance pour les instances sur un groupe de ressources cible. Lorsqu'elles sont déclenchées, le système exécute automatiquement une action prédéfinie. |
- |
||
Une instance de nœud planifiée périodiquement s'exécute uniquement si les conditions suivantes sont remplies :
Toutes les instances de nœuds ancêtres dépendants ont été exécutées avec succès.
L'heure d'exécution planifiée du nœud est atteinte.
Des ressources de planification suffisantes sont disponibles.
Le nœud n'est pas dans un état gelé.
Dans le centre d'opérations, différentes couleurs représentent différents états d'instance. Pour plus de détails sur les états d'instance, consultez la rubrique Annexe : État d'exécution des instances et diagnostic.
Surveillance des tâches
La surveillance des tâches inclut Smart Baseline et la surveillance des alertes. Configurez Smart Baseline pour détecter les anomalies des nœuds et envoyer des avertissements précoces. Gérez les règles de surveillance, les notifications d'alerte et les plannings d'astreinte pour traiter les alertes en temps opportun.
|
Module |
Description |
Disponibilité de l'environnement |
|
|
Intelligent Baselines détecte les anomalies qui empêchent les nœuds de référence de se terminer à temps et envoie des avertissements précoces, garantissant ainsi que les données critiques sont générées selon le calendrier prévu. Avantages : réduction des coûts de configuration, évite les alertes inutiles et surveille automatiquement toutes les tâches critiques. |
Non disponible dans l'environnement de développement. |
||
|
Monitoring and Alerting |
Configurez des règles de surveillance personnalisées pour l'état d'exécution des nœuds ou l'utilisation des ressources afin de détecter et de traiter rapidement les anomalies. |
||
|
Centralise toutes les alertes du module Task Monitoring : avertissements de référence et alertes d'événement provenant d'Intelligent Baselines, ainsi que les alertes liées aux règles personnalisées et aux règles globales. |
|||
|
Gérez les rotations d'astreinte pour la réponse aux alertes d'exploitation. Après configuration, DataWorks envoie des Alerts au personnel d'astreinte pour une résolution rapide. |
|||
Autres opérations d'exploitation
Au-delà de l'exploitation et de la surveillance des tâches, DataWorks vous permet de consulter les détails du moteur E-MapReduce, de surveiller l'utilisation des groupes de ressources et de personnaliser les paramètres de planification.
|
Module |
Description |
Disponibilité de l'environnement |
|
|
Consultez les détails des jobs E-MapReduce. Identifiez et nettoyez les jobs en erreur pour éviter qu'ils ne bloquent les nœuds en aval. |
Non disponible dans l'environnement de développement. |
||
|
Visualise l'utilisation des groupes de ressources et l'état d'exécution des instances. Permet une surveillance intelligente et une exploitation automatisée des groupes de ressources et des instances. |
- |
||
|
Créez et gérez le Scheduling Calendar et les Workspace-level Parameters pour personnaliser la planification des tâches. |
- |
||
Annexe : État d'exécution des instances et diagnostic
Dans le centre d'opérations, les couleurs et les icônes indiquent l'état d'exécution des instances comme décrit ci-dessous. Pour connaître les prérequis à l'exécution des tâches, consultez la rubrique Diagnostic de l'exécution des tâches.
|
N° |
Type d'état |
Icône d'état |
Organigramme d'exécution |
|
1 |
Succès |
|
|
|
2 |
Non en cours d'exécution |
|
|
|
3 |
Échec |
|
|
|
4 |
En cours d'exécution |
|
|
|
5 |
En attente |
|
|
|
6 |
Suspendu/gelé |
|
