Operation Center est une plateforme tout-en-un dédiée aux opérations et à la maintenance (O&M) des données massives. Elle vous permet de visualiser en temps réel l'état d'exécution des tâches et propose des fonctionnalités O&M, telles que le diagnostic intelligent et la réexécution, pour gérer les exceptions de tâches. Grâce aux lignes de base intelligentes, vous pouvez gérer les délais d'achèvement imprévisibles des tâches critiques et surveiller efficacement un grand nombre de tâches, garantissant ainsi la production des données dans les délais impartis. La plateforme offre également des fonctionnalités O&M complètes pour les moteurs de calcul, les ressources et la planification.
Modules d'Operation Center
Après avoir développé, soumis et déployé une tâche dans Data Studio, accédez à Operation Center pour effectuer des opérations O&M sur les tâches planifiées, les tâches manuelles et les tâches en temps réel. Ces opérations incluent l'exécution des tâches de production, l'identification et la résolution des problèmes liés aux tâches, la surveillance de l'état d'exécution des tâches, la consultation des métriques O&M clés et la vérification des listes de tâches du moteur.
Operation Center est pris en charge uniquement sur les versions de bureau de Chrome 69 ou ultérieures.
Remarque
Les tâches sont automatiquement planifiées et exécutées uniquement après leur déploiement dans l'environnement de production. Les tâches présentes dans l'environnement de développement ne sont pas planifiées automatiquement.
Accéder à Operation Center
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Operation Center.
O&M des tâches
Le module O&M des tâches fournit des capacités O&M pour trois types de tâches : les tâches planifiées, les tâches en temps réel et les tâches manuelles. Utilisez le tableau de bord O&M pour consulter les métriques clés relatives à l'exécution des tâches et exploitez les fonctionnalités de l'Assistant O&M, telles que le remplissage des données, le diagnostic intelligent et l'O&M automatisé, pour réaliser diverses opérations O&M.
Module | Description | Disponibilité | |
Affiche les métriques O&M clés des tâches planifiées sous forme de rapports. Il propose également des pages O&M dédiées pour les tâches de synchronisation par lots et en temps réel dans Data Integration. | Ce module n'est pas disponible dans Operation Center pour l'environnement de développement. | ||
Auto Triggered Task O&M | Tâches planifiées propose des vues DAG, des tests de tâches via Test, des exécutions via Run et d'autres opérations pour les tâches planifiées. | Operation Center pour l'environnement de développement ne peut pas générer automatiquement des instances planifiées. | |
Instances planifiées affiche la liste des instances générées après la soumission des tâches planifiées au système de planification. Vous pouvez afficher le DAG, exécuter Run Diagnostics, Rerun les instances planifiées et effectuer d'autres opérations depuis la liste. | |||
La liste Instances de test affiche les instances de test générées après l'exécution d'un test sur les tâches planifiées. Vous pouvez vérifier l'état d'exécution des instances de test, afficher le DAG, exécuter Run Diagnostics, Rerun les instances et effectuer d'autres opérations depuis la liste. | |||
Real-time Task O&M | La page Tâches de calcul en temps réel vous permet de Start, Stop et Undeploy les tâches de calcul en temps réel, ainsi que de configurer des alertes via Monitoring Setting pour détecter et gérer rapidement les exceptions de tâches. | - | |
La page Tâches de synchronisation en temps réel vous permet de Start, Stop, Undeploy et de Change Owner pour les tâches de synchronisation en temps réel. Elle prend en charge les Alert Conditions pour détecter et gérer rapidement les exceptions de tâches. | - | ||
Manually Triggered Task O&M | Dans Tâches manuelles, vous pouvez rechercher des tâches manuelles, des workflows manuels et des workflows basés sur des déclencheurs, et effectuer des opérations telles que l'affichage du DAG, le déclenchement manuel via Run, la consultation des instances via View Instances, etc. | - | |
Dans Instances manuelles, vous pouvez consulter rapidement les informations détaillées sur les instances via le DAG et effectuer des opérations telles que View Runtime Log, View Code et View Lineage. | - | ||
O&M Assistant | La page Remplissage des données vous permet de gérer les tâches de remplissage des données. | - | |
Le diagnostic intelligent offre des capacités d'analyse de bout en bout pour les tâches, vous permettant de localiser rapidement les problèmes. Vous pouvez consulter les Operation Details, les informations General, la Influenced Baseline et l'Historical instance. | Ce module n'est pas disponible dans Operation Center pour l'environnement de développement. | ||
L'O&M automatisé propose des règles O&M personnalisées. Vous pouvez définir des métriques de surveillance et des règles O&M personnalisées pour les instances s'exécutant sur des groupes de ressources cibles. Lorsqu'une règle est déclenchée, l'action O&M correspondante est automatiquement exécutée pour réaliser une O&M automatisée. | - | ||
Prenons l'exemple des tâches dans les instances planifiées. Les conditions suivantes doivent être remplies avant qu'une tâche ne commence à s'exécuter :
Toutes les instances de nœuds parents dont dépend la tâche sont dans un état réussi.
L'heure d'exécution planifiée configurée pour le nœud de tâche est atteinte.
Des ressources de planification suffisantes sont disponibles.
La tâche n'est pas dans un état gelé.
Dans Operation Center, différentes couleurs d'instance représentent différents états d'instance. Pour plus de détails sur les états d'exécution des instances, consultez États d'exécution des instances et diagnostics.
Surveillance des tâches
Le module Surveillance des tâches comprend les fonctionnalités de ligne de base intelligente et d'alerte de surveillance. Configurez la fonctionnalité de ligne de base intelligente pour détecter les exceptions de tâches et envoyer des avertissements précoces. Vous pouvez également configurer et gérer des règles de surveillance, des informations d'alerte et des plannings d'astreinte afin de traiter les alertes O&M en temps opportun.
Module | Description | Disponibilité | |
Les Intelligent Baselines peuvent détecter rapidement les exceptions susceptibles d'empêcher l'achèvement des tâches d'une ligne de base dans les délais et envoyer des avertissements précoces pour garantir que les données critiques soient produites dans le temps imparti. Cette fonctionnalité vous aide à réduire les coûts de configuration, à éviter les alertes inutiles et à surveiller automatiquement toutes les tâches critiques. | Ce module n'est pas disponible dans Operation Center pour l'environnement de développement. | ||
Monitoring and Alerting | La gestion des règles vous permet de configurer des règles de surveillance personnalisées. Utilisez ces règles pour surveiller l'état d'exécution des tâches ou l'utilisation des ressources, et détectez et gérez rapidement les exceptions de tâches. | ||
La fonctionnalité Alertes offre une gestion centralisée de toutes les alertes générées par le module Task Monitoring, y compris les alertes d'avertissement précoce de ligne de base, les alertes d'événement, les alertes de règles personnalisées et les alertes de règles globales générées par les Intelligent Baselines. | |||
Le planning d'astreinte définit les arrangements de planification pour le traitement des alertes O&M, garantissant une réponse rapide lorsque des alertes sont déclenchées ou que des instances nécessitent une maintenance. Après avoir configuré un planning d'astreinte, DataWorks envoie des Alerts au personnel d'astreinte correspondant afin qu'il puisse détecter et résoudre les problèmes rapidement. | |||
Autres O&M
Outre l'O&M des tâches et la surveillance intelligente, DataWorks vous permet de consulter les détails des moteurs de calcul (E-MapReduce), de surveiller et de gérer l'utilisation des groupes de ressources, et de personnaliser les paramètres de planification, offrant ainsi des capacités O&M plus pratiques et complètes pour vos travaux quotidiens.
Module | Description | Disponibilité | |
L'O&M du moteur vous permet de consulter les informations détaillées sur les jobs du moteur de calcul (E-MapReduce), d'identifier et de nettoyer rapidement les jobs s'exécutant par erreur, et d'empêcher ces jobs de bloquer les tâches en aval et d'affecter l'exécution normale des instances. | Ce module n'est pas disponible dans Operation Center pour l'environnement de développement. | ||
L'O&M des ressources offre une visualisation de l'utilisation des groupes de ressources et de l'exécution des tâches d'instance, permettant une surveillance intelligente et une O&M automatisée des groupes de ressources et des tâches d'instance pour réduire les opérations manuelles et améliorer l'efficacité de l'O&M. | - | ||
Paramètres de planification fournit une plateforme pour créer et gérer le Scheduling Calendar et les Workspace-level Parameters, facilitant ainsi la personnalisation de la planification des tâches. | - | ||
Annexe : États d'exécution des instances et diagnostics
Operation Center utilise différentes couleurs et icônes pour indiquer l'étape d'une tâche dans le processus d'exécution. Différentes couleurs et icônes d'instance représentent différents états. Le tableau suivant décrit les états de tâche correspondant à chaque couleur et icône d'instance. Pour plus de détails sur les prérequis pour l'exécution d'une tâche, consultez Prérequis pour l'exécution d'une tâche.
N° | Type d'état | Icône d'état | Organigramme d'exécution |
1 | Réussi |
|
|
2 | Non exécuté |
| |
3 | Échoué |
| |
4 | En cours d'exécution |
| |
5 | En attente |
| |
6 | Suspendu/Gelé |
|
