Tableau de bord O&M - DataWorks - Centre de documentation Alibaba Cloud

Notes d'utilisation

Le tableau de bord O&M vous permet de consulter les opérations des nœuds déclenchés automatiquement, des nœuds déclenchés manuellement et des tâches Data Integration dans votre espace de travail selon les perspectives suivantes :

Espace de travail spécifié : consultez l'aperçu O&M d'un espace de travail sélectionné. Cette vue offre un résumé O&M pour l'ensemble de l'espace de travail et vous permet de vérifier séparément les détails O&M des tâches de synchronisation Data Integration.
Tous les espaces de travail : consultez l'aperçu O&M de tous les espaces de travail associés à votre compte actuel. Dans cette vue, vous ne pouvez pas vérifier séparément les détails O&M des tâches de synchronisation Data Integration.

Limites

Le tableau de bord O&M n'est pas disponible dans l'environnement de développement d'un espace de travail en mode standard.

Remarque
Basculez entre les environnements Production et Development via la barre de menu supérieure de l'interface Operation Center.
Onglet Auto Triggered Node : affiche uniquement les données O&M relatives aux nœuds déclenchés automatiquement et à leurs instances. Les données provenant d'autres types de tâches et d'instances sont exclues.
Onglet Manually Triggered Node : affiche uniquement les données O&M relatives aux workflows déclenchés manuellement et à leurs instances de nœuds internes.
Onglet Data Integration : affiche uniquement les données O&M relatives aux tâches de synchronisation par lots et en temps réel dans Data Integration.

Accéder au tableau de bord O&M

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Data Development and O&M > Operation Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Operation Center.

O&M pour les nœuds déclenchés automatiquement

L'onglet Auto Triggered Node présente l'aperçu O&M, incluant l'évaluation de la stabilité, les problèmes clés, la répartition des statuts des instances, l'état d'achèvement des instances et l'utilisation des ressources pour les groupes de ressources de planification.

Évaluation de la stabilité O&M

Le système évalue la stabilité opérationnelle de votre espace de travail en fonction du statut d'exécution global de ses tâches.

Espace de travail	Single workspace	All My Workspaces
Graphique de stabilité		Répertorie tous les espaces de travail avec leur nom, le niveau d'évaluation de la stabilité, le nombre d'instances déclenchées automatiquement, le taux d'achèvement des instances déclenchées automatiquement et l'état de santé de l'espace de travail. La liste prend en charge la pagination. Cliquez sur View Details à droite d'un espace de travail pour ouvrir les détails O&M de cet espace de travail unique.
Description	La santé de la stabilité est classée comme Excellente, Bonne, Moyenne ou Médiocre. Les étiquettes à risque élevé ou faible indiquent un état de santé médiocre nécessitant une attention et une optimisation immédiates.	Basculez vers la vue All My Workspaces en haut de la page pour afficher la stabilité O&M, le nombre d'instances déclenchées automatiquement et l'état d'achèvement des instances pour tous les espaces de travail auxquels vous avez accès. Cliquez également sur View Details dans la colonne Actions pour un espace de travail spécifique afin d'afficher les détails de sa stabilité O&M.

Problèmes clés

Cette section met en évidence les exceptions opérationnelles pour les nœuds déclenchés automatiquement, tant du point de vue de l'espace de travail que du point de vue personnel, en se basant sur des lignes de base intelligentes et des statistiques d'exceptions. Consultez les problèmes globaux de l'espace de travail ou uniquement ceux liés aux tâches dont vous êtes propriétaire. Cela vous permet d'identifier et de résoudre rapidement les problèmes pour éviter tout impact sur l'activité.

Type de problème	Description	Documentation associée	Illustration
Instance de ligne de base en dépassement de délai	Nombre d'instances de ligne de base en dépassement de délai aujourd'hui. Une instance est considérée en dépassement de délai si son heure estimée d'achèvement dépasse l'heure engagée de la ligne de base, ce qui déclenche une alerte.	Instances de ligne de base	Affiche huit métriques clés sous forme de cartes : le nombre d'Instances de ligne de base en dépassement de délai, d'Instances de ligne de base en alerte, d'Événements d'erreur et de Événements de ralentissement, chacun avec sa variation jour sur jour et semaine sur semaine, ainsi que le nombre de Nœuds isolés, de Nœuds gelés, de Nœuds expirés et de Nœuds modifiés aujourd'hui. Basculez entre les vues All et Mine.
Instance de ligne de base en alerte	Nombre d'instances de ligne de base en état d'alerte aujourd'hui. La marge d'alerte permet de garantir que les données importantes sont produites à temps dans des scénarios de dépendance complexes. Si la marge d'alerte est dépassée, les nœuds risquent de ne pas s'achever à temps et des exceptions peuvent survenir.	Heure engagée de la ligne de base et marge d'alerte
Événement d'erreur	Nombre d'événements d'erreur survenus aujourd'hui. Lorsqu'une tâche est surveillée par une ligne de base, un échec d'exécution génère un événement d'erreur. Une tâche échouée peut bloquer ses dépendances en aval ; résolvez-la donc rapidement pour assurer un fonctionnement normal.	Gestion des événements
Événement de ralentissement	Nombre d'événements de ralentissement survenus aujourd'hui. Un événement de ralentissement se produit lorsque la durée d'exécution d'une tâche surveillée par une ligne de base augmente significativement par rapport à sa moyenne historique.	Gestion des événements
Nœud isolé	Nombre de nœuds déclenchés automatiquement sans dépendances en amont. Un nœud déclenché automatiquement sans dépendances en amont devient un nœud isolé et ne s'exécutera plus automatiquement.	Nœuds isolés
Nœud gelé	Nombre de nœuds déclenchés automatiquement à l'état Gelé (suspendu). Lorsqu'un nœud déclenché automatiquement est gelé, ses instances le sont également. Les instances gelées ne s'exécutent pas et bloquent leurs dépendances en aval.	Geler et dégeler des tâches
Nœud expiré	Nombre de nœuds déclenchés automatiquement dont la période de validité de planification est terminée. Un nœud génère et exécute automatiquement des instances déclenchées automatiquement durant sa période de validité de planification. En dehors de cette période, aucune instance n'est générée ni planifiée.	Aucune
Nœud modifié	Nombre de nœuds déclenchés automatiquement modifiés aujourd'hui. Opérations de modification : inclut les modifications du code, de la configuration de planification, du statut du nœud et du propriétaire du nœud. Portée : inclut les modifications effectuées dans DataStudio et déployées dans l'environnement de production, ainsi que les modifications directes apportées aux nœuds déclenchés automatiquement dans l'environnement de production. Remarque Lorsque vous basculez vers la vue Mine, cette métrique compte le nombre de nœuds modifiés dont vous êtes le propriétaire.	Aucune

Aperçu des instances et nœuds déclenchés automatiquement

Le tableau suivant décrit l'aperçu O&M des instances et nœuds déclenchés automatiquement.

Métrique	Description	Illustration
Instances Status	Portée : affiche la répartition des statuts des instances déclenchées automatiquement pour un horodatage de données spécifique, soit pour l'espace de travail actuel, soit pour les instances dont vous êtes propriétaire. Les données reflètent l'état au moment de la requête de la page. Comment consulter : cliquez sur un segment du diagramme circulaire pour afficher le nombre et le pourcentage d'instances dans cet état. États d'instance à surveiller : Failed : une instance ayant échoué peut bloquer ses tâches dépendantes en aval. Frozen : une instance gelée ne s'exécute pas et bloque ses dépendances en aval. Slow-running : une instance en cours d'exécution est considérée comme lente si sa durée dépasse sa durée moyenne des `10` derniers jours de plus de `15` minutes. S'il y a moins de `4` instances historiques, une instance est considérée comme lente si sa durée dépasse 30 minutes. Remarque Cette métrique inclut uniquement les tâches normales et exclut les tâches de test à blanc (dry-run) et les tâches gelées.
Instances Completion Status	Portée : affiche l'état d'achèvement (nombre d'instances réussies ou non exécutées) des instances déclenchées automatiquement dans l'espace de travail actuel entre `00:00 et 23:00` le jour actuel, par rapport au jour précédent et à la moyenne historique. Affichage : le graphique linéaire montre les tendances d'achèvement pour aujourd'hui, hier et la moyenne historique. Des écarts significatifs entre les courbes peuvent indiquer une anomalie nécessitant une investigation approfondie. Type de nœud : filtrez les résultats par type de nœud spécifique. Moyenne historique : il s'agit de l'état d'achèvement moyen sur les `10` derniers jours.
Trend of Nodes and Instances	Portée : affiche la tendance du nombre de nœuds et d'instances déclenchés automatiquement dans l'environnement de production sur une plage d'horodatages de données sélectionnée. Consultez les données jusqu'à un an en arrière.
Distribution of Auto Triggered Nodes	Portée : affiche le nombre et la proportion de nœuds déclenchés automatiquement, catégorisés par dimensions telles que le type de nœud et le cycle de planification. Les données reflètent l'état au moment de la requête de la page. Affichage : le diagramme circulaire a une limite sur le nombre de catégories qu'il peut afficher. Si le nombre de types dépasse la limite, ils seront regroupés. Remarque Dans la vue All My Workspaces, vous pouvez voir la répartition des nœuds déclenchés automatiquement par espace de travail.

Utilisation du groupe de ressources de planification

Cette section affiche le taux d'utilisation du groupe de ressources de planification sélectionné (pourcentage des ressources utilisées par les instances s'exécutant sur le groupe) et la tendance du nombre d'instances s'exécutant sur le groupe sur une période spécifiée.

Remarque

Consultez les données jusqu'à sept jours.
Si l'utilisation des ressources dépasse 80 %, nous recommandons d'augmenter la capacité du groupe de ressources pour éviter que des pénuries de ressources n'affectent l'exécution des tâches.
L'utilisation des ressources et le nombre d'instances en cours d'exécution sont mesurés au niveau du groupe de ressources. Par exemple, si vous utilisez un groupe de ressources de planification dédié partagé par plusieurs espaces de travail, ce graphique affiche l'utilisation totale des ressources et la tendance du nombre d'instances pour tous ces espaces de travail.

调度资源组使用情况

Classement des instances déclenchées automatiquement

Ranking of Instances on Previous Day

Cette section classe les Top 30 instances déclenchées automatiquement de la veille par durée d'exécution, temps d'attente des ressources et durée de ralentissement. Utilisez ce classement pour trouver rapidement les tâches chronophages. Cliquez sur un Instance ID pour accéder à la page de détails de l'instance et consulter son diagnostic d'exécution.

Remarque
Durée de ralentissement : il s'agit de la différence entre la durée d'exécution d'une instance hier et sa moyenne historique. Les instances sont triées par cette différence dans l'ordre décroissant.
Ranking of auto triggered instances with the highest error rate in the last month

Cette section classe les instances déclenchées automatiquement par taux d'erreur au cours du dernier mois, en affichant les Top 30 tâches. Utilisez-la pour identifier rapidement les tâches à fort taux d'erreur, consulter leurs détails et déterminer la cause des erreurs.

Nœuds déclenchés manuellement

L'onglet Manually Triggered Node affiche le statut d'exécution des workflows déclenchés manuellement et de leurs instances de tâches internes.

Aperçu des tâches manuelles

Cette section affiche le nombre total de workflows déclenchés manuellement et d'instances de tâches internes qui ont commencé à s'exécuter à partir d'une date spécifiée, ainsi que leur taux de réussite.

Statut d'exécution des instances de workflow

Métrique

Description

Illustration

Distribution of Workflow Instances by Status

Un diagramme circulaire affiche la répartition des instances de workflow déclenchées manuellement par statut d'exécution pour une date d'exécution donnée.

Cliquez sur un segment pour accéder à la page de détails des tâches dans cet état, où vous pouvez consulter et traiter les problèmes. Portez une attention particulière aux tâches ayant Run failed.
Consultez les données jusqu'à sept jours.
Lorsque vous basculez vers la vue Mine, ce graphique affiche la répartition des statuts des instances de workflow déclenchées manuellement dont vous êtes le propriétaire.

Workflow Ranking

Classe les workflows par durée d'exécution et taux d'échec pour une date d'exécution spécifiée.

Utilisez ce classement pour trouver rapidement les workflows lents ou à fort taux d'échec. Cliquez sur un Node ID pour ouvrir la page de détails de l'Manual Workflow Instance. Vous y trouverez le diagnostic d'exécution d'une instance spécifique dans le DAG du workflow pour comprendre son statut d'exécution.
Seuls les Top 30 workflows sont affichés.

Répertorie le classement des workflows déclenchés manuellement avec des champs tels que l'ordinal, le nom du workflow, le créateur et la durée d'exécution. Changez la dimension de tri entre Run Duration et Failures, et filtrez par date d'exécution.

Statut d'exécution des instances de tâches internes

Métrique

Description

Illustration

Distribution of Internal Tasks

Un diagramme circulaire affiche la répartition en temps réel des instances de tâches internes dans Operation Center, catégorisées par Node Type et Owner.

Internal Task Ranking

Classe les instances de tâches internes par durée d'exécution et taux d'échec pour une date d'exécution spécifiée.

Utilisez ce classement pour trouver rapidement les instances de tâches internes lentes ou à fort taux d'échec. Cliquez sur un Node ID pour accéder à la page de détails de l'Manual Workflow Instance. Sur la page de détails, consultez le diagnostic d'exécution d'une instance spécifique dans le DAG du workflow pour comprendre son statut d'exécution.
Seules les Top 30 tâches internes sont affichées.

Répertorie le classement des tâches internes avec des champs tels que l'ordinal, l'ID du nœud, le nom du nœud, le workflow, le type de nœud, le créateur et la durée d'exécution. Changez la dimension de tri entre Run Duration et Failures.

Tâches Data Integration

L'onglet Data Integration présente un aperçu des tâches de synchronisation Data Integration et de l'utilisation des groupes de ressources pour Yesterday ou Today.

Utilisation du groupe de ressources Data Integration

Cette section affiche les détails des ressources pour toutes les tâches Data Integration dans l'espace de travail actuel, y compris les Running Tasks, l'Resource Usage et la date de Last Modified At. Utilisez l'utilisation des ressources et le volume de tâches pour déterminer s'il faut augmenter ou réduire les ressources afin d'optimiser leur allocation. Elle affiche également des informations telles que le nom du groupe de ressources, son statut, le nombre de tâches en file d'attente, les spécifications et la région, et fournit les points d'entrée View, Renew et Create Resource Group.

Remarque

Pour plus d'informations sur les opérations relatives à un groupe de ressources dédié pour Data Integration, consultez la section Facturation des groupes de ressources dédiés pour Data Integration.
Pour plus d'informations sur les opérations relatives à un groupe de ressources serverless, consultez la section Utiliser un groupe de ressources serverless.
L'onglet Dashboard > Data Integration affiche uniquement les données O&M pour les groupes de ressources dédiés pour Data Integration.

Répartition du statut d'exécution des tâches de synchronisation Data Integration

Un diagramme circulaire affiche la répartition des tâches de synchronisation dans l'espace de travail actuel par statut d'exécution. Cliquez sur un segment pour accéder à la page de détails des tâches dans cet état afin de consulter et traiter les problèmes. Portez une attention particulière aux tâches Abnormal et Run failed, car elles bloquent souvent l'exécution des tâches en aval. 运行状态分布

Statut d'exécution des tâches de synchronisation par lots

Le tableau suivant décrit le statut d'exécution des tâches de synchronisation par lots.

Métrique

Description

Illustration

Data Synchronization Progress

Affiche le volume total de données et le trafic total utilisés pour la synchronisation par lots dans l'horodatage de données sélectionné.

Affiche trois métriques de progression de la synchronisation par lots sous forme de cartes : Total Data Volume, Total Public Network Traffic et Total Records.

Statistics on amount of synchronized data

Affiche les courbes de lecture et d'écriture des données par type de source de données pour l'horodatage de données sélectionné. Cela vous aide à identifier rapidement les tâches moteur avec de grands volumes de données et à déterminer si elles nécessitent plus de ressources.

离线数据同步任务数据统计量

Latest Top 10 Tasks

Affiche les 10 Latest Failed Instance et Latest Successful Instance les plus récentes pour vous donner une vue globale des derniers statuts des tâches de synchronisation. Utilisez les messages d'erreur pour identifier rapidement la cause d'un échec et le résoudre.

Répertorie les Recent Failed Instances et Recent Successful Instances avec des champs tels que le nom du nœud, l'ID du nœud, l'heure de début, l'heure de fin et le message d'erreur.

Execution details of synchronization tasks

Recherchez rapidement des instances de tâches en filtrant selon des conditions telles que l'Commission Time, le Node Status et le Node Name pour consulter leurs détails d'exécution.

Répertorie les détails d'exécution des tâches de synchronisation avec des champs tels que l'ID de l'instance, le nom du nœud, l'heure de début, l'heure de fin, la durée, les sources de données source et destination, le volume de données synchronisées, le nombre d'enregistrements synchronisés et le taux de synchronisation. Filtrez par date d'exécution, statut du nœud et nom du nœud.

Statut d'exécution des tâches de synchronisation en temps réel

Le tableau suivant décrit le statut d'exécution des tâches de synchronisation en temps réel.

Métrique

Description

Illustration

Data synchronization Overview

Affiche le débit total de données et le débit total d'enregistrements pour toutes les tâches de synchronisation en temps réel dans l'espace de travail actuel.

Affiche deux métriques d'aperçu de la synchronisation en temps réel sous forme de cartes : Data Speed (BPS) et Record Speed (RPS).

Top 10 tasks with the highest latency

Affiche les 10 tâches de synchronisation en temps réel avec la latence la plus élevée, vous permettant de les identifier et de les optimiser rapidement.

Répertorie les tâches de synchronisation en temps réel avec la latence la plus élevée, y compris le nom du nœud, la latence métier et les informations sur le groupe de ressources.

Alerts

Affiche les informations d'alerte récentes des tâches de synchronisation en temps réel, vous permettant de détecter et de résoudre rapidement les exceptions.

Répertorie les enregistrements d'alerte avec des champs tels que l'heure d'occurrence, l'ID du nœud, le nom du nœud, le destinataire, le type d'alerte (CRITICAL ou WARNING), la condition de déclenchement, le seuil, l'heure de l'alerte et la méthode de notification.

Failover Information

Affiche les messages failover pour les tâches de synchronisation en temps réel dans un laps de temps spécifié afin de fournir un aperçu du statut de failover des tâches. Pour plus d'informations sur le failover, consultez la section Exécuter et gérer des tâches de synchronisation en temps réel.

Répertorie les enregistrements de failover dans la plage de temps spécifiée avec des champs tels que l'heure, l'ID de l'instance, le nom du nœud, l'événement de failover et les actions.