Les nœuds isolés ne possèdent aucune dépendance envers un nœud ancêtre, ce qui empêche leur ordonnancement automatique et peut provoquer des échecs dans les pipelines en aval. Découvrez comment les identifier et résoudre le problème.
Qu'est-ce qu'un nœud isolé ?
Un nœud isolé est un nœud qui ne dépend d'aucun nœud ancêtre. Par conséquent, les Periodic tasks ou les Auto Triggered Instances présentant cet état ne sont pas déclenchés par le système d'ordonnancement automatique et ne s'exécutent pas. Si un nœud isolé possède de nombreuses dépendances en aval, cela peut entraîner de graves dysfonctionnements du pipeline. DataWorks envoie automatiquement une alerte lorsqu'il détecte un nœud isolé. Si vous recevez une telle alerte, résolvez le problème immédiatement. Pour plus d'informations sur le mécanisme d'alerte, consultez la section Surveillance et alertes pour les nœuds isolés.
Dans DataWorks, chaque nœud déclenché automatiquement personnalisé doit dépendre d'un nœud ancêtre pour être ordonnancé et exécuté.
Résoudre les problèmes liés aux nœuds isolés
|
Scénario |
Description |
Solution |
|
Les modes de génération d'instance des nœuds amont et aval sont incohérents. |
Lorsque les nœuds amont et aval sont nouveaux, le nœud aval peut devenir isolé si sa seule dépendance repose sur un nœud amont utilisant un mode de génération d'instance différent. Par exemple, si le nœud amont est configuré en mode T+1 (Jour suivant) et que le nœud aval est configuré pour générer une instance immédiatement après le déploiement, le nœud amont ne génère pas d'instance le jour même, ce qui isole le nœud aval. |
Ajustez le mode de génération d'instance du nœud amont et redéployez-le. Pour plus d'informations sur ce scénario, consultez Scénario 3 : Modes de génération d'instance incohérents. |
|
Le nœud amont se trouve en dehors de sa période de validité. |
DataWorks ne génère pas d'instances pour les nœuds situés en dehors de leur période de validité spécifiée. Si la seule dépendance d'un nœud aval repose sur un nœud amont hors période de validité, le nœud aval devient isolé. |
Accédez à la configuration d'ordonnancement du nœud amont et mettez à jour sa période de validité. Pour plus d'informations, consultez Période de validité. |
|
La sortie du nœud amont a changé. |
Des modifications apportées à la logique métier d'un nœud amont peuvent altérer sa sortie, rompant ainsi la dépendance du nœud aval. S'il s'agit de l'unique dépendance du nœud aval, celui-ci devient isolé. |
Reconfigurez la dépendance pour le nœud aval. Pour plus d'informations, consultez Impacts de la suppression ou de la modification d'une sortie de nœud. |
|
Une dépendance inter-espace de travail existe et l'ordonnancement est désactivé dans l'espace de travail du nœud amont. |
Un nœud possédant une unique dépendance inter-espace de travail devient isolé si l'ordonnancement est désactivé dans l'espace de travail du nœud amont. |
Contactez le propriétaire de l'espace de travail du nœud amont pour activer l'ordonnancement, ou supprimez la dépendance inter-espace de travail. Pour savoir comment activer l'ordonnancement, consultez Paramètres d'ordonnancement. |
|
Une tâche intermédiaire se situe en dehors de la plage horaire spécifiée pour le remplissage des données. |
Lors d'un remplissage des données, si une tâche intermédiaire dans la chaîne de dépendances d'ordonnancement se trouve en dehors de la plage de temps définie, les nœuds en aval qui dépendent de cette tâche peuvent devenir isolés. Une tâche intermédiaire possède à la fois des dépendances amont et aval. Exemple :
Si vous effectuez un remplissage des données pour les nœuds A et C sur la plage horaire |
Exécutez un remplissage des données pour la tâche intermédiaire sur la même plage horaire. Pour plus d'informations, consultez Remplir les données. Dans cet exemple, vous devez également effectuer un remplissage des données pour le nœud B sur la plage horaire |
Surveillance et alertes
Chaque nuit, DataWorks génère les Auto Triggered Instances du lendemain sur la base des Periodic tasks configurées. DataWorks utilise des règles d'alerte intégrées pour analyser périodiquement les nœuds déclenchés automatiquement afin de détecter des problèmes tels que les nœuds isolés. Lorsqu'un problème est identifié, une alerte est automatiquement déclenchée. Traitez ces alertes immédiatement pour éviter les échecs du pipeline.
DataWorks analyse l'état des nœuds déclenchés automatiquement à 09:00, 12:00 et 16:00 chaque jour. Si un problème survient moins de 10 minutes avant une analyse, il ne sera détecté qu'à la prochaine analyse.
L'alerte de nœud isolé est une règle système intégrée ; vous n'avez donc pas besoin de la créer manuellement. Par défaut, DataWorks envoie des alertes au propriétaire du nœud par SMS et par e-mail. Vous pouvez modifier les destinataires des alertes pour cette règle globale sur la page Rule Management. Pour plus d'informations, consultez Gestion des règles.
Localiser les nœuds isolés
Accédez au Operation Center et ouvrez la page Vue d'ensemble. La section Highlights affiche le nombre et les détails des nœuds isolés.