Cette rubrique explique comment exécuter un nœud, effectuer des opérations d'exploitation et de maintenance (O&M) sur celui-ci et résoudre les erreurs en s'appuyant sur les journaux.
Informations générales
Par exemple, vous configurez les paramètres pour qu'un nœud de synchronisation par lots s'exécute tous les mardis à 02:00 lors de la configuration d'un cycle de planification et des dépendances de planification du nœud. Après avoir validé le nœud, vous devez attendre le lendemain pour consulter le résultat de son exécution automatique. DataWorks vous permet d'exécuter le nœud selon les modes suivants : exécution de test, backfilling de données et exécution périodique. Vous pouvez ainsi vérifier si l'heure de planification de chaque instance générée pour le nœud, les dépendances de planification du nœud et les données produites répondent à vos besoins métier.
Exécution de test : les nœuds sont déclenchés manuellement. Nous vous recommandons d'utiliser ce mode si vous souhaitez uniquement vérifier l'heure de planification et l'exécution d'un seul nœud. Pour plus d'informations, consultez la section Exécuter des tests et afficher les instances de test.
Backfilling de données : les nœuds sont déclenchés manuellement. Privilégiez ce mode lorsque vous devez vérifier l'heure de planification de plusieurs nœuds et leurs dépendances de planification, ou si vous avez besoin de relancer une analyse et un calcul de données à partir d'un nœud racine spécifique. Pour plus d'informations, consultez la section Opérations d'instance de backfilling de données.
Exécution périodique : les nœuds sont déclenchés automatiquement. Après la validation d'un nœud, le système de planification exécute automatiquement les instances associées à partir de 00:00 le lendemain. Lorsque l'heure de planification de chaque instance est atteinte, le système vérifie si les instances ancêtres ont été exécutées avec succès. Si toutes les instances ancêtres ont abouti, le système lance l'exécution de l'instance sans intervention manuelle. Pour plus d'informations, consultez la section Instances déclenchées automatiquement.
Le système de planification génère des instances pour les nœuds déclenchés manuellement et les nœuds déclenchés automatiquement selon les mêmes règles.
Le système génère des instances pour chaque nœud chaque jour, que la planification soit configurée à la minute, à l'heure, au jour, à la semaine ou au mois.
Le système n'exécute les instances générées pour un nœud que les jours où leur heure de planification est atteinte. Dans ce cas, des journaux d'exécution sont générés pour ces instances.
Les autres jours, le système n'exécute pas les instances générées pour le nœud. Il passe plutôt leur statut à « réussi » lorsque les conditions d'exécution sont remplies. Aucun journal d'exécution n'est généré pour ces instances.
Pour en savoir plus sur l'O&M des nœuds, consultez la section Présentation d'Operation Center.
Effectuer une exécution de test
Dans le coin supérieur gauche de la page actuelle, cliquez sur l'icône
, puis choisissez .Dans le volet de navigation de gauche de la page Operation Center, choisissez .
Sur la page qui s'affiche, repérez le nœud souhaité et cliquez sur Test dans la colonne Actions.
Dans la boîte de dialogue Test, configurez les paramètres Test Name et Data Timestamp, puis cliquez sur OK.
-
Sur la page Test Instance, cliquez sur le nom de l'instance générée. Le graphe orienté acyclique (DAG) de l'instance s'affiche à droite.
Dans le DAG, vous pouvez consulter les dépendances de planification et les détails de l'instance, ainsi qu'effectuer des opérations sur celle-ci. Par exemple, vous pouvez cliquer avec le bouton droit sur l'instance et sélectionner Stop ou Rerun pour arrêter ou relancer l'instance.
RemarqueEn mode d'exécution de test, un nœud est déclenché manuellement. Lorsque l'heure de planification est atteinte, le système exécute immédiatement l'instance générée pour le nœud, indépendamment du succès ou de l'échec des instances ancêtres.
Un nœud de synchronisation est configuré pour s'exécuter tous les mardis à 02:00. Selon les règles de génération d'instances décrites précédemment dans cette rubrique, si le timestamp des données (qui correspond à la veille de l'heure de planification prévue) est défini sur lundi pour une exécution de test, le système exécute l'instance générée pour le nœud de synchronisation le mardi à 02:00. Si le timestamp des données n'est pas défini sur lundi pour le test, le système passe l'état de l'instance à « réussi » le mardi à 02:00 sans générer de journaux d'exécution.
Backfilling de données
Nous vous recommandons d'effectuer un backfilling de données pour un nœud si vous devez vérifier l'heure de planification de plusieurs nœuds et leurs dépendances de planification, ou si vous souhaitez relancer une analyse et un calcul de données à partir d'un nœud racine spécifique. Pour effectuer un backfilling de données pour un nœud, procédez comme suit :
Dans le volet de navigation de gauche de la page Operation Center, choisissez .
Sur la page qui s'affiche, repérez le nœud souhaité et choisissez dans la colonne Actions.
-
Dans la boîte de dialogue Backfill Data, configurez les paramètres et cliquez sur OK. Le tableau suivant décrit les paramètres.
Parameter
Description
Data Backfill Instance Name
Nom de l'instance de backfilling de données générée pour le nœud.
Data Timestamp
Timestamp des données de l'instance de backfilling. La valeur du timestamp correspond à
one day earlier than the time at which the instance is scheduled to run.Node
Nœud pour lequel vous souhaitez effectuer un backfilling. Par défaut, le nœud actuel est spécifié et ne peut pas être modifié.
Concurrency
Indique si plusieurs instances de backfilling doivent être exécutées en parallèle. Si vous définissez ce paramètre sur Yes, vous devez également spécifier le nombre d'instances de backfilling pouvant être exécutées simultanément.
-
Sur la page Patch Data, cliquez sur le nom de l'instance de backfilling générée pour afficher le DAG de l'instance.
Dans le DAG, vous pouvez consulter les dépendances de planification et les détails de l'instance, ainsi qu'effectuer des opérations sur celle-ci. Par exemple, vous pouvez cliquer avec le bouton droit sur l'instance et sélectionner Stop ou Rerun pour arrêter ou relancer l'instance.
RemarqueEn mode de backfilling de données, l'exécution d'une instance de backfilling un jour donné dépend de l'instance planifiée pour la veille. Par exemple, si vous effectuez un backfilling pour un nœud sur la période du 15 septembre 2017 au 18 septembre 2017 et que l'instance du 15 septembre 2017 échoue, l'instance du 16 septembre 2017 ne pourra pas s'exécuter.
Un nœud de synchronisation est configuré pour s'exécuter tous les mardis à 02:00. Selon les règles de génération d'instances décrites précédemment dans cette rubrique, si le timestamp des données (qui correspond à la veille de l'heure de planification prévue) est défini sur lundi pour une opération de backfilling, le système exécute l'instance générée pour le nœud de synchronisation le mardi à 02:00. Si le timestamp des données n'est pas défini sur lundi pour le backfilling, le système passe l'état de l'instance à « réussi » le mardi à 02:00 sans générer de journaux d'exécution.
Exécution périodique
En mode d'exécution périodique, le système de planification exécute automatiquement les instances de tous les nœuds en fonction de leurs paramètres de planification. Aucune option de menu n'est disponible sur la page Operation Center pour contrôler l'exécution périodique des nœuds. Vous pouvez consulter les détails et les journaux d'exécution d'une instance générée pour un nœud en utilisant l'une des méthodes suivantes :
Dans le volet de navigation de gauche de la page Operation Center, choisissez . Sur l'onglet Instance Perspective de la page qui s'affiche, configurez des paramètres tels que Data Timestamp ou Schedule pour rechercher une instance spécifique du nœud. Ensuite, choisissez More > View Node Details dans la colonne Actions pour afficher les détails de l'instance, ou More > View Runtime Log pour consulter ses journaux d'exécution.
-
Sur l'onglet Instance Perspective de la page Cycle Instance, repérez l'instance souhaitée du nœud et cliquez sur son nom dans la colonne General pour ouvrir le DAG de l'instance.
Dans le DAG, vous pouvez consulter les dépendances de planification et les détails de l'instance, ainsi qu'effectuer des opérations sur celle-ci. Par exemple, vous pouvez cliquer avec le bouton droit sur l'instance et sélectionner Stop ou Rerun pour arrêter ou relancer l'instance.
RemarqueSi un nœud ancêtre n'a pas été exécuté, ses nœuds descendants ne le seront pas non plus.
Si l'état initial d'une instance est « en attente », le système de planification vérifie si toutes ses instances ancêtres ont été exécutées avec succès lorsque l'heure de planification de l'instance est atteinte.
Une instance ne peut être exécutée que lorsque toutes ses instances ancêtres ont abouti et que son heure de planification est atteinte.
Si une instance est en attente, vérifiez si toutes ses instances ancêtres ont été exécutées avec succès et si l'heure de planification de l'instance est atteinte.