DataWorks:Déboguer les nœuds et les workflows

Prérequis

Un nœud a été développé. Pour plus d'informations, consultez la rubrique Data Studio.

Contexte

Vous pouvez déboguer un nœud unique ou déboguer un workflow. Une fois l'exécution terminée, vous pouvez consulter les résultats dans l'historique des opérations via Operating history, utiliser une requête ad hoc pour inspecter les données et traiter les résultats de la requête.

• Lors du débogage d'un nœud unique ou d'un workflow, aucune facturation n'est appliquée pour les ressources de planification DataWorks, mais les moteurs de calcul utilisés sont facturés. Pour plus d'informations sur les frais liés aux moteurs de calcul, consultez la documentation de tarification du moteur concerné.

• Les requêtes utilisant l'accélération des requêtes ont une durée d'exécution maximale limitée à 1 heure.

Déboguer un nœud unique

1. Accédez à la page Data Studio. Dans le volet de navigation de gauche, sous Data Development ou Manually Triggered Workflow, localisez le workflow cible et double-cliquez sur le nœud que vous souhaitez modifier.

2. Exécutez le nœud pour le déboguer.

   Dans l'onglet de l'éditeur du nœud, utilisez les options Run ou Run with Parameters de la barre d'outils pour déboguer la logique du code. Vous pouvez également utiliser Quick run pour déboguer un extrait de code. Le tableau suivant décrit chaque option.

   Remarque

   Si vous ne disposez pas des permissions nécessaires pour les données que vous souhaitez interroger lors de l'exécution d'un nœud, consultez la rubrique Overview of permission management for compute engines and data pour en savoir plus sur le contrôle des permissions pour les différents moteurs de calcul dans DataWorks.

   Option d'exécution	Description	Cas d'utilisation
   Run (icône )	Cette option vous permet d'attribuer des valeurs aux variables et de spécifier un groupe de ressources pour les tests. Ces paramètres sont enregistrés pour les exécutions futures. Remarque Lors de la première exécution d'un nœud nouvellement créé, une boîte de dialogue de configuration s'affiche. Vous devez attribuer manuellement des valeurs constantes aux variables du code. DataWorks enregistre les valeurs attribuées. Lors de la prochaine exécution du nœud, la configuration enregistrée est utilisée par défaut.	Utilisez cette option lorsque vous devez déboguer le code fréquemment.
   Run with Parameters (icône )	À chaque exécution du nœud, vous devez attribuer des valeurs constantes aux variables pour le scénario de test et spécifier un groupe de ressources.	Utilisez cette option lorsque vous devez modifier les valeurs attribuées aux variables dans le code ou changer le groupe de ressources utilisé par la tâche.
   Quick run (icône )	Cette option vous permet de déboguer un extrait de code dans la zone de code de l'onglet de l'éditeur du nœud.	Utilisez cette option lorsque vous devez uniquement déboguer un extrait de code dans un nœud. Remarque Cette fonctionnalité sert uniquement à déboguer la validité d'un extrait de code. Pour déboguer la logique complète du code, utilisez Run ou Run with Parameters.

Déboguer un workflow

1. Accédez à la page Data Studio. Dans le volet de navigation de gauche, sous Data Development ou Manually Triggered Workflow, double-cliquez sur le workflow cible pour ouvrir son panneau.

2. Déboguez le workflow.

   Cliquez sur le bouton Run (icône ) dans la barre d'outils du panneau du workflow pour exécuter toutes les tâches du workflow séquentiellement, en fonction de leurs dépendances.

   Vous pouvez également cliquer avec le bouton droit sur un nœud dans le panneau du workflow et sélectionner Run Node and Downstream Nodes pour exécuter le nœud et tous ses nœuds en aval, en fonction de leurs dépendances.

   Le fonctionnement de l'exécution via la barre d'outils diffère de celui de l'option Run Node and Downstream Nodes accessible par clic droit :

   • Exécution via la barre d'outils : Exécute tous les nœuds séquentiellement, de l'amont vers l'aval, en se basant sur le DAG complet du workflow. Chaque nœud est soumis à l'exécution de manière indépendante, ce qui équivaut à exécuter chaque nœud individuellement depuis son onglet d'éditeur.

   • Clic droit sur Run Node and Downstream Nodes : Commence par le nœud sélectionné et exécute ce nœud ainsi que ses nœuds en aval en appliquant la logique de planification des dépendances. Cette option valide l'état d'exécution et la sortie des nœuds en amont, ce qui diffère de l'exécution directe d'un nœud depuis son onglet d'éditeur (mode de débogage autonome).

   Si une erreur survient lors de l'utilisation de Run Node and Downstream Nodes alors que la même instruction SQL s'exécute avec succès depuis l'onglet de l'éditeur du nœud, cela s'explique par le fait que l'exécution par clic droit applique la logique de planification des dépendances pour valider l'état d'exécution et les données de sortie des nœuds en amont, tandis qu'une exécution directe se contente d'exécuter le code SQL du nœud actuel. Vous pouvez résoudre le problème comme suit :

   • Vérifiez l'état d'exécution des nœuds en amont. L'exécution par clic droit valide les dépendances en amont. Si un nœud en amont n'a pas été exécuté ou a échoué, le nœud actuel signalera une erreur. Consultez les icônes d'état d'exécution des nœuds en amont dans le panneau du workflow pour confirmer que tous les nœuds en amont ont été exécutés avec succès.

   • Vérifiez les configurations de dépendance entre les nœuds. Assurez-vous que le transfert des paramètres d'entrée et de sortie entre les nœuds est correct et que les assignations des paramètres de planification correspondent à vos attentes. Sur la page des paramètres de planification du nœud, vérifiez si les tables de sortie en amont correspondent aux tables d'entrée du nœud actuel.

   • Cliquez avec le bouton droit sur le nœud qui signale l'erreur, sélectionnez l'option permettant d'afficher les journaux d'exécution et identifiez le message d'erreur spécifique. L'erreur dans les journaux indique généralement la cause précise, telle qu'une table inexistante, des permissions insuffisantes ou des erreurs de syntaxe.

   • Vérifiez les problèmes de syntaxe des commentaires dans le code SQL. Certains moteurs analysent les commentaires différemment en mode planification par rapport à l'exécution directe, ce qui peut provoquer des erreurs de syntaxe. Pour résoudre le problème, essayez de supprimer les commentaires blocs (/* */) du code SQL en ne conservant que les commentaires de ligne (--), puis vérifiez si l'erreur persiste.

   • Vérifiez si les données de sortie des nœuds en amont sont prêtes. L'exécution par clic droit repose sur les tables de données produites par les nœuds en amont en tant qu'entrées. Si un nœud en amont a été exécuté avec succès mais que ses données de sortie ne sont pas encore prêtes ou ont été nettoyées, le nœud actuel signalera une erreur car il ne peut pas lire la table d'entrée.

   Remarque

   • Si les nœuds d'un workflow déclenché manuellement comportent des variables portant le même nom et que ces variables peuvent être assignées uniformément, vous pouvez définir des paramètres de workflow dans le panneau du workflow et leur attribuer des valeurs. Ensuite, exécutez le workflow pour consulter les résultats de l'assignation et l'état d'exécution des tâches manuelles.

   • Seuls certains types de nœuds prennent en charge les paramètres de workflow. Reportez-vous à l'interface réelle pour plus de détails.

   • Une fois l'exécution terminée, vous pouvez cliquer avec le bouton droit sur un nœud dans le panneau du workflow pour afficher les journaux d'exécution de ce nœud.

Consulter l'historique des opérations

Sur la page Operating history de Data Studio, vous pouvez consulter toutes les tâches exécutées par le compte actuel au cours des trois derniers jours.

Après l'exécution d'une tâche dans Data Studio, celle-ci est soumise au moteur correspondant pour exécution. Même si vous fermez accidentellement la tâche pendant son exécution, celle-ci continue de s'exécuter. Vous pouvez utiliser la page Operating history pour consulter les journaux d'exécution ou arrêter les tâches soumises.

Créer un fichier de requête ad hoc

Traiter les résultats de la requête