DataWorks:Configurer et utiliser les paramètres de planification

Étape 1 : Définir les paramètres

1. Double-cliquez sur le nœud cible, par exemple un nœud MaxCompute SQL, pour ouvrir la page d'édition du nœud.

2. Définissez les paramètres dans le code : dans un nœud MaxCompute SQL, utilisez la syntaxe ${param} pour définir un nom de paramètre. DataWorks recommande d'utiliser des noms de paramètres significatifs pour faciliter leur référence et leur gestion.

   Format de référence des paramètres de planification :

   Type de format	Syntaxe	Portée	Remarques
   Format général	${parameter_name}	S'applique à la plupart des types de nœuds, tels que les nœuds MaxCompute SQL et les nœuds de synchronisation par lots.	Il s'agit du format le plus couramment utilisé.
   Format spécial	Varie selon le type de nœud. N'utilise pas le format ${...}.	PyODPS, Shell, Python	Pour plus de détails, consultez la rubrique Configurer les paramètres de planification pour différents types de nœuds.

   -- Example: Define a variable named pt_date for partition filtering
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. Cliquez sur Scheduling Settings à droite de la page pour ouvrir la configuration des Scheduling Parameters.

4. Configurez les paramètres de planification comme décrit ci-dessous.

Étape 2 : Configurer les paramètres

Configurez les paramètres de planification en mode Define with table ou Defined with an expression. Basculez entre les modes en cliquant sur Defined with an expression dans le coin supérieur droit. Le mode par défaut est Define with table.

1. Configurer les paramètres

   Define with table

   Cliquez sur Scheduling Settings à droite du nœud pour ouvrir la page de configuration des paramètres de planification.

   

   • Ajouter des paramètres

     Cliquez sur Scheduling Settings à droite du nœud, puis ajoutez des paramètres dans la section Scheduling Parameters. Les méthodes suivantes sont prises en charge pour ajouter des paramètres.

     1. Cliquez sur Add parameters pour saisir manuellement le nom et la valeur du paramètre. Le nom du paramètre doit correspondre au nom de la variable défini dans le code.

     2. Cliquez sur Loading parameters in code. DataWorks analyse automatiquement les variables du code, telles que ${pt_date}, et renseigne les noms des paramètres. Il vous suffit de remplir les valeurs des paramètres.

   • Attribuer des valeurs

     Vous pouvez définir des paramètres intégrés au système, des paramètres de temps personnalisés, des paramètres d'espace de travail, des paramètres de sortie des nœuds en amont et des constantes.

     • Cliquez sur la zone de saisie. La liste déroulante affiche certaines expressions de paramètres couramment utilisées que vous pouvez sélectionner directement. Vous pouvez également saisir manuellement une expression personnalisée ou une variable intégrée au système.

     • Remplissez les valeurs en fonction de vos besoins métier. Pour connaître les formats de valeur pris en charge, consultez la rubrique Formats pris en charge pour les paramètres de planification.

     • L'affectation des paramètres de planification prend également en charge la liaison rapide des paramètres de contexte. Cliquez sur le bouton à côté du paramètre. Dans la boîte de dialogue Associate Output Parameter of Ancestor Node, sélectionnez un nœud pour lequel des paramètres de sortie ont été configurés et associez rapidement la dépendance. Pour plus d'informations sur les paramètres de sortie, consultez la rubrique Configurer les paramètres de sortie.

   Define with an expression

   Cliquez sur Defined with an expression pour changer de mode de configuration. Utilisez ce mode si vous préférez configurer les paramètres à l'aide d'expressions.

   

   • Lorsque vous utilisez la définition basée sur des expressions, séparez les différents paramètres par des espaces.

   • Lorsque vous ajoutez, supprimez ou modifiez des paramètres de planification en mode Defined with an expression, DataWorks valide la syntaxe de l'expression actuelle. Si la validation échoue, les paramètres de planification ne peuvent pas être configurés.

     Par exemple, DataWorks vérifie les règles de syntaxe telles que aucun espace n'est autorisé autour du signe égal.

2. Aperçu des paramètres

   Après avoir défini les paramètres, cliquez sur Preview of scheduling parameters pour afficher un aperçu des valeurs des paramètres pour N instances après une date métier spécifiée, et vérifiez si les définitions des paramètres correspondent aux attentes. Vous pouvez ajuster la date métier et le nombre d'instances à afficher en aperçu.

   

   Remarque

   Certains nœuds, tels que les nœuds de synchronisation par lots, intègrent un paramètre ${bizdate} prédéfini. Ce paramètre reçoit automatiquement la valeur $bizdate. Vous pouvez remplacer le nom du paramètre bizdate dans votre code par un nom de paramètre personnalisé. ${bizdate} n'a aucune signification particulière et fonctionne de la même manière que tout autre paramètre personnalisé.

   

Étape 3 : Test de fumée

Après avoir attribué des valeurs aux paramètres, utilisez la fonctionnalité de test de fumée lors du déploiement pour simuler un scénario de planification avec une date métier spécifique. Vérifiez que la substitution des paramètres et l'exécution du code produisent les résultats attendus. Ajustez rapidement la configuration si ce n'est pas le cas, afin d'éviter d'affecter la planification en production.

1. Déployez le code du nœud.

   

   1. Configurez l'heure de planification et la dépendance de planification.

   2. Cliquez sur Enregistrer pour sauvegarder le code et la configuration. Cliquez ensuite sur le bouton Déployer dans la barre d'outils pour lancer le test de fumée pendant le processus de déploiement.

      Remarque

      Si le test de fumée n'exécute pas le dernier code ou les derniers paramètres, cliquez sur Republish Production.

2. Exécutez le test de fumée.

   Cliquez sur Initiate Smoke Testing. Dans la boîte de dialogue Smoke test, sélectionnez une date métier, cliquez sur Confirmer et démarrez le test de fumée.

3. Consultez les journaux du test de fumée.

   1. Cliquez sur le bouton d'enregistrement des tests de fumée dans le menu de gauche, puis cliquez sur Logs dans les enregistrements du test de fumée.

      

   2. Vérifiez la sortie des paramètres dans les journaux pour confirmer si les résultats correspondent aux attentes.

Étape 4 : Déployer et vérifier

Après vérification dans l'environnement de développement, déployez la tâche dans le Operation Center pour la planification en production. Vérifiez les paramètres de planification dans l'environnement de production pour éviter les erreurs d'exécution.

Si la configuration des paramètres de planification d'une tâche planifiée ne correspond pas aux attentes, ou si vous ne trouvez pas la tâche cible dans le Operation Center, vérifiez que la tâche a bien été déployée. Pour plus de détails sur le déploiement des tâches, consultez la rubrique Déployer un nœud.

1. Vérifiez les définitions des paramètres.

   Accédez au Operation Center, basculez vers la région et l'espace de travail cibles, puis accédez à la page Auto Triggered Task O&M > Auto Triggered Task. Cliquez sur un nom de tâche dans la liste des tâches et vérifiez si les paramètres d'exécution dans le volet General correspondent aux attentes.

   

2. Test de fumée dans le Operation Center.

   Vous pouvez également utiliser le test de fumée dans le Operation Center pour confirmer si une tâche déployée effectue la substitution des paramètres et l'exécution du code comme prévu dans l'environnement de production. Pour plus de détails, consultez la rubrique Test de fumée dans le Operation Center.

   Important

   Notez que le test de fumée s'exécute sur des données réelles dans l'environnement de production. Faites preuve de prudence pour éviter de polluer les données de production.

   

3. Observez les résultats réels de la planification.

   Une fois la tâche entrée en planification automatique, vous pouvez vérifier davantage si la substitution des paramètres est correcte en contrôlant si les paramètres dans la section Cycle Examples ont été automatiquement remplacés comme requis.

   

Cet exemple utilise un nœud MaxCompute SQL pour vérifier la configuration des paramètres de planification via un test de fumée dans l'environnement de développement, puis confirme les valeurs des paramètres dans le Operation Center après le déploiement.