DataWorks:Paramètres de planification

Utilisez deux variables personnalisées :

• Année, mois et jour : Paramètre datetime=$[yyyy-mm-dd]

• Heure, minute et seconde : Paramètre hour=$[hh24:mi:ss]

Après avoir obtenu séparément la date et l'heure, concaténez-les avec un espace dans le code sous la forme pt=${datetime} ${hour}. Par exemple, utilisez cette instruction SQL : select * from xc_demo_partition where dt='${key1} ${key2}';. Sous Schedule > Parameters, configurez key1=$[yyyymmdd] key2=$[hh24miss].

Les paramètres de planification utilisent l'heure planifiée de l'instance. Leurs valeurs résolues sont définies lors de la génération de l'instance et ne changent pas avec son heure d'exécution réelle. Dans Operation Center > Periodic Instances, le panneau Properties affiche Scheduled Time comme l'heure d'exécution prévue, par exemple 2021-07-13 00:00:00. Comparez-la avec Start Time, par exemple 00:00:27. Dans Data Development, configurez Schedule > Parameters avec var1=$bizdate var2=$cyctime var3=$[yyyymmdd] var4=$[yyyymmddhh24miss], et conservez la formule de calcul pour Set the scheduling cycle sur Day et and the scheduled run time sur 00:00. Dans le code, utilisez select '${var1}' '${var2}'; pour vérifier séparément les valeurs de la date métier et de l'heure planifiée.

Après avoir défini les variables dans le code, cliquez sur Schedule à droite de l'éditeur et affectez les valeurs dans le panneau des paramètres. Pour plus d'informations sur les paramètres de planification, consultez Formats des paramètres de planification. Par exemple, saisissez Parameters dans le champ du nœud ODPS Spark : $(var). Ajoutez une ligne au tableau des paramètres avec le nom du paramètre var et la valeur $bizdate. Cliquez sur Scheduling Parameter Preview pour vérifier les valeurs résolues.

Certains nœuds, tels que les nœuds de synchronisation par lots, ne peuvent pas utiliser directement le résultat d'un paramètre de planification et nécessitent une conversion supplémentaire. Configurez un nœud d'affectation en amont. Celui-ci doit référencer le paramètre de planification, convertir le résultat, puis transmettre la valeur finale au nœud aval via le contexte du nœud.

• Pour configurer un nœud d'affectation, consultez Nœud d'affectation.

• Pour configurer le contexte du nœud, consultez Configurer le contexte du nœud.

Le système de planification remplace automatiquement les paramètres de planification. Pour les tester dans Data Development comme ils le seraient par le planificateur, utilisez un test de fumée dans l'environnement de développement.

Solution Solution :

1. Vérifiez si le paramètre de planification possède une valeur.

2. Vérifiez si le paramètre configuré respecte les exigences. Pour plus d'informations, consultez Formats des paramètres de planification.

Solution :

1. Vérifiez si la variable possède une valeur.

2. Vérifiez la présence d'espaces superflus dans le paramètre de planification.

3. Ne combinez pas un point (.) et des caractères chinois dans le nom d'un nœud.

Exemple : time①=②$[yyyymmdd③hh24:mi:ss]time1=$[yyyymmdd]④time2=$[hh24:mi:ss] (①②③④ indiquent l'emplacement des espaces).

• Ne mettez pas d'espaces autour du signe égal (=) dans un paramètre de planification ; voir ① et ②.

• Les espaces ne sont pas pris en charge au sein d'une affectation de paramètre de planification ; voir ③.

• Séparez deux paramètres de planification par un seul espace ; voir ④.

Après avoir modifié un paramètre de planification dans Data Development et validé et publié la tâche, vérifiez sa valeur dans le panneau Properties de la tâche périodique dans Operation Center en production. Si elle n'est pas conforme aux attentes, vérifiez l'état de publication de la tâche et le package de publication pour confirmer que la publication a réussi. Dans le panneau Properties de l'instance périodique, affichez les valeurs de remplacement pour une instance individuelle.

Scénario en temps réel :

• Le jour actuel, le paramètre de planification time1 de l'instance périodique A1 pour le nœud A a la valeur $bizdate. L'instance s'est exécutée avec succès ce jour-là, et la valeur utilisée dans le code était la date métier bizdate (valeur spécifique).

• Plus tard dans la journée, le paramètre time1 passe de $bizdate à $cyctime. Le paramètre d'exécution affiché pour l'instance de ce jour devient l'heure planifiée cyctime (valeur spécifique).

• Si vous réexécutez cette instance, elle utilise la dernière configuration : time1=$cyctime

• Pour voir les valeurs de remplacement des paramètres utilisées avant la modification, consultez les journaux. Pour plus d'informations, consultez la FAQ sur l'affichage des valeurs de remplacement dans les journaux.Comment afficher les valeurs des paramètres de planification utilisées par une instance dans ses journaux ?.

Dans la page Operation Center > Periodic Instances, sélectionnez une instance. Dans le champ Execution Parameters du panneau Properties, affichez les valeurs résolues réelles, telles que var1=20210708233000 var2=20210709000000, et confirmez que les valeurs sont mises à jour comme prévu.

Recherchez SKYNET_PARAVALUE dans le journal.

07-09 00:00:19  INFO SKYNET_RERUN_MODE=1:
07-09 00:00:19  INFO SKYNET_FLOW_PARAVALUE=:
07-09 00:00:19  INFO SKYNET_ONDUTY=xxx:
07-09 00:00:19  INFO SKYNET_SYSTEMID=:
07-09 00:00:19  INFO CALC_ENGINE_IDENTIFIER=xxx:
07-09 00:00:19  INFO SKYNET_SOURCEID=xxx:
07-09 00:00:19  INFO SKYNET_PARAVALUE=var1=20210708233000 var2=20210709000000:
07-09 00:00:19  INFO SKYNET_TASKID=xxx:
07-09 00:00:19  INFO SKYNET_TENANT_ID=283789484710656:
07-09 00:00:19  INFO SKYNET_ID=700003341088:
07-09 00:00:19  INFO SKYNET_JOBID=700200619122:
07-09 00:00:19  INFO SKYNET_NODENAME=xc_partition_copy:
07-09 00:00:19  INFO SKYNET_CYCTYPE=0:
07-09 00:00:19  INFO SKYNET_DSC_JOB_VERSION=1:
07-09 00:00:19  INFO SKYNET_TASK_INPUT={}:
07-09 00:00:19  INFO SKYNET_FLOWNAME=ATCLOUD_FLOW:
07-09 00:00:19  INFO FILE_ID=700003341088:

L'heure d'été est prise en charge pour la génération des instances et les calculs de partition des paramètres, afin que les tâches s'exécutent correctement lors des jours de transition. Par exemple, dans le fuseau horaire Pacifique des États-Unis :

• Le jour du début de l'heure d'été, 23 instances sont générées. La soustraction de 10 minutes à 03 h 00 donne 01 h 50. Une tâche planifiée pour 02 h 00 ce jour-là s'exécute comme une tâche vide.

• Le jour de la fin de l'heure d'été, 24 instances sont générées. La soustraction de 10 minutes à 03 h 00 donne 02 h 50.