DataWorks:Paramètres de planification

Utilisez deux variables personnalisées pour l'attribution comme suit :

• Date : paramètre datetime=$[yyyy-mm-dd]

• Heure : paramètre hour=$[hh24:mi:ss]

Après avoir obtenu séparément la date et l'heure, concaténez-les avec un espace dans le code sous la forme pt=${datetime} ${hour}. Par exemple, utilisez select * from xc_demo_partition where dt='${key1} ${key2}'; dans le code SQL, et configurez key1=$[yyyymmdd] key2=$[hh24miss] dans Schedule Settings > Parameters sur le côté droit.

Les paramètres de planification utilisent l'heure planifiée de l'instance. Les valeurs de substitution des paramètres de planification sont déterminées lors de la génération de l'instance et ne changent pas avec l'heure d'exécution réelle. Vous n'avez donc pas à vous inquiéter d'un changement des valeurs des paramètres de planification. Dans la page Operation Center > Scheduled Instances, le champ Scheduled Time du panneau Properties affiche l'heure d'exécution prévue de l'instance (par exemple 2021-07-13 00:00:00), que vous pouvez comparer à l'Start Time (par exemple 00:00:27) pour vérification. Sur la page Data Studio, configurez var1=$bizdate var2=$cyctime var3=$[yyyymmdd] var4=$[yyyymmddhh24miss] dans Schedule Settings > Parameters. Définissez Schedule sur Day et Scheduled Time sur 00:00. Utilisez select '${var1}' '${var2}'; dans le code pour vérifier respectivement les valeurs de la date métier et de l'heure planifiée.

Après avoir configuré les variables dans le code, cliquez sur Schedule Settings sur le côté droit de la page d'édition et attribuez des valeurs aux variables dans le panneau des paramètres. Pour plus d'informations sur les paramètres de planification, consultez Configurer les paramètres de planification. Par exemple, saisissez $(var) dans le champ Parameters du nœud ODPS Spark, ajoutez une ligne dans le tableau des paramètres avec le nom du paramètre var et la valeur du paramètre $bizdate, puis cliquez sur Preview Parameters pour vérifier le résultat de la substitution.

Certains nœuds, tels que les nœuds de synchronisation par lots, ne peuvent pas utiliser directement les valeurs de retour des paramètres de planification après leur configuration. Pour ces nœuds, configurez un nœud d'attribution comme nœud en amont du nœud cible. Le nœud d'attribution référence les paramètres de planification, traite et transforme les valeurs de retour, puis transmet les valeurs finales des paramètres au nœud cible en aval via la fonctionnalité de contexte de nœud.

• Pour plus d'informations sur la configuration des nœuds d'attribution, consultez Créer un nœud d'attribution.

• Pour plus d'informations sur la configuration du contexte de nœud, consultez Configurer le contexte de nœud.

Étant donné que le système de planification substitue automatiquement les paramètres de planification, utilisez Perform Smoke Testing in Development Environment pour tester la substitution des paramètres de planification dans Data Studio.

Solution :

1. Vérifiez si une valeur a été attribuée au paramètre de planification.

2. Vérifiez si le paramètre de planification configuré répond aux exigences. Pour plus d'informations, consultez Configurer les paramètres de planification.

Solution :

1. Vérifiez si des valeurs ont été attribuées aux variables.

2. Vérifiez la présence d'espaces superflus dans les paramètres de planification.

3. Dans le nom du nœud, un point (.) et des caractères chinois ne peuvent pas être utilisés ensemble.

Exemple : time①=②$[yyyymmdd③hh24:mi:ss]time1=$[yyyymmdd]④time2=$[hh24:mi:ss] (①②③④ indiquent les positions des espaces).

• Aucun espace n'est autorisé de part et d'autre du signe égal (=) dans un paramètre de planification. Cela s'applique aux positions ① et ② de l'exemple.

• Les espaces ne sont pas pris en charge dans les valeurs des paramètres de planification. Cela s'applique à la position ③ de l'exemple.

• Deux paramètres de planification doivent être séparés par un seul espace. Cela s'applique à la position ④ de l'exemple.

Si vous avez modifié les paramètres de planification dans Data Studio et soumis et déployé les modifications, vérifiez le panneau des propriétés de la tâche planifiée dans Operation Center de production pour vous assurer que les paramètres de planification correspondent aux attentes. Si ce n'est pas le cas, vérifiez la page de déploiement de la tâche et le package de déploiement pour confirmer le succès du déploiement. Consultez le panneau des propriétés de l'instance planifiée pour afficher la substitution des paramètres de planification pour une instance spécifique.

Exemple :

• Le paramètre de planification time1 de l'instance planifiée A1 du jour actuel pour le nœud A est défini sur $bizdate. L'instance a été exécutée avec succès et la valeur du paramètre dans le code est la date métier bizdate (valeur spécifique).

• À un moment donné de la journée, le paramètre de planification time1 est modifié de $bizdate à $cyctime. Le paramètre d'exécution de l'instance du jour actuel affiche alors l'heure planifiée cyctime (valeur spécifique).

• Si vous réexécutez l'instance actuelle, la dernière configuration des paramètres est utilisée : time1=$cyctime.

• Pour afficher la substitution des paramètres de planification utilisée par une instance avant la modification du paramètre de planification, consultez les journaux. Pour plus d'informations, voir la FAQ : Comment vérifier la substitution des paramètres pour une instance en cours d'exécution à l'aide des journaux ?

Sur la page Operation Center > Scheduled Instances, sélectionnez une instance et affichez les valeurs de substitution réelles des paramètres de planification dans le champ Execution Parameters du panneau Properties en bas (telles que var1=20210708233000 var2=20210709000000) pour confirmer si les paramètres sont mis à jour comme prévu.

Dans le code, recherchez le mot-clé SKYNET_PARAVALUE.

07-09 00:00:19  INFO SKYNET_RERUN_MODE=1:
07-09 00:00:19  INFO SKYNET_FLOW_PARAVALUE=:
07-09 00:00:19  INFO SKYNET_ONDUTY=xxx:
07-09 00:00:19  INFO SKYNET_SYSTEMID=:
07-09 00:00:19  INFO CALC_ENGINE_IDENTIFIER=xxx:
07-09 00:00:19  INFO SKYNET_SOURCEID=xxx:
07-09 00:00:19  INFO SKYNET_PARAVALUE=var1=20210708233000 var2=20210709000000:
07-09 00:00:19  INFO SKYNET_TASKID=xxx:
07-09 00:00:19  INFO SKYNET_TENANT_ID=283789484710656:
07-09 00:00:19  INFO SKYNET_ID=700003341088:
07-09 00:00:19  INFO SKYNET_JOBID=700200619122:
07-09 00:00:19  INFO SKYNET_NODENAME=xc_partition_copy:
07-09 00:00:19  INFO SKYNET_CYCTYPE=0:
07-09 00:00:19  INFO SKYNET_DSC_JOB_VERSION=1:
07-09 00:00:19  INFO SKYNET_TASK_INPUT={}:
07-09 00:00:19  INFO SKYNET_FLOWNAME=ATCLOUD_FLOW:
07-09 00:00:19  INFO FILE_ID=700003341088:

L'heure d'été (DST) est prise en charge pour la génération d'instances et le calcul des partitions de paramètres, garantissant une exécution correcte les jours où la DST commence et se termine. L'exemple suivant utilise l'heure du Pacifique (États-Unis) :

• Le jour où la DST commence, 23 instances sont générées. Un décalage de 10 minutes avant 03 h 00 ce jour-là donne 01 h 50. Les tâches planifiées à 02 h 00 le jour où la DST commence sont exécutées à blanc.

• Le jour où la DST se termine, 24 instances sont générées. Un décalage de 10 minutes avant 03 h 00 ce jour-là donne 02 h 50.