Les paramètres de workflow permettent d'attribuer ou de remplacer une valeur de paramètre de manière centralisée pour plusieurs nœuds au sein d'un workflow. L'exemple suivant détaille le remplacement de la valeur du paramètre ReplaceMe dans un workflow déclenché automatiquement.
Prérequis
Un workflow a été créé pour configurer les paramètres de workflow. Pour plus d'informations, consultez les rubriques Créer un workflow déclenché automatiquement et Créer un workflow déclenché manuellement.
-
Des nœuds ont été créés dans le workflow. Les paramètres de workflow que vous configurez remplacent les valeurs de paramètre d'origine dans ces nœuds.
RemarqueActuellement, les paramètres de workflow sont pris en charge uniquement pour les types de nœuds suivants : ODPS SQL, PyODPS 3, EMR Spark Shell, EMR Spark, EMR Shell, EMR Hive, EMR MR, EMR Presto, EMR Trino, EMR Spark SQL, EMR Spark Streaming, EMR Streaming SQL et Hologres SQL. L'interface utilisateur affiche la liste la plus récente des types de nœuds pris en charge.
Pour créer un nœud, consultez la rubrique Types de nœuds.
Types de nœuds pris en charge
Actuellement, les paramètres de workflow sont pris en charge uniquement pour les types de nœuds suivants : ODPS SQL, PyODPS 3, EMR Spark Shell, EMR Spark, EMR Shell, EMR Hive, EMR MR, EMR Presto, EMR Trino, EMR Spark SQL, EMR Spark Streaming, EMR Streaming SQL et Hologres SQL. L'interface utilisateur affiche la liste la plus récente des types de nœuds pris en charge.
Notes d'utilisation
Après avoir enregistré un paramètre de workflow, DataWorks charge la dernière configuration chaque fois que vous ouvrez un nœud pris en charge, ce qui place le nœud dans un état modifiable. Pour appliquer la nouvelle configuration aux exécutions planifiées, validez et déployez le nœud.
Si un paramètre de workflow et un paramètre au niveau du nœud portent le même nom, la valeur du paramètre de workflow est prioritaire.
Lorsque vous attribuez une valeur à un paramètre de workflow, le champ Value/Expression ne prend pas en charge le format ${key}:value. Par exemple, var:1 et ${var}:1 sont des valeurs invalides.
Paramètres des paramètres de workflow
-
Accédez à la page DataStudio.
Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
-
Ouvrez les paramètres des paramètres de workflow.
Dans DataStudio, recherchez votre workflow dans l'arborescence du volet Data Development et double-cliquez dessus pour ouvrir l'éditeur de workflow, où vous pouvez accéder aux paramètres Workflow Parameters. Le côté gauche de l'onglet répertorie les types de nœuds courants tels que ODPS SQL, PyODPS 3, EMR Hive, EMR Spark SQL et Hologres SQL. La barre d'outils propose les boutons Run et Commit. Dans le coin supérieur droit, vous trouverez des liens vers Deploy et Operation Center.
Configurer les paramètres de workflow
La méthode de configuration est identique pour tous les types de nœuds pris en charge. Utilisez les paramètres de workflow lorsque vous devez attribuer la même valeur à un paramètre sur plusieurs nœuds. L'exemple suivant modifie la valeur du paramètre ReplaceMe dans un nœud ODPS SQL de 20230613 à 20230615.
-
Configurez le paramètre au niveau du nœud.
-
Ouvrez l'éditeur de nœud.
Double-cliquez sur le nœud ODPS SQL au sein de votre workflow cible pour ouvrir son éditeur.
-
Configurez le paramètre du nœud.
Définissez la valeur du paramètre du nœud ODPS SQL sur
20230613. Dans l'éditeur de code, saisissez l'instructionSELECT ${ReplaceMe};. Cliquez sur l'onglet Properties dans le volet de droite. Dans le tableau Parameters, ajoutez un paramètre nomméReplaceMeavec la valeur20230613. Cliquez sur Scheduling Parameter Preview. Dans la boîte de dialogue qui s'affiche, vérifiez que le paramètre de chaque instance est correctement défini surReplaceMe=20230613. Pour plus d'informations sur la configuration des paramètres de nœud, consultez la rubrique Configurer les paramètres de planification.
-
-
Utilisez un paramètre de workflow pour remplacer la valeur du paramètre au niveau du nœud.
Double-cliquez sur le workflow cible et, dans le volet de navigation de droite du canevas de workflow, cliquez sur Workflow Parameters.
-
Dans la boîte de dialogue Workflow Parameters, configurez le paramètre.
Cet exemple définit la valeur du paramètre de workflow sur
20230615. Après avoir enregistré la configuration, la valeur du paramètre dans le nœud ODPS SQL devient20230615. Vous pouvez également ajouter plusieurs paramètres selon vos besoins.RemarqueSi un paramètre de workflow et un paramètre au niveau du nœud portent le même nom, la valeur du paramètre de workflow est prioritaire.
Lorsque vous attribuez une valeur à un paramètre de workflow, le champ Value/Expression ne prend pas en charge le format ${key}:value. Par exemple, var:1 et ${var}:1 sont des valeurs invalides.
Dans la boîte de dialogue Workflow Parameters, définissez le Parameter Name sur
ReplaceMeet sa valeur sur 20230615, puis cliquez sur Save. Pour cet exemple, où le code ODPS SQL estSELECT ${ReplaceMe};, la valeur analysée d'origine pour le paramètre ReplaceMe est20230613. Si vous cliquez sur Scheduling Parameter Preview, vous pouvez constater que le paramètre ReplaceMe pour les trois prochaines instances prend la valeur du paramètre de workflow20230615, ce qui confirme que le paramètre de workflow a pris effet.
Vérifier la configuration
Après avoir configuré le paramètre de workflow, exécutez le workflow pour vérifier que la valeur du paramètre de workflow remplace correctement la valeur au niveau du nœud.
-
Exécutez le workflow et attribuez une valeur à la variable.
Lorsque vous exécutez un workflow utilisant des paramètres de workflow, vous devez attribuer une valeur à chaque paramètre au moment de l'exécution. Pour plus d'informations, consultez la rubrique procédure de débogage.
Dans la barre d'outils de l'éditeur de workflow, cliquez sur l'icône Exécuter
.Dans la boîte de dialogue Enter parameters., attribuez la valeur
20230615à la variable ReplaceMe.
-
Vérifiez le résultat de l'exécution.
Sur le canevas du workflow, cliquez avec le bouton droit sur le nœud ODPS SQL et sélectionnez View Log. Le journal s'affiche en bas de la page et montre l'attribution des paramètres. La valeur du paramètre du nœud est passée de
20230613à20230615, confirmant que le paramètre de workflow a pris effet. Dans le journal d'exécution, la ligneSKYNET_PARAVALUE=ReplaceMe=20230615indique que le paramètre de workflow a été appliqué.2023-06-14 16:19:57 INFO Current task status:RUNNING 2023-06-14 16:19:57 INFO Start execute shell on node cn-shanghai.475270149050624.1626085771455. 2023-06-14 16:19:57 INFO Current working dir /home/admin/alisatasknode/taskinfo/20230614/phoenix/16/19/55/mm8wog2kwtj8czebilx1dbcp 2023-06-14 16:19:57 INFO Full Command .. 2023-06-14 16:19:57 INFO —————————— 2023-06-14 16:19:57 INFO /opt/taobao/tbdpapp/odpswrapper/odpswrapper.py /home/admin/alisatasknode/taskinfo//20230614/phoenix/16/19/55/mm8wog2kwtj8czebilx1dbcp//275011_10728491_503348330 ReplaceMe=20230615 2023-06-14 16:19:57 INFO —————————— 2023-06-14 16:19:57 INFO List of passing environment .. 2023-06-14 16:19:57 INFO —————————— 2023-06-14 16:19:57 INFO SKYNET_BUSINESS_NAME=WorkFlow Parameters: 2023-06-14 16:19:57 INFO SKYNET_ENDPOINT=http://service.cn.maxcompute.aliyun-inc.com/api: 2023-06-14 16:19:57 INFO SKYNET_PTYPE=10: 2023-06-14 16:19:57 INFO SKYNET_ACTIONID=1: 2023-06-14 16:19:57 INFO TASK_WHITE_LIST=oapi.dingtalk.com:443,47.102.239.120:3306: 2023-06-14 16:19:57 INFO SKYNET_RERUN_MODE=1: 2023-06-14 16:19:57 INFO SKYNET_FLOW_PARAVALUE={"ReplaceMe":"20230615"}: 2023-06-14 16:19:57 INFO SKYNET_ONDUTY=204288958124218159: 2023-06-14 16:19:57 INFO SKYNET_SYSTEMID=dev: 2023-06-14 16:19:57 INFO CALC_ENGINE_IDENTIFIER=saochen_mc_0508_dev: 2023-06-14 16:19:57 INFO SKYNET_SOURCEID=700028402970: 2023-06-14 16:19:57 INFO SKYNET_PARAVALUE=ReplaceMe=20230615: 2023-06-14 16:19:57 INFO SKYNET_TASKID=708xxx: 2023-06-14 16:19:57 INFO SKYNET_TENANT_ID=283789484710656:
Valider et déployer le workflow
Après avoir vérifié que la configuration des paramètres de workflow est correcte, validez et déployez le workflow pour appliquer les modifications aux exécutions planifiées.
-
Validez le workflow.
Lors de la validation, sélectionnez les nœuds à inclure et fournissez une description des modifications.
RemarqueSi cette fonctionnalité est activée, un examinateur doit approuver le code validé avant le déploiement. Pour plus d'informations, consultez la rubrique revue de code.
Cliquez sur le bouton Commit dans la barre d'outils. Dans la boîte de dialogue qui s'affiche, sélectionnez les nœuds à valider, saisissez une Change Description et configurez Code Review et Force Modify selon vos besoins. Vous pouvez également cocher la case Ignore alerts for inconsistent I/O. Cliquez sur OK.
-
Déployez le workflow.
Si votre espace de travail est en standard mode, cliquez sur le bouton Deploy dans le coin supérieur droit après une validation réussie. Pour plus d'informations, consultez la rubrique Déployer un nœud.