DataWorks:Configurer et utiliser les paramètres de planification

1. Définir les paramètres

1. Double-cliquez sur le nœud cible, par exemple un nœud ODPS SQL, pour ouvrir l'éditeur de nœud.

2. Dans le code d'un nœud ODPS SQL ou d'autres nœuds basés sur SQL, définissez un nom de paramètre en utilisant la syntaxe ${param}. DataWorks recommande d'utiliser un nom de paramètre descriptif pour faciliter sa référence et sa gestion.

   Syntaxe des paramètres de planification :

   Type	Syntaxe	Applicabilité	Remarques
   Format général	${parameter_name}	S'applique à la plupart des types de nœuds, tels que les nœuds ODPS SQL et les nœuds de synchronisation de données.	Il s'agit du format le plus courant.
   Format spécial	Varie selon le type de nœud et n'utilise pas le format ${...}.	PyODPS et Shell	Pour plus d'informations, consultez Exemples de configuration des paramètres de planification pour différents types de nœuds.

   -- Example: Define a variable named pt_date for partition filtering.
   SELECT * FROM my_table WHERE ds = '${pt_date}'; 

3. Dans le volet de droite, cliquez sur Scheduling pour accéder à la section Scheduling Parameter.

4. Configurez les paramètres de planification comme décrit dans la section suivante.

2. Configurer les paramètres

Vous pouvez définir les paramètres de planification en mode Visual definition ou Define by expression. Basculez entre ces modes en cliquant sur Define by expression dans le coin supérieur droit de la liste des paramètres. Le mode Visual definition est activé par défaut.

1. Configurer les paramètres

   Mode visuel

   Cliquez sur Scheduling dans le volet de droite pour ouvrir le panneau de configuration des paramètres de planification.

   • Ajouter un paramètre

     Cliquez sur Scheduling à droite du nœud et ajoutez des paramètres dans la section Scheduling Parameter. Vous pouvez ajouter des paramètres de l'une des deux manières suivantes.

     1. Cliquez sur Add Parameter et saisissez manuellement un nom et une valeur. Le nom du paramètre doit être identique au nom de la variable défini dans le code.

     2. Cliquez sur Load Parameters in Code. DataWorks analyse automatiquement les variables de votre code, telles que ${pt_date}, et les renseigne dans la liste des paramètres. Il vous suffit de saisir une valeur pour chaque paramètre.

   • Attribuer une valeur

     Vous pouvez attribuer des paramètres intégrés, des variables de temps personnalisées ou des constantes comme valeurs.

     • Cliquez sur la zone de saisie. Une liste déroulante apparaît avec des expressions de paramètres couramment utilisées que vous pouvez sélectionner directement. Vous pouvez également saisir manuellement une expression personnalisée ou une variable intégrée.

     • Saisissez une valeur en fonction de vos besoins métier. Pour plus d'informations sur les formats de valeur pris en charge, consultez Formats pris en charge des paramètres de planification.

   Mode expression

   Cliquez sur Define by expression pour passer en mode Expression. Utilisez ce mode si vous préférez configurer les paramètres avec des expressions.

   • En mode Expression, séparez plusieurs paramètres par des espaces.

   • Lorsque vous ajoutez, supprimez ou modifiez des paramètres de planification dans Define by expression, DataWorks valide la syntaxe de l'expression. Si la syntaxe n'est pas valide, le paramètre ne peut pas être configuré.

     Par exemple, DataWorks applique des règles, telles que l'interdiction des espaces de part et d'autre du signe égal (=).

2. Aperçu des paramètres

   Après avoir défini les paramètres, cliquez sur Preview Scheduling Parameters pour voir comment les paramètres seront résolus pour les instances à venir en fonction d'un horodatage de données spécifié. Cela vous aide à tester la validité des définitions. Vous pouvez ajuster l'horodatage des données et le nombre d'instances à afficher en aperçu.

3. Test de fumée

Après avoir attribué des valeurs aux paramètres de planification, utilisez la fonctionnalité de test de fumée. Elle vous permet de définir un horodatage de données et de simuler l'exécution de la tâche, afin de vérifier que le code s'exécute correctement et que les paramètres de planification sont remplacés comme prévu. Si les résultats ne sont pas conformes aux attentes, ajustez rapidement la configuration pour éviter des problèmes lors des exécutions planifiées.

Les tests de fumée génèrent des instances, ce qui entraîne des frais. Pour plus d'informations sur la tarification des instances, consultez Facturation des groupes de ressources serverless .

1. Validez le code du nœud.

   1. Configurez l'heure de planification et les dépendances de planification.

   2. Cliquez sur l'icône Enregistrer . Une fois le code et les configurations enregistrés, cliquez sur l'icône Valider pour envoyer le dernier code et la configuration vers Operation Center. Vous ne pouvez utiliser la fonctionnalité de test de fumée dans l'environnement de développement qu'après avoir validé le nœud.

      Remarque

      Si vous constatez que le test de fumée n'exécute pas le dernier code ou les derniers paramètres, validez à nouveau le nœud.

2. Exécutez le test de fumée.

   Cliquez sur l'icône Test de fumée dans la barre d'outils. Dans la boîte de dialogue Perform Smoke Testing, sélectionnez un horodatage de données et cliquez sur OK pour démarrer le test.

3. Consultez les journaux du test de fumée.

   1. Dans la fenêtre Smoke Testing Records qui s'affiche, recherchez le dernier enregistrement et cliquez sur View Log.

      Le journal affiche l'état et les détails d'exécution du nœud. La ligne des résultats de remplacement des paramètres montre les valeurs réelles de chaque paramètre de planification, ce qui vous permet de confirmer leur remplacement correct.

   2. Vérifiez la sortie des paramètres dans les journaux pour confirmer que les valeurs sont correctes.

      Remarque

      Si vous fermez accidentellement la fenêtre, vous pouvez la rouvrir en cliquant sur l'icône Journaux du test de fumée dans la barre d'outils.

4. Déployer et vérifier

Après vérification dans l'environnement de développement, déployez la tâche dans Operation Center pour une exécution planifiée en production. Après le déploiement, vérifiez les paramètres de planification dans l'environnement de production pour éviter les erreurs d'exécution.

1. Vérifiez les définitions des paramètres.

   Accédez à Operation Center, basculez vers la région et l'espace de travail cibles, puis accédez à la page Auto Triggered Task O&M > Periodic tasks. Dans la liste des tâches, cliquez sur le nom de la tâche et vérifiez les paramètres d'exécution dans le panneau Attribute pour vous assurer qu'ils sont corrects.

2. Effectuez un test de fumée dans Operation Center.

   Vous pouvez également utiliser le test de fumée dans Operation Center pour confirmer qu'une tâche déployée remplace les paramètres et exécute le code comme prévu dans l'environnement de production. Pour plus d'informations, consultez Exécuter un test et afficher l'instance de test.

   Important

   Notez que le test de fumée s'exécute sur des données de production réelles. Procédez avec prudence pour éviter de corrompre les données de votre base de données de production.

   Dans la boîte de dialogue Test de fumée, saisissez un Nom du test de fumée, sélectionnez l'horodatage de données cible dans Sélectionner l'horodatage des données, activez éventuellement Configuration avancée pour personnaliser les paramètres d'exécution de la tâche, puis cliquez sur OK pour démarrer le test.

3. Observez les résultats de planification réels.

   Une fois la tâche planifiée automatiquement, vérifiez que les paramètres ont été correctement remplacés en consultant les paramètres d'une instance déclenchée automatiquement dans Auto Triggered Instances.

   Dans la liste Instances déclenchées automatiquement, recherchez l'instance de tâche cible et cliquez sur son nom. Dans le panneau Propriétés à droite, affichez le champ Paramètres d'exécution pour confirmer que chaque paramètre a été remplacé par les valeurs de date et d'heure réelles.

Cet exemple utilise un nœud ODPS SQL pour montrer comment utiliser la fonctionnalité Perform smoke test in development environment dans l'environnement de développement afin de tester si les paramètres de planification configurés fonctionnent comme prévu. Une fois la tâche déployée, vous vérifierez également sa configuration de paramètres de planification dans Operation Center.