DataWorks:Nœud Shell

Développement du nœud

1. Connectez-vous à la console DataWorks. Après avoir sélectionné la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Sélectionnez l'espace de travail cible dans la liste déroulante, puis cliquez sur Go to DataStudio.

2. Placez le curseur sur l'icône , puis cliquez sur Create Node > General > Shell. Dans la boîte de dialogue Create Node, saisissez le nom du nœud et son chemin d'accès.

3. Saisissez du code shell standard dans l'éditeur de script (la syntaxe interactive n'est pas prise en charge) :

   echo "Hello DataWorks!"

4. Une fois le code terminé, cliquez sur , sélectionnez le groupe de ressources et l'image cibles, puis exécutez la tâche du nœud Shell.

5. Après le débogage réussi du script, cliquez sur Scheduling Settings à droite pour configurer des politiques de planification de niveau production, telles que l'horaire de planification et les propriétés de ressources. Cela permet au nœud de s'exécuter périodiquement comme prévu. Pour plus d'informations sur la configuration des propriétés de planification des nœuds, consultez la rubrique Configurer les paramètres de planification.

Déployer et gérer les nœuds

1. Une fois les propriétés de planification configurées, soumettez le nœud à l'environnement de développement, puis déployez-le dans l'environnement de production pour une planification périodique.

2. Après le déploiement du nœud, la tâche s'exécute périodiquement selon le planning que vous avez configuré. Cliquez sur l'icône en haut à gauche, puis sélectionnez All Products > Data Development and O&M > Operation Center sur la page de navigation qui s'affiche pour accéder à Operation Center. Ensuite, dans le menu de gauche, accédez à Task O&M > Auto Triggered Task O&M > Periodic tasks pour afficher les tâches planifiées déployées. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.

Référencer des ressources

1. DataWorks vous permet de télécharger des ressources vers DataWorks via la gestion des ressources pour les utiliser dans les nœuds Shell. Pour plus d'informations, consultez la rubrique Gérer les ressources.

   Remarque

   Une ressource doit être soumise avant de pouvoir être référencée par un nœud. Si la ressource est requise par une tâche de production, vous devez également la déployer dans l'environnement de production. Pour plus d'informations, consultez la rubrique Déployer des nœuds.

2. Dans l'arborescence de gauche de Data Studio, localisez la ressource téléchargée.

3. Cliquez avec le bouton droit sur la ressource et sélectionnez Insert Resource Path. La ressource est alors référencée dans le nœud actuel. Vous pouvez écrire du code sur la page d'édition du nœud pour exécuter la ressource.

   Remarque

   Après un référencement réussi, le système insère automatiquement un commentaire de déclaration au format ##@resource_reference{resource_name} en haut du script.

   Ce commentaire constitue un identifiant obligatoire permettant à DataWorks de reconnaître les dépendances de ressources et de monter automatiquement la ressource correspondante dans l'environnement d'exécution au moment de l'exécution. Ne le modifiez ni ne le supprimez manuellement.

Utiliser les paramètres de planification

Les paramètres de planification sont injectés dans les nœuds Shell en tant que paramètres positionnels. Les noms de variables personnalisés ne sont pas pris en charge. DataWorks transmet les valeurs des paramètres de planification que vous configurez dans les Scheduling Settings d'un nœud au script shell sous forme de paramètres positionnels, tels que $1, $2, $3, etc. Lorsque plus de 9 paramètres sont utilisés, employez la syntaxe avec accolades, telle que ${10} et ${11}, pour garantir une analyse correcte. Les valeurs de plusieurs paramètres doivent être séparées par des espaces, et l'ordre doit correspondre strictement aux références positionnelles dans le script.

Dans cet exemple :

• Le paramètre intégré $1 reçoit la date métier : $bizdate.

• Le paramètre personnalisé $2 reçoit la date métier : ${yyyymmdd}.

• Le paramètre personnalisé $3 reçoit la date métier : $[yyyymmdd].

• Si une valeur de paramètre contient des espaces, placez-la entre guillemets. L'intégralité du contenu situé entre les guillemets est traitée comme un seul paramètre.

• Pour plus d'informations sur la configuration et l'utilisation des paramètres de planification, consultez la rubrique Configurer les paramètres de planification.

Utiliser ossutil pour accéder à OSS

Le nœud Shell de DataWorks prend nativement en charge l'outil de ligne de commande Alibaba Cloud OSS ossutil, qui permet la gestion des buckets, le téléchargement et le téléversement de fichiers, les opérations par lot et d'autres tâches. Vous pouvez configurer les identifiants d'accès pour utiliser ossutil afin d'accéder à OSS via un fichier de configuration ou des paramètres de ligne de commande.

• Pour utiliser ossutil afin d'accéder à OSS via des paramètres de ligne de commande, consultez la rubrique Accéder à OSS à l'aide de paramètres de ligne de commande.

• Pour utiliser ossutil afin d'accéder à OSS via un fichier de configuration, consultez la rubrique Accéder à OSS à l'aide d'un fichier de configuration.

Annexe : Codes de sortie de script

Vous pouvez utiliser les codes de sortie de script pour déterminer plus précisément si un script s'est exécuté avec succès.

• Code de sortie 0 : indique un succès.

• Code de sortie -1 : indique que le processus a été arrêté.

• Code de sortie 2 : indique que la plateforme doit relancer automatiquement la tâche une fois.

• Autres codes de sortie : indiquent un échec.

Voici un exemple de journal d'exécution lorsque le nœud Shell s'exécute avec succès (code de sortie 0).

INFO Exit code of the Shell command 0 INFO --- Invocation of Shell command completed --- INFO Shell run successfully!

En raison du mécanisme shell sous-jacent, le code de sortie de l'ensemble du script dans un nœud Shell correspond au code de sortie de la dernière commande exécutée.