DataWorks:Nœud Shell

Développer le nœud

1. Connectez-vous à la console DataWorks. Après avoir basculé vers la région cible, cliquez sur Data Development and O&M > Data Development dans le volet de navigation de gauche. Dans la liste déroulante qui s'affiche, sélectionnez l'espace de travail cible, puis cliquez sur Data Analytics.

2. Sur la page Data Studio, créez un nœud Shell.

3. Saisissez du code shell standard dans l'éditeur de script (la syntaxe interactive n'est pas prise en charge) :

   echo "Hello DataWorks!"

4. Une fois le développement du code terminé, cliquez sur Debug Configuration sur le côté droit, sélectionnez le groupe de ressources de débogage cible ainsi que les autres paramètres d'exécution requis, puis cliquez sur le bouton Run pour lancer une exécution de débogage local.

5. Une fois que le script a passé la vérification de débogage, cliquez sur Scheduling Settings sur le côté droit pour configurer les politiques de planification de niveau production, y compris la planification, les dépendances et les paramètres, afin que le nœud puisse être exécuté automatiquement de manière périodique selon le plan établi.

6. Après avoir terminé la configuration de la planification des tâches, cliquez sur Save avant de passer à l'étape suivante.

Déployer et exploiter le nœud

1. Une fois les paramètres de planification terminés, soumettez et déployez le nœud Shell dans l'environnement de production pour le faire passer de l'état de développement à l'état de production. Pour la procédure spécifique et le processus de déploiement, consultez la rubrique Déployer un nœud.

2. Une fois le nœud déployé, la tâche s'exécute périodiquement en fonction de la planification que vous avez configurée. Cliquez sur l'icône en haut à gauche, puis choisissez All Products > Data Development and O&M > Operation and Maintenance Center dans la page de navigation qui s'affiche pour accéder au Centre d'opérations. Ensuite, dans le volet de navigation de gauche, accédez à Node O&M > Auto Triggered Task O&M > Auto Triggered Task pour afficher les tâches planifiées déployées. Pour plus d'informations, consultez la rubrique Gérer les tâches planifiées.

Référencer des ressources

1. DataWorks vous permet de télécharger les ressources dont vous avez besoin dans les nœuds Shell vers DataWorks via la gestion des ressources. Pour plus de détails, consultez la rubrique Gérer les ressources.

   Remarque

   Les ressources doivent être déployées avant de pouvoir être référencées par les nœuds. Si une tâche de production nécessite une ressource, vous devez également déployer la ressource dans l'environnement de production.

2. Ouvrez le nœud Shell que vous avez créé pour accéder à la page de l'éditeur de script.

3. Cliquez sur dans le volet de navigation de gauche pour ouvrir le menu de gestion des ressources, puis recherchez la ressource que vous souhaitez référencer. Cliquez avec le bouton droit sur la ressource et sélectionnez reference resource pour la référencer dans le script shell.

   Remarque

   • Une fois la ressource référencée, le système insère automatiquement un commentaire de déclaration au format ##@resource_reference{resource_name} en haut du script.

   • Ce commentaire est requis pour que DataWorks identifie les dépendances de ressources et monte automatiquement la ressource correspondante dans l'environnement d'exécution au moment de l'exécution. Ne le modifiez ni ne le supprimez manuellement.

Utiliser des paramètres de planification

Les paramètres de planification sont injectés dans les nœuds Shell en tant que paramètres positionnels. Les noms de variables personnalisés ne sont pas pris en charge. DataWorks transmet les valeurs de paramètres que vous configurez dans Scheduling Settings > Scheduling Parameters au script shell sous forme de paramètres positionnels tels que $1, $2 et $3, dans l'ordre. Lorsque le nombre de paramètres dépasse 9, utilisez la syntaxe avec accolades telle que ${10} et ${11} pour garantir une analyse correcte. Séparez les différentes valeurs de paramètres par des espaces et assurez-vous que l'ordre correspond strictement aux références positionnelles dans le script.

Par exemple, dans cet exemple :

• Le paramètre $1 reçoit l'heure actuelle : $[yyyymmdd].

• Le paramètre $2 reçoit une valeur fixe : Hello DataWorks.

• Si une valeur de paramètre contient des espaces, placez-la entre guillemets. L'intégralité du contenu entre guillemets est traitée comme un seul paramètre.

• Pour obtenir les paramètres de sortie d'un nœud en amont, ajoutez des paramètres dans Scheduling Settings > Node Context Parameters > Input Parameters et définissez les valeurs des paramètres sur les paramètres de sortie du nœud en amont.

Utiliser ossutil pour accéder à OSS

Le nœud Shell de DataWorks prend nativement en charge l'outil de ligne de commande Alibaba Cloud OSS ossutil, qui vous permet de gérer des buckets, de télécharger et de téléverser des fichiers, et d'effectuer des opérations par lots. Vous pouvez configurer les informations d'identification d'accès à l'aide d'un fichier de configuration ou de paramètres de ligne de commande pour accéder à OSS avec ossutil.

• Pour utiliser ossutil afin d'accéder à OSS à l'aide de paramètres de ligne de commande, consultez la rubrique Utiliser des paramètres de ligne de commande.

• Pour utiliser ossutil afin d'accéder à OSS à l'aide d'un fichier de configuration, consultez la rubrique Utiliser un fichier de configuration.

Dans le nouveau Data Studio, spécifiquement pour les nœuds Shell, en plus des deux méthodes précédentes, vous pouvez associer un rôle RAM et utiliser Alibaba Cloud STS (Security Token Service) pour obtenir dynamiquement des informations d'identification de sécurité temporaires pour le rôle, puis utiliser ossutil pour accéder à OSS. Cette méthode vous permet d'accéder de manière sécurisée aux ressources cloud cibles sans coder en dur des informations d'identification AccessKey à long terme dans votre code. Pour plus de détails, consultez la rubrique Associer un rôle RAM pour exécuter un nœud.

ossutil est préinstallé dans l'environnement DataWorks. Vous n'avez pas besoin de l'installer manuellement. Le chemin par défaut est /home/admin/usertools/tools/ossutil64.

Utiliser des datasets pour accéder à OSS ou NAS

DataWorks vous permet de créer des datasets OSS ou NAS, puis de référencer les datasets lors du développement de nœuds Shell pour lire et écrire dans le stockage OSS ou NAS lors de l'exécution du nœud Shell.

Exécuter un nœud à l'aide d'un rôle associé

Vous pouvez associer un rôle RAM pour exécuter un nœud, ce qui vous permet d'exécuter des tâches de nœud avec un rôle RAM spécifique pour un contrôle granulaire des autorisations et une gestion de la sécurité.