DataWorks:Nœud de transfert de données

Contexte

Un nœud de transfert de données utilise les Node Context Parameters pour récupérer les paramètres de sortie des nœuds de requête SQL en amont, tels que les nœuds d'assignation, les nœuds Hologres SQL ou les nœuds ClickHouse SQL. Vous pouvez référencer ces paramètres comme des espaces réservés dans le corps du message transféré et envoyer le contenu vers la destination.

• Une fois qu'un nœud de requête SQL en amont a terminé son exécution, il génère un paramètre de sortie nommé outputs contenant les résultats de la requête.

• Dans le nœud de transfert de données en aval, utilisez les Node Context Parameters pour récupérer le paramètre outputs du nœud en amont et liez-le en tant que paramètre d'entrée.

• Dans la configuration du nœud de transfert de données, référencez le paramètre d'entrée comme contenu à transférer, définissez la destination et envoyez le contenu.

Nœuds de requête SQL pris en charge en amont :

• Nœud d'assignation : les nœuds de requête MaxCompute SQL ne sont pas directement pris en charge. Si nécessaire, créez un nœud d'assignation pour interroger les données MaxCompute.

• Autres nœuds SQL : Nœud Hologres SQL, Nœud ClickHouse SQL, Nœud AnalyticDB for MySQL SQL, Nœud AnalyticDB for PostgreSQL SQL, Nœud StarRocks SQL, Nœud PostgreSQL et Nœud MySQL.

Prérequis

• Vous avez créé un espace de travail.

• Vous avez créé un groupe de ressources serverless et l'avez associé à l'espace de travail DataWorks cible.

Limites

• Les limites de taille des données pour les différentes destinations de transfert sont les suivantes.

  Destination du transfert	Limites de transfert
  DingTalk	La taille des données transférées ne doit pas dépasser 20 Ko.
  Lark	La taille des données transférées ne doit pas dépasser 20 Ko, et les images doivent être inférieures à 10 Mo.
  WeCom	Chaque bot peut envoyer au maximum 20 messages par minute.
  Teams	La taille des données transférées ne doit pas dépasser 28 Ko.
  E-mail	Chaque tâche de transfert de données prend en charge un seul corps d'e-mail. Si un corps d'e-mail a déjà été ajouté, vous ne pouvez pas en ajouter un autre. Pour plus de limites, reportez-vous aux limites SMTP de votre service de messagerie.

• Régions prises en charge pour le transfert de données :

  Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Japon (Tokyo), États-Unis (Silicon Valley) et États-Unis (Virginie).

Accéder à Data Studio

1. Accédez à la page Espaces de travail dans la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Recherchez l'espace de travail souhaité et choisissez Shortcuts > Data Studio dans la colonne Actions.

2. Dans le volet de navigation de gauche, cliquez sur l'icône pour accéder à la page Data Studio.

Créer un pipeline de transfert

Créez et configurez un pipeline composé d'un nœud de requête SQL et d'un nœud de transfert de données.

1. Créer un workflow, puis créez un nœud de requête SQL et un nœud de transfert de données dans le workflow.

2. Créez un nœud de requête SQL et ajoutez le code SQL des données que vous souhaitez interroger et transférer.

   Remarque

   • Le nœud de transfert de données ne permet pas de récupérer directement les données de requête depuis ODPS SQL. Créez un nœud d'assignation et interrogez les données à transférer dans ce nœud d'assignation.

   • Créez les autres nœuds de requête SQL comme d'habitude.

3. Configurez le nœud de requête SQL.

   Configurez la Compute Resource, le Resource Group for Scheduling et la Same-cycle Dependency dans le panneau Scheduling Settings situé à droite du nœud. S'il n'existe aucun nœud en amont, sélectionnez Add Root Node. La configuration des paramètres de sortie diffère comme suit :

   Type de nœud	Notes de configuration
   Nœud d'assignation	Un nœud d'assignation possède un paramètre de sortie par défaut. Aucune configuration supplémentaire n'est requise.
   Autres nœuds de requête SQL	Les autres nœuds de requête SQL ne disposent pas de paramètres de sortie par défaut. Accédez aux Node Context Parameters dans le panneau Scheduling Settings à droite du nœud, recherchez les Node output parameters et cliquez sur Add Assignment Parameter pour transmettre les résultats de la requête au nœud de transfert de données en aval.

4. Vous avez créé un nœud de transfert de données et configuré le nœud de requête SQL comme nœud en amont.

   1. Cliquez sur Scheduling Settings. Dans la section Scheduling Dependency > Same-cycle Dependency, cliquez sur Add et recherchez par nom de nœud pour ajouter le nœud de requête SQL que vous avez créé en tant que nœud en amont du nœud de transfert de données.

   2. Dans la section Scheduling Policy > Resource Group for Scheduling, sélectionnez le groupe de ressources serverless que vous avez créé.

   3. Dans la section Node Context Parameters > Input Parameters, cliquez sur Add parameters pour ajouter le paramètre de sortie du nœud de requête SQL comme source de valeur et le lier en tant que paramètre d'entrée du nœud de transfert de données.

Configurer les destinations et le contenu du transfert

Sur la page d'édition du nœud de transfert de données, personnalisez le titre du transfert et configurez la destination ainsi que le contenu du corps du message.

Déboguer le transfert de données

Une fois la configuration terminée, enregistrez le nœud de requête SQL et le nœud de transfert de données. Ensuite, cliquez sur l'icône dans la barre d'outils au-dessus du workflow pour déboguer la tâche.

Étapes suivantes

• Configurer les paramètres de planification : pour exécuter les nœuds selon une planification périodique, configurez la Scheduling Policy dans le panneau Scheduling Settings situé à droite du nœud.

• Déployer un nœud : pour déployer les tâches dans l'environnement de production, cliquez sur l'icône pour lancer le déploiement. Les nœuds ne sont planifiés périodiquement qu'après leur déploiement en production.