Le service DataStudio de DataWorks vous permet de créer différents types de nœuds, tels que des nœuds de synchronisation de données, des nœuds de ressources de calcul et des nœuds génériques, afin de répondre à vos divers besoins en matière de traitement des données. Les nœuds de ressources de calcul incluent les nœuds ODPS SQL, les nœuds Hologres SQL et les nœuds E-MapReduce (EMR) Hive. Les nœuds génériques comprennent les nœuds sans charge (zero load) et les nœuds de vérification (Check).
Si vous ne parvenez pas à créer un nœud de ressource de calcul, tel qu'un nœud ODPS SQL, Hologres SQL ou EMR Hive, dans DataStudio, cliquez sur Computing Resource dans le volet de navigation de gauche de la page DataStudio pour vérifier si la ressource de calcul correspondante est associée à DataStudio. Si la ressource de calcul correspondante est bien associée à DataStudio mais que vous ne pouvez toujours pas créer ce type de nœud, actualisez la page actuelle pour mettre à jour les données mises en cache ou essayez d'utiliser le navigateur en mode navigation privée.
Nœuds de synchronisation de données
|
Type |
Description |
Code du nœud |
Type de tâche (spécifié par TaskType) |
|
Ce type de nœud sert à synchroniser périodiquement des données hors ligne et à synchroniser des données entre des sources de données hétérogènes dans des scénarios complexes. Pour obtenir la liste des types de sources de données prenant en charge la synchronisation par lots, consultez la rubrique Types de sources de données pris en charge et opérations de lecture/écriture. |
23 |
DI |
|
|
Ce type de nœud permet de synchroniser des données incrémentielles en temps réel. Un nœud de synchronisation en temps réel utilise trois plug-ins de base pour lire, convertir et écrire les données. Ces plug-ins interagissent entre eux selon un format de données intermédiaire défini par les plug-ins eux-mêmes. Pour connaître les types de sources de données compatibles avec la synchronisation en temps réel, reportez-vous à la section Types de sources de données pris en charge et opérations de lecture/écriture. |
900 |
RI |
Outre les nœuds créables depuis la page DataStudio, DataWorks vous permet également de créer différents types de tâches de synchronisation dans Data Integration. Par exemple, vous pouvez concevoir une tâche de synchronisation qui transfère d'abord l'intégralité des données, puis les données incrémentielles en temps réel, ou encore une tâche qui synchronise toutes les données d'une base de données en mode hors ligne. Pour plus de détails, consultez la rubrique Présentation de la fonctionnalité de synchronisation complète et incrémentielle. Dans la plupart des cas, le code de nœud d'une tâche créée dans Data Integration est 24.
Nœuds de moteur de calcul
Au sein d'un workflow spécifique, créez des nœuds liés à un type particulier de moteur de calcul, développez vos traitements de données, soumettez le code au moteur de nettoyage de données correspondant, puis exécutez ce code.
Moteur de calcul intégré à DataWorks | Fonctionnalité du moteur encapsulée | Code du nœud | Type de tâche (spécifié par TaskType) |
MaxCompute | 10 | ODPS_SQL | |
225 | ODPS_SPARK | ||
221 | PYODPS | ||
1221 | PYODPS3 | ||
24 | ODPS_SCRIPT | ||
11 | ODPS_MR | ||
1010 | COMPONENT_SQL | ||
E-MapReduce | 227 | EMR_HIVE | |
230 | EMR_MR | ||
229 | EMR_SPARK_SQL | ||
228 | EMR_SPARK | ||
257 | EMR_SHELL | ||
259 | EMR_PRESTO |
Créer un nœud EMR Spark Streaming
264
SPARK_STREAMING
268
EMR_KYUUBI
267
EMR_TRINO
CDH
270
CDH_HIVE
271
CDH_SPARK
273
CDH_MR
278
CDH_PRESTO
279
CDH_IMPALA
272
CDH_SPARK_SQL
AnalyticDB for PostgreSQL
Créer et utiliser un nœud AnalyticDB for PostgreSQL
-
-
AnalyticDB for MySQL
Créer un nœud AnalyticDB for MySQL
1000126
-
Hologres
1093
HOLOGRES_SQL
Synchronisation de schéma depuis MaxCompute
1094
HOLOGRES_SYNC_DDL
Nœud de synchronisation de données depuis MaxCompute
1095
HOLOGRES_SYNC_DATA
ClickHouse
1301
CLICK_SQL
StarRocks
-
-
PAI
Planifier un pipeline PAI Designer avec DataWorks
1117
PAI_STUDIO
Créer et utiliser un nœud PAI DLC
1119
PAI_DLC
Base de données
Créer et utiliser un nœud MySQL
1000125
-
10001
-
10002
-
10003
-
10005
-
10006
-
10007
-
10008
-
10009
-
10011
-
10012
-
10013
-
10014
-
10015
-
10016
-
10017
-
10018
-
Autres
Créer et utiliser un nœud Data Lake Analytics
1000023
-
Nœuds génériques
Dans un workflow donné, créez un nœud générique et associez-le à des nœuds de moteur de calcul pour traiter une logique complexe.
Scénario | Type de nœud | Description | Code du nœud | Type de tâche (spécifié par TaskType) |
Gestion métier | Un nœud sans charge est un nœud de contrôle qui prend en charge la planification à blanc (dry-run) et ne génère aucune donnée. Il sert généralement de nœud racine d'un workflow, facilitant ainsi la gestion des nœuds et des workflows. | 99 | VIRTUAL | |
Déclenchement basé sur un événement | Utilisez ce type de nœud lorsque vous souhaitez déclencher l'exécution de nœuds dans DataWorks après la fin de l'exécution de nœuds situés dans d'autres systèmes de planification. Remarque DataWorks ne permet plus de créer des nœuds de collaboration inter-locataires. Si votre activité repose actuellement sur un nœud de collaboration inter-locataires, nous vous recommandons de le remplacer par un nœud de déclenchement HTTP, qui offre les mêmes fonctionnalités. | 1114 | SCHEDULER_TRIGGER | |
Ce type de nœud convient lorsque vous devez déclencher l'exécution d'un nœud descendant après la génération d'objets dans Object Storage Service (OSS). | 239 | OSS_INSPECT | ||
Optez pour ce type de nœud si vous souhaitez déclencher l'exécution d'un nœud descendant après la génération de fichiers via le protocole de transfert de fichiers (FTP). Remarque Les nœuds de vérification FTP ne sont plus pris en charge dans DataWorks. Nous vous conseillons de les remplacer par des nœuds de vérification (Check) pour effectuer vos contrôles dans DataWorks. | 1320 | FTP_CHECK | ||
Ce type de nœud permet de vérifier la disponibilité des objets selon des politiques de vérification définies. La tâche associée au nœud de vérification aboutit lorsque la condition spécifiée dans sa politique est satisfaite. Si l'exécution d'une tâche dépend d'un objet, utilisez un nœud de vérification pour contrôler la disponibilité de cet objet et configurez la tâche comme tâche descendante du nœud de vérification. Une fois la condition remplie, la tâche du nœud de vérification s'exécute avec succès et déclenche ensuite sa tâche descendante. Objets pris en charge :
| 241 | CHECK_NODE |
Nœud de comparaison de données
Conçu pour comparer les données entre différentes tables au sein d'un workflow, en proposant plusieurs méthodes de comparaison.
1331
DATA_SYNCHRONIZATION_QUALITY_CHECK
Affectation et transmission de valeurs de paramètres
Utilisez ce nœud lorsque vous souhaitez exploiter le paramètre outputs pour transmettre aux nœuds descendants les données issues de la dernière ligne du code exécuté par le nœud d'affectation.
1100
CONTROLLER_ASSIGNMENT
Ce type de nœud agrège les paramètres provenant de ses nœuds ancêtres et les redistribue à ses nœuds descendants.
1115
PARAM_HUB
Contrôle
Permet de parcourir l'ensemble de résultats produit par un nœud d'affectation.
1106
CONTROLLER_TRAVERSE
Adapté à l'exécution en boucle de la logique de certains nœuds. Il peut également être couplé à un nœud d'affectation pour générer les données transmises en boucle à un nœud descendant de ce dernier.
1103
CONTROLLER_CYCLE
Utilisé pour aiguiller les résultats en fonction de conditions logiques. Peut aussi fonctionner conjointement avec un nœud d'affectation.
1101
CONTROLLER_BRANCH
Ce nœud fusionne les états de ses nœuds ancêtres et empêche l'exécution à blanc de ses nœuds descendants.
1102
CONTROLLER_JOIN
Autres
Les nœuds Shell prennent en charge la syntaxe Shell standard, mais pas la syntaxe interactive.
6
DIDE_SHELL
Permet de planifier et de traiter périodiquement des fonctions événementielles, tout en assurant l'intégration et la planification conjointe avec d'autres types de nœuds.
1330
FUNCTION_COMPUTE
Ce type de nœud récupère les résultats de requêtes générés par d'autres nœuds et pousse les données obtenues vers des groupes DingTalk, Lark, WeCom ou Microsoft Teams. Les membres de ces groupes ou équipes reçoivent ainsi les dernières données dans les plus brefs délais.
1332
DATA_PUSH