DataWorks:Intégration des données

Contexte

Outre les nœuds de synchronisation des données disponibles dans DataStudio, Data Integration propose diverses solutions de synchronisation, telles que la synchronisation en temps réel pour les données complètes et incrémentielles, ainsi que la synchronisation par lots pour des bases de données entières. Pour en savoir plus sur Data Integration et ses solutions, consultez la rubrique Sources de données et solutions de synchronisation prises en charge.

Limites

Vous devez disposer du rôle Development pour créer des tâches de synchronisation dans DataStudio. Pour savoir comment attribuer les autorisations, consultez la rubrique Ajouter des membres à un espace de travail et gérer leurs rôles.

Tâches de synchronisation par lots

• Cas d'utilisation

  La synchronisation par lots prend en charge deux principaux scénarios : la synchronisation d'une table source unique vers une table de destination unique et la synchronisation des données provenant de bases de données et de tables sources fragmentées vers une table de destination unique. Vous pouvez utiliser les paramètres de planification de DataWorks pour écrire périodiquement les données incrémentielles et complètes dans des partitions spécifiques d'une table de destination. De plus, la fonctionnalité de remplissage des données historiques dans Operation Center vous permet d'utiliser une seule configuration de tâche pour synchroniser par lots les données historiques vers une table ou une partition spécifique de votre base de données ou entrepôt de données de destination.

• Sources de données prises en charge

  Data Integration prend en charge plus de 40 types de sources de données, notamment les bases de données relationnelles, le stockage non structuré, le stockage Big Data et les files d'attente de messages. Vous pouvez transférer des données entre n'importe quelles sources de données structurées et semi-structurées en définissant les sources et destinations de données et en utilisant les plug-ins Reader et Writer de Data Integration.

• Fonctionnalités

  Description	Références
  Data Integration utilise des plug-ins Reader et Writer pour la synchronisation par lots. Vous pouvez créer une source de données dans DataWorks et utiliser son nom pour spécifier la source et la destination du transfert de données.	Sources de données et plug-ins Reader/Writer pris en charge Vue d'ensemble de la synchronisation par lots
  Après avoir créé une source de données dans DataWorks, configurez les tâches de synchronisation des données à l'aide de l'interface sans code.	Configurer une tâche de synchronisation par lots à l'aide de l'interface sans code
  Utilisez l'éditeur de code pour configurer une tâche de synchronisation dans les scénarios suivants : La source de données ne peut pas être créée directement dans DataWorks. La source de données ne prend pas en charge la configuration des tâches via l'interface sans code. Certains paramètres de plug-in doivent être configurés dans l'éditeur de code.	Configurer une tâche de synchronisation par lots à l'aide de l'éditeur de code

Tâches de synchronisation en temps réel

La synchronisation en temps réel vous permet de combiner plusieurs sources de données en pipelines en forme d'étoile. Configurez diverses combinaisons d'entrées et de sorties pour créer des liens de synchronisation de données flexibles. Cela vous permet de synchroniser les données d'une table source unique vers une table de destination unique, ou d'une base de données source entière vers une destination. Pour plus de détails, consultez les rubriques Sources de données prises en charge pour la synchronisation en temps réel et Vue d'ensemble de la synchronisation en temps réel.

Configuration de la planification des tâches

Dépendances entre nœuds

• Tâche de synchronisation par lots

  • Nœuds ancêtres d'une tâche de synchronisation par lots : Les tâches de synchronisation peuvent s'appuyer sur la lignée de données de la plateforme. Selon la complexité de la logique métier de votre espace de travail, définissez la tâche comme dépendante soit du nœud racine de l'espace de travail, soit d'un nœud sans charge. Ce paramètre détermine si le nœud racine ou le nœud sans charge planifie le nœud actuel.

  • Nœuds descendants d'une tâche de synchronisation par lots : Pour garantir qu'une tâche SQL en aval puisse analyser automatiquement et définir une dépendance sur cette tâche de synchronisation lors du traitement des données de la table, ajoutez la table de sortie de la tâche de synchronisation en tant que sortie du nœud. Utilisez le format projectname.tablename.

• Nœuds descendants d'une tâche de synchronisation en temps réel

  DataWorks prend uniquement en charge la définition de dépendances sur les tables produites par des nœuds planifiés périodiquement. Cela signifie que vous ne pouvez pas utiliser la lignée de données pour définir une dépendance lorsqu'une tâche en aval doit traiter les données d'une tâche de synchronisation en temps réel. Comme solution de contournement, définissez l'ancêtre de la tâche comme étant le

  nœud racine

  de l'espace de travail ou un

  nœud sans charge

  . Cela permet au nœud racine ou au nœud sans charge de planifier la tâche, selon vos besoins métier.

  Remarque

  Pour garantir que votre tâche de synchronisation en temps réel s'exécute comme prévu,

  configurez une règle de surveillance

  .

Paramètres de planification des nœuds