DataWorks:Configure a single-table batch synchronization task in wizard mode

Dans cet exemple, le type de source de données Source est défini sur MySQL et la source de données est définie sur mysql. Le type de source de données Destination est défini sur MaxCompute (ODPS) et la source de données est définie sur own_mc. Le Resource Group est défini sur dwGroup et l'CU est défini sur 0,5 CU.

1. Dans les sections Source Information et Destination, sélectionnez les objets de source de données à partir desquels vous souhaitez lire les données et vers lesquels vous souhaitez écrire les données.

2. Dans la section Runtime Resource, sélectionnez le Resource Group pour la tâche de synchronisation et allouez des CU du Resource Group à la tâche. Si votre tâche de synchronisation rencontre une erreur d'absence de mémoire (OOM) en raison de ressources insuffisantes, augmentez la valeur CU du groupe de ressources. Pour connaître les configurations de quota de ressources recommandées, consultez Métriques de performance des groupes de ressources - Data Integration.

3. Assurez-vous que les sources de données source et de destination passent toutes deux la Connectivity Check. Si le réseau entre la source de données et le groupe de ressources n'est pas connecté, suivez les instructions à l'écran ou la documentation pour configurer la connectivité réseau. Pour plus d'informations, consultez Configurer la connectivité réseau.

1. Source

Dans la section Source, configurez la table de données et renseignez les paramètres requis.

2. Traitement des données

Le traitement des données est une fonctionnalité de la nouvelle version de Data Studio. Dans l'ancienne version de Data Studio, vous devez sélectionner Use New UI (With Data Processing Feature) lors de la création d'une tâche. Nous vous recommandons de mettre à niveau les espaces de travail hérités vers la nouvelle version afin de bénéficier de l'ensemble des fonctionnalités : Mettre à niveau vers la nouvelle version.

Le traitement des données vous permet de transformer les données de la table source en utilisant des méthodes telles que le remplacement de chaînes, le traitement assisté par IA et la vectorisation des données avant de les écrire dans la table de destination.

Prenons l'exemple du remplacement de chaîne. Les éléments de configuration incluent Name et Description. Dans les règles de remplacement, sélectionnez le Field Name, saisissez le Content to Replace (qui prend en charge la correspondance par expression régulière et la sensibilité à la casse), puis spécifiez le Replacement Content. Vous pouvez cliquez sur Add Rule pour ajouter plusieurs règles de remplacement, et utiliser Data Output Preview dans le coin supérieur droit pour afficher les résultats du traitement.

1. Cliquez sur le bouton bascule pour activer le traitement des données.

2. Dans la liste Data Processing List, cliquez sur Add Node et sélectionnez un type de traitement des données : Replace String, AI-Assisted Processing ou Data Vectorization. Vous pouvez ajouter plusieurs nœuds de traitement des données. DataWorks les traite dans l'ordre.

3. Configurez les règles de traitement des données selon les instructions affichées. Pour obtenir des informations sur le traitement assisté par IA et la vectorisation des données, consultez la rubrique Traitement des données.

   Remarque

   Le traitement des données nécessite des ressources de calcul supplémentaires, ce qui augmente la consommation de ressources et la durée d'exécution des tâches. Réduisez au minimum la complexité du traitement afin d'éviter d'affecter l'efficacité de la synchronisation.

3. Destination

Dans la section Destination, configurez la table de données et renseignez les paramètres requis.

Notes relatives à la configuration des tables partitionnées MaxCompute

Lorsque la destination est une table partitionnée MaxCompute, tenez compte des points suivants :

• Identification des colonnes de partition : DataWorks identifie automatiquement la structure de partition de la table de destination MaxCompute. Si seules certaines colonnes de partition s'affichent dans l'interface utilisateur, vérifiez que toutes les colonnes de partition sont correctement définies à la fois dans l'environnement de développement et dans l'environnement de production. Si la tâche échoue et vous invite à configurer les informations de partition de la table, complétez les paramètres de partition dans la configuration de la destination.

• Actualisation du mappage des colonnes : Si de nouvelles colonnes sont ajoutées à la source ou à la destination mais ne s'affichent pas dans la section de mappage des colonnes, essayez les méthodes suivantes pour actualiser le cache :

  1. Assurez-vous que les schémas de table sont mis à jour dans l'environnement de développement et dans l'environnement de production.

  2. Sur la page de configuration, basculez vers une autre table, puis revenez à la table d'origine pour actualiser le cache.

  3. Si le cache n'est toujours pas actualisé, redémarrez le navigateur ou utilisez le mode navigation privée pour rouvrir la page de configuration.

4. Configurer les mappages de colonnes

Une fois la source et la destination sélectionnées, spécifiez le mappage des colonnes entre le lecteur et l'outil d'écriture. La tâche écrit les colonnes sources dans les colonnes de destination correspondantes en fonction des mappages définis.

• Si une colonne source n'est mappée à aucune colonne de destination, ses données ne sont pas synchronisées.

• Si le mappage automatique ne correspond pas à vos attentes, ajustez manuellement les mappages.

• Pour supprimer un mappage de colonne, supprimez la ligne de liaison entre les colonnes source et destination. Les données de cette colonne source ne seront pas synchronisées.

Des incompatibilités de type de colonne entre la source et la destination peuvent générer des données erronées, ce qui empêche l'écriture des données dans la destination. Pour définir le nombre de lignes de données erronées tolérées, configurez les options Statement Run Before Writing à l'étape suivante.

Le mappage par nom identique, par ligne identique, intelligent et basé sur des règles est pris en charge. Lors de la configuration, vous pouvez également :

• Mappage intelligent : Data Integration utilise l'analyse sémantique par IA pour identifier automatiquement les noms de colonnes, les types de données et les commentaires des tables source et de destination, puis recommande les mappages optimaux. Il vous suffit de confirmer les recommandations ou d'effectuer des ajustements mineurs.

  Dans la section de mappage des colonnes, cliquez sur Intelligent Mapping pour ouvrir la boîte de dialogue de mappage intelligent. Vous pouvez décrire vos exigences de mappage en langage naturel.

  • |
    **Applicable scenario**
    |
    **Typical example**
    |
    **Recommended prompt**
    | | --- | --- | --- | |
    Global semantic matching
    |
    Column names are completely different but have the same meaning(Example: `user_id` ↔ `device_id`)
    |
    `Perform semantic matching on all columns of the source and destination tables, and automatically identify columns with the same meaning.`
    | |
    Specific business domain matching
    |
    Only specific business columns need to be mapped(Example: only "user" or "order" related columns)
    |
    `Map only the columns in the source table that contain "user information" (such as name, phone number, and ID) to the corresponding columns in the destination table.`*(Note: You can replace the keyword with "order", "logistics", "payment", etc.)*
    | |
    Prefix/suffix convention differences
    |
    Core names are the same but prefixes/suffixes differ(Example: `src_user_name` ↔ `tgt_user_name`)
    |
    `Ignore prefix and suffix differences in column names, and perform semantic matching based on core names only.`
    | |
    Abbreviation and full name matching
    |
    One side uses abbreviations while the other uses full names(Example: `amt` ↔ `amount`)
    |
    `Identify common English abbreviation-to-full-name mappings (such as amt=amount, addr=address) and create mappings accordingly.`
    | |
    Exclude specific columns
    |
    Some columns are similar but do not need to be synchronized(Example: `create_time` is not needed)
    |
    `Perform semantic matching, but exclude all columns that contain "time" or "log" in their names.`
    | |
    Complex logic correction
    |
    The automatic matching result is incorrect and manual guidance is needed
    |
    `Do not map the id column of the source table to the order_id column of the destination table. Regenerate the mapping suggestions.`
    |
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    

  • Après avoir saisi la description, cliquez sur Generate Preview. Le système affiche les mappages suggérés dans la section Matching Result Preview. Vous pouvez consulter et sélectionner les mappages souhaités, puis cliquer sur Apply pour ajouter les sélections au mappage de colonnes. Si les résultats ne vous satisfont pas, ajustez la description et régénérez l'aperçu.

• Mappage basé sur des règles : Lorsque les noms de colonnes entre la source et la destination suivent un modèle, utilisez la fonctionnalité Rule-Based Mapping pour créer des mappages de colonnes en masse. Configurez des règles telles que la correspondance de préfixe/suffixe ou le remplacement de caractères, prévisualisez les résultats du mappage, puis cliquez sur Apply.

• Attribuer des valeurs aux colonnes de destination : Vous pouvez ajouter des constantes, des paramètres de planification et des variables intégrées à la table de destination en cliquant sur Advanced Configurations dans la colonne Add Fields. Par exemple : '123', '${paramètre de planification}', '#{variable intégrée}#'.

  Remarque

  Pour plus d'informations sur les paramètres de planification, consultez Configurer les paramètres de planification.

• Ajouter des variables intégrées : Vous pouvez ajouter manuellement des variables intégrées, les mapper aux colonnes de destination et transmettre ces variables aux tâches en aval.

  Les variables intégrées disponibles pour chaque plug-in sont les suivantes :

  Built-in variable	Description	Supported plug-in
  '#{DATASOURCE_NAME_SRC}#'	Nom de la source de données source	MySQL Reader MySQL (sharded) Reader PolarDB Reader PolarDB (sharded) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (sharded) Reader
  '#{DB_NAME_SRC}#'	Nom de la base de données où réside la table source	MySQL Reader MySQL (sharded) Reader PolarDB Reader PolarDB (sharded) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (sharded) Reader
  '#{SCHEMA_NAME_SRC}#'	Nom du schéma où réside la table source	PolarDB Reader PolarDB (sharded) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (sharded) Reader
  '#{TABLE_NAME_SRC}#'	Nom de la table source	MySQL Reader MySQL (sharded) Reader PolarDB Reader PolarDB (sharded) Reader PostgreSQL Reader PolarDB-O Reader PolarDB-O (sharded) Reader
  '#{FILE_NAME_SRC}#'	Nom du fichier	OSS Reader HDFS Reader FTP Reader TOS Reader COS Reader S3 Reader Azure Blob Reader
  '#{FILE_PATH_SRC}#'	Chemin absolu du fichier	OSS Reader HDFS Reader FTP Reader TOS Reader COS Reader S3 Reader Azure Blob Reader

• Modifier les colonnes sources : Cliquez sur Source Table Field pour effectuer les opérations suivantes :

  • Utilisez les fonctions prises en charge par la base de données source pour traiter les colonnes. Par exemple, utilisez Max(id) pour synchroniser uniquement la valeur maximale.

  • Modifiez manuellement les colonnes sources si le mappage de colonnes ne récupère pas toutes les colonnes.

  Remarque

  MaxCompute Reader ne prend pas en charge l'utilisation de fonctions.

Pour une tâche de synchronisation par lot de table unique avec planification périodique, vous devez configurer les propriétés de la planification automatique. Accédez à la page d'édition du nœud, cliquez sur Time Zone à droite, puis configurez les paramètres de planification du nœud.

Configurez les paramètres de planification, les politiques, l'horaire et les dépendances pour la tâche de synchronisation. La méthode de configuration est identique à celle des autres nœuds de développement de données.

• Pour les paramètres de planification dans la nouvelle version de Data Studio, consultez la rubrique Planification des nœuds (nouvelle version).

• Pour les paramètres de planification dans l'ancienne version de Data Studio, consultez la rubrique Planification des nœuds (ancienne version).

Pour plus d'informations sur l'utilisation des paramètres de planification, consultez la rubrique Scénarios typiques des paramètres de planification dans Data Integration .

• Configurez les paramètres d'exécution.

  À droite de la page de configuration de la tâche de synchronisation par lot de table unique, cliquez sur Scheduling Settings et configurez les paramètres suivants pour les exécutions de test.

  |
  **Élément de configuration**
  |
  **Description**
  | | --- | --- | |
  **Resource Group**
  |
  Sélectionnez un groupe de ressources disposant d'une connectivité réseau avec les sources de données.
  | |
  **Script Parameters**
  |
  Attribuez des valeurs aux paramètres d'espace réservé dans la tâche de synchronisation des données. Par exemple, si la tâche Data Integration utilise le paramètre `${bizdate}`, configurez un paramètre de date au format `yyyymmdd`.
  |
  
  
  
  
  
  
  
  
  
  
  
  

• Exécutez la tâche.

  Cliquez sur le bouton Exécuter de la barre d'outils pour exécuter et déboguer la tâche dans Data Studio. Vous pouvez ensuite créer un nœud correspondant au type de table de destination pour interroger les données de cette table et vérifier si les données synchronisées répondent aux attentes.

• Déployez la tâche.

  Une fois que la tâche a réussi le test d'exécution, si elle doit être exécutée périodiquement, cliquez sur le bouton en haut de la page d'édition du nœud pour déployer la tâche dans l'environnement de production. Pour plus d'informations sur le déploiement des tâches, consultez la rubrique Déployer des tâches.