DataWorks:Synchroniser les données

Créer une source de données MySQL ( user_behavior_analysis_mysql)

Créez une source de données MySQL pour synchroniser les informations de base des utilisateurs (ods_user_info_d) depuis la base de données MySQL vers MaxCompute.

1. Accédez à la page Sources de données.

   1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur More > Management Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Management Center.

   2. Dans le volet de navigation de gauche, cliquez sur Data Source.

2. Cliquez sur Add Connection, puis recherchez et sélectionnez MySQL comme type de source de données.

3. Sur la page Create Mysql Data Source, configurez les paramètres. Pour ce tutoriel, utilisez les mêmes valeurs d'exemple pour les environnements de développement et de production.

   Le tableau suivant décrit les paramètres clés requis pour ce tutoriel. Laissez tous les autres paramètres avec leurs valeurs par défaut.

   Paramètre	Description
   Data Source Name	Saisissez un nom de source de données. Pour ce tutoriel, saisissez user_behavior_analysis_mysql.
   Description	Il s'agit d'une source de données dédiée aux expériences de tutoriels DataWorks. Vous pouvez lire les données de test fournies par la plateforme lors de la configuration d'une tâche de synchronisation par lots. Cette source de données prend en charge uniquement les opérations de lecture dans les scénarios Data Integration et ne peut pas être utilisée dans d'autres modules.
   Configuration Mode	Sélectionnez User-created Data Store with Public IP Addresses.
   Connection Address	Adresse IP de l'hôte : rm-bp1z69dodhh85z9qa.mysql.rds.aliyuncs.com Port : 3306
   Database Name	Saisissez le nom de la base de données. Pour ce tutoriel, saisissez workshop.
   Username	Saisissez le nom d'utilisateur. Pour ce tutoriel, saisissez workshop.
   Password	Saisissez le mot de passe. Pour ce tutoriel, saisissez workshop#2017.
   Authentication Method	Aucune authentification.

4. Dans la section Connection Configuration, cliquez sur Test Connectivity pour les environnements de production et de développement, et assurez-vous que l'état de connectivité est Connectable.

   Important

   • Assurez-vous que le groupe de ressources est associé à l'espace de travail et qu'il dispose d'un accès au réseau public configuré. Sinon, des erreurs se produiront lors de la synchronisation ultérieure des données. Pour les étapes de configuration, consultez la rubrique Préparer l'environnement.

   • Si aucun groupe de ressources n'est disponible, suivez les instructions de la section de configuration de la connexion, puis cliquez sur Go to Buy et Associate Purchased Resource Group.

5. Cliquez sur Complete Creation.

Créer une source de données HttpFile ( user_behavior_analysis_httpfile)

Les données des journaux d'accès au site web des utilisateurs pour ce tutoriel sont stockées dans OSS. Vous devez créer une source de données HttpFile pour synchroniser les journaux d'accès au site web des utilisateurs (user_log.txt) depuis OSS vers MaxCompute.

1. Sur la page Management Center, cliquez sur Data Source dans le volet de navigation de gauche.

2. Cliquez sur Add Connection. Dans la boîte de dialogue Add Connection, recherchez et sélectionnez Httpfile comme type de source de données.

3. Sur la page Create Httpfile Data Source, configurez les paramètres. Pour ce tutoriel, utilisez les mêmes valeurs d'exemple pour les environnements de développement et de production.

   Le tableau suivant décrit les paramètres clés requis pour ce tutoriel. Laissez tous les autres paramètres avec leurs valeurs par défaut.

   Paramètre	Description
   Data Source Name	Saisissez un nom de source de données. Pour ce tutoriel, saisissez user_behavior_analysis_httpfile.
   Description	Il s'agit d'une source de données dédiée aux expériences de tutoriels DataWorks. Vous pouvez lire les données de test fournies par la plateforme lors de la configuration d'une tâche de synchronisation par lots. Cette source de données prend en charge uniquement les opérations de lecture dans les scénarios Data Integration et ne peut pas être utilisée dans d'autres modules.
   URL	Définissez l'URL sur https://dataworks-workshop-2024.oss-cn-shanghai.aliyuncs.com pour les environnements de développement et de production.

4. Dans la section Connection Configuration, cliquez sur Test Connectivity pour les environnements de production et de développement, et assurez-vous que l'état de connectivité est Connectable.

   Important

   • Assurez-vous que le groupe de ressources est associé à l'espace de travail et qu'il dispose d'un accès au réseau public configuré. Sinon, des erreurs se produiront lors de la synchronisation ultérieure des données. Pour les étapes de configuration, consultez la rubrique Préparer l'environnement.

   • Si aucun groupe de ressources n'est disponible, suivez les instructions de la section de configuration de la connexion, puis cliquez sur Go to Buy et Associate Purchased Resource Group.

5. Cliquez sur Complete Creation.

Configurer le nœud initial

1. Sur la page d'orchestration du workflow, placez le curseur sur le nœud workshop_start et cliquez sur Open Node.

2. Dans la partie droite de la page d'édition du nœud workshop_start, cliquez sur Scheduling Configuration et configurez les paramètres. Le tableau suivant décrit les principaux paramètres requis pour ce tutoriel. Laissez tous les autres paramètres à leurs valeurs par défaut.

   Paramètre de configuration de planification	Description
   Scheduling Type	Pour ce tutoriel, définissez cette option sur Dry Run.
   Resource Group	Pour ce tutoriel, sélectionnez le groupe de ressources serverless créé lors de l'étape Préparer l'environnement.
   Configuration des dépendances de nœud	Étant donné que workshop_start est le nœud initial et ne possède aucune dépendance en amont, vous pouvez cliquer sur Using the Workspace Root Node pour déclencher l'exécution du workflow à partir du nœud racine de l'espace de travail. Le nœud racine de l'espace de travail est nommé : workspace name_root.

Configurer le pipeline de synchronisation des données utilisateur (ods_user_info_d)

1. Sur la page d'orchestration du workflow, placez le curseur sur le nœud ods_user_info_d et cliquez sur Open Node.

2. Configurez le réseau et les ressources du pipeline de synchronisation.

   Paramètre	Description
   Data source	Source de données : MySQL. Nom de la source de données : user_behavior_analysis_mysql.
   My Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparer l'environnement.
   Data going	Destination des données : MaxCompute(ODPS). Nom de la source de données : sélectionnez la ressource de calcul MaxCompute associée lors de l'étape Préparer l'environnement. Dans cet exemple, il s'agit de MaxCompute_Source.

3. Cliquez sur The next Step pour configurer la tâche de synchronisation.

   1. Configure Source and Destination

      Le tableau suivant décrit les principaux paramètres requis pour ce tutoriel. Laissez tous les autres paramètres à leurs valeurs par défaut.

      Section	Paramètre	Description
      Data source	Table	Sélectionnez ods_user_info_d.
      	Shard Key	Définissez la clé de partitionnement sur la colonne uid. La colonne uid est la clé primaire de la table ods_user_info_d dans MySQL.
      Data going	Tunnel Resource Group	La valeur par défaut pour ce tutoriel est Public Transfer Resource. Si vous disposez d'un quota Tunnel exclusif, vous pouvez le sélectionner dans la liste déroulante. Pour plus d'informations sur le quota Tunnel exclusif, consultez Quota Tunnel.
      	Table	Cliquez sur Generate Destination Table Schema pour créer rapidement une table MaxCompute. Collez l'instruction DDL suivante dans la section Table Creation Statement et cliquez sur New Table. Cette table sert à recevoir les données utilisateur depuis la source. CREATE TABLE IF NOT EXISTS ods_user_info_d ( uid STRING COMMENT 'User ID', gender STRING COMMENT 'Gender', age_range STRING COMMENT 'Age range', zodiac STRING COMMENT 'Zodiac sign' ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
      	Partition Information	Pour ce tutoriel, saisissez ${bizdate}. Cela permet d'attribuer une valeur constante au paramètre bizdate lors du débogage, et d'attribuer dynamiquement des valeurs au paramètre bizdate lors de l'exécution planifiée. Pour plus d'informations sur les formats de variables et les méthodes de configuration prises en charge par Data Studio, consultez Paramètres de planification.

   2. Confirmez les paramètres Field Mapping et Channel.

      DataWorks mappe les colonnes entre la source et la destination pour écrire les données des colonnes sources spécifiées vers les colonnes de destination spécifiées. Il prend également en charge la configuration de la simultanéité des tâches et des politiques de gestion des données erronées. Pour ce tutoriel, définissez Policy for Dirty Data Records sur Disallow Dirty Data Records et laissez les autres paramètres par défaut. Pour plus d'informations, consultez Configurer le contrôle du canal.

4. Configurez les paramètres de débogage.

   Dans la partie droite de la page de configuration de la tâche de synchronisation par lots, cliquez sur Run Configuration et configurez les paramètres suivants. Ces paramètres sont utilisés pour le débogage à l'étape 4 avec les paramètres Run Configuration.

   Paramètre	Description
   Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparer l'environnement.
   Script Parameters	Aucune configuration n'est nécessaire. L'exemple de code de ce tutoriel utilise ${bizdate} pour représenter la date métier. Lors du débogage du workflow à l'étape 4, définissez This operation value sur une constante spécifique (par exemple, 20250223). La tâche utilisera cette constante pour remplacer la variable définie dans la tâche lors de l'exécution.

5. (Facultatif) Configurez les paramètres de planification.

   Pour ce tutoriel, laissez les paramètres de planification à leurs valeurs par défaut. Vous pouvez cliquer sur Scheduling Configuration dans la partie droite de la page de configuration de la tâche de synchronisation par lots. Pour des descriptions détaillées des paramètres de planification, consultez Paramètres de planification.

   • Scheduling Parameters : pour ce tutoriel, ces paramètres ont déjà été configurés au niveau du workflow. Les nœuds internes du workflow n'ont pas besoin de les configurer séparément et peuvent les utiliser directement dans les tâches ou le code.

   • Scheduling Policy : vous pouvez spécifier le paramètre Delayed execution time pour retarder l'exécution des nœuds enfants après le démarrage du workflow. Pour ce tutoriel, laissez ce paramètre non défini.

6. Dans la barre d'outils du nœud, cliquez sur Save.

Configurer le pipeline de synchronisation des journaux utilisateur (ods_raw_log_d)

1. Sur la page d'orchestration du workflow, placez le curseur sur le nœud ods_raw_log_d et cliquez sur Open Node.

2. Configurez le réseau et les ressources du pipeline de synchronisation.

   Paramètre	Description
   Data source	Source de données : HttpFile. Nom de la source de données : user_behavior_analysis_httpfile.
   My Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparer l'environnement.
   Data going	Destination des données : MaxCompute(ODPS). Nom de la source de données : sélectionnez la ressource de calcul MaxCompute associée lors de l'étape Préparer l'environnement. Dans cet exemple, il s'agit de MaxCompute_Source.

3. Cliquez sur The next Step pour configurer la tâche de synchronisation.

   • Configure Source and Destination

     Le tableau suivant décrit les principaux paramètres requis pour ce tutoriel. Laissez tous les autres paramètres à leurs valeurs par défaut.

     Section	Paramètre	Description
     Data source	File Path	Pour ce tutoriel, saisissez /user_log.txt.
     	File Type	Pour ce tutoriel, sélectionnez le type text.
     	Field Delimiter	Pour ce tutoriel, saisissez |.
     	Advanced Configuration > Skip Header	Pour ce tutoriel, sélectionnez No pour ne pas ignorer l'en-tête.
     Important Après avoir configuré la source de données, cliquez sur Confirm Data Structure pour vérifier que le fichier journal peut être lu correctement.
     Data going	Tunnel Resource Group	La valeur par défaut pour ce tutoriel est Public Transfer Resource. Si vous disposez d'un quota Tunnel exclusif, vous pouvez le sélectionner dans la liste déroulante. Pour plus d'informations sur le quota Tunnel exclusif, consultez Quota Tunnel.
     	Table	Cliquez sur Generate Destination Table Schema pour créer rapidement une table MaxCompute. Collez l'instruction DDL suivante dans la section Table Creation Statement et cliquez sur New Table. Cette table sert à recevoir les données de journaux utilisateur depuis la source. CREATE TABLE IF NOT EXISTS ods_raw_log_d ( col STRING ) PARTITIONED BY ( dt STRING ) LIFECYCLE 7;
     	Partition Information	Pour ce tutoriel, saisissez ${bizdate}. Cela permet d'attribuer une valeur constante au paramètre bizdate lors du débogage, et d'attribuer dynamiquement des valeurs au paramètre bizdate lors de l'exécution planifiée. Pour plus d'informations sur les formats de variables et les méthodes de configuration prises en charge par Data Studio, consultez Paramètres de planification.

   • Confirmez les paramètres Field Mapping et Channel.

     DataWorks mappe les colonnes entre la source et la destination pour écrire les données des colonnes sources spécifiées vers les colonnes de destination spécifiées. Il prend également en charge la configuration de la simultanéité des tâches et des politiques de gestion des données erronées. Pour ce tutoriel, définissez Policy for Dirty Data Records sur Disallow Dirty Data Records et laissez les autres paramètres par défaut. Pour plus d'informations, consultez Configurer le contrôle du canal.

4. Configurez les paramètres de débogage.

   Dans la partie droite de la page de configuration de la tâche de synchronisation par lots, cliquez sur Run Configuration et configurez les paramètres suivants. Ces paramètres sont utilisés pour le débogage à l'étape 4 avec les paramètres Run Configuration.

   Paramètre	Description
   Resource Group	Sélectionnez le groupe de ressources serverless acheté lors de l'étape Préparer l'environnement.
   Script Parameters	Aucune configuration n'est nécessaire. L'exemple de code de ce tutoriel utilise ${bizdate} pour représenter la date métier. Lors du débogage du workflow à l'étape 4, définissez This operation value sur une constante spécifique (par exemple, 20250223). La tâche utilisera cette constante pour remplacer la variable définie dans la tâche lors de l'exécution.

5. (Facultatif) Configurez les paramètres de planification.

   Pour ce tutoriel, laissez les paramètres de planification à leurs valeurs par défaut. Vous pouvez cliquer sur Scheduling Configuration dans la partie droite de la page de configuration de la tâche de synchronisation par lots. Pour des descriptions détaillées des paramètres de planification, consultez Paramètres de planification.

   • Scheduling Parameters : pour ce tutoriel, ces paramètres ont déjà été configurés au niveau du workflow. Les nœuds internes du workflow n'ont pas besoin de les configurer séparément et peuvent les utiliser directement dans les tâches ou le code.

   • Scheduling Policy : vous pouvez spécifier le paramètre Delayed execution time pour retarder l'exécution des nœuds enfants après le démarrage du workflow. Pour ce tutoriel, laissez ce paramètre non défini.

6. Dans la barre d'outils du nœud, cliquez sur Save.