DataWorks:Source de données MySQL

Parameter

Description

Data Source Name

Le nom de la source de données doit être unique au sein de l'espace de travail. Nous vous recommandons d'utiliser un nom qui identifie clairement l'activité et l'environnement, par exemple rds_mysql_order_dev.

Connection Mode

Sélectionnez le mode instance Alibaba Cloud. Pour plus d'informations sur les modes de connexion, consultez les rubriques Scénario 1 : Mode instance (compte cloud actuel) et Scénario 2 : Mode instance (autre compte cloud).

Alibaba Cloud Account

Sélectionnez le compte cloud auquel appartient l'instance. Si vous choisissez Another Alibaba Cloud Account, vous devez configurer les autorisations inter-comptes. Pour plus d'informations, consultez la rubrique Autorisation inter-comptes (RDS, Hive ou Kafka).

Si vous sélectionnez un autre compte cloud, fournissez les informations suivantes :

• ID du compte principal : ID du compte principal propriétaire de l'instance.

• Nom du rôle RAM : Nom du rôle RAM fourni par l'autre compte cloud. Ce rôle doit disposer des autorisations nécessaires pour accéder à l'instance cible.

Region

Région de l'instance.

Instance

Sélectionnez le nom de l'instance à laquelle se connecter.

Standby library settings

Si votre instance RDS dispose d'une instance en lecture seule (instance de secours), vous pouvez configurer les tâches afin qu'elles lisent les données depuis celle-ci. Cela permet d'éviter que les opérations de lecture n'affectent les performances de l'instance principale.

Instance Address

Après avoir sélectionné l'instance appropriée, cliquez sur Get Latest Address pour afficher des informations telles que son adresse publique/privée, son VPC et son vSwitch.

Database

Nom de la base de données à laquelle la source de données se connecte. Assurez-vous que l'utilisateur spécifié dispose des autorisations requises pour accéder à cette base de données.

Corresponding access identity

Sélectionnez la source d'identifiants que DataWorks utilise pour accéder à MySQL. Les options suivantes sont prises en charge :

• Nom d'utilisateur et mot de passe : Saisissez le nom d'utilisateur et le mot de passe de la base de données MySQL. DataWorks les stocke avec un chiffrement symétrique. Si vous utilisez une instance RDS, vous pouvez les créer et les gérer dans la section account management de l'instance.

• Key Management Service : Utilisez un secret générique hébergé dans Alibaba Cloud Key Management Service (KMS). Vous devez d'abord créer un secret générique dans KMS. Pour plus d'informations, consultez la rubrique Gérer et utiliser des secrets génériques. Ensuite, dans la source de données, sélectionnez la Région KMS où réside le secret générique KMS, puis sélectionnez le secret générique cible dans la Liste KMS. Le contenu d'un secret générique KMS prend en charge les deux formats JSON suivants :

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Remarque

  Après modification du contenu d'un secret générique KMS, DataWorks met en cache le secret pendant 5 minutes maximum. Le nouveau secret devient effectif au bout de 5 minutes au plus tard.

Prise en charge de la lecture des binlogs OSS

Si cette option est activée, DataWorks tente de récupérer les binlogs depuis OSS lorsque les binlogs RDS sont inaccessibles. Cela permet d'éviter les interruptions des tâches de synchronisation en temps réel. Pour plus d'informations, consultez la rubrique Configurer l'autorisation de lecture des binlogs OSS. Définissez l'Identité d'accès aux binlogs OSS en fonction de votre configuration d'autorisation.

Authentication Method

Sélectionnez « Aucune authentification » ou l'authentification SSL. Si vous optez pour l'authentification SSL, assurez-vous qu'elle est également activée sur l'instance. Préparez le fichier de certificat et téléchargez-le dans la section Authentication File Management.

Version

Connectez-vous au serveur MySQL et exécutez la requête SELECT VERSION() pour vérifier le numéro de version.

Parameter

Description

Data Source Name

Le nom de la source de données doit être unique au sein de l'espace de travail. Nous vous recommandons d'utiliser un nom qui identifie clairement l'activité et l'environnement, par exemple rds_mysql_order_dev.

Connection Mode

Sélectionnez User-created Data Store with Public IP Addresses. Dans ce mode, une URL JDBC est utilisée pour se connecter à la base de données.

Aperçu de la chaîne de connexion

Après avoir saisi l'adresse de connexion et le nom de la base de données, DataWorks génère automatiquement un aperçu de l'URL JDBC.

Connection Address

Adresse hôte : Saisissez l'adresse d'accès réelle du serveur de base de données. Assurez-vous que l'adresse est accessible depuis le groupe de ressources DataWorks. Voici quelques scénarios courants :

• Accès au sein du même VPC : Saisissez l'adresse IP interne (privée).

• Accès via Internet ou via une passerelle NAT : Saisissez l'adresse IP publique ou les adresses IP NAT.

Si la base de données est une instance RDS Alibaba Cloud, vous trouverez l'adresse sur la page Database Connection dans les détails de l'instance.

Numéro de port : Port de la base de données. La valeur par défaut est 3306.

Database Name

Nom de la base de données à laquelle la source de données se connecte. Assurez-vous que l'utilisateur spécifié dispose des autorisations requises pour accéder à cette base de données.

Corresponding access identity

Sélectionnez la source d'identifiants que DataWorks utilise pour accéder à MySQL. Les options suivantes sont prises en charge :

• Nom d'utilisateur et mot de passe : Saisissez le nom d'utilisateur et le mot de passe de la base de données MySQL. DataWorks les stocke avec un chiffrement symétrique. Si vous utilisez une instance RDS, vous pouvez les créer et les gérer dans la section account management de l'instance.

• Key Management Service : Utilisez un secret générique hébergé dans Alibaba Cloud Key Management Service (KMS). Vous devez d'abord créer un secret générique dans KMS. Pour plus d'informations, consultez la rubrique Gérer et utiliser des secrets génériques. Ensuite, dans la source de données, sélectionnez la Région KMS où réside le secret générique KMS, puis sélectionnez le secret générique cible dans la Liste KMS. Le contenu d'un secret générique KMS prend en charge les deux formats JSON suivants :

  { "username": "biz_rw", "password": "S3cr3t!" }
  { "AccessKeyId": "LTAI...", "AccessKeySecret": "..." }

  Remarque

  Après modification du contenu d'un secret générique KMS, DataWorks met en cache le secret pendant 5 minutes maximum. Le nouveau secret devient effectif au bout de 5 minutes au plus tard.

Version

Connectez-vous au serveur MySQL et exécutez la requête SELECT VERSION() pour vérifier le numéro de version.

Authentication Method

Sélectionnez « Aucune authentification » ou l'authentification SSL. Si vous optez pour l'authentification SSL, assurez-vous qu'elle est également activée sur l'instance. Préparez le fichier de certificat et téléchargez-le dans la section Authentication File Management.

Advanced Parameters

Paramètre : Sélectionnez un paramètre pris en charge dans la liste déroulante, par exemple connectTimeout.

Valeur : Saisissez une valeur appropriée pour le paramètre sélectionné, par exemple 3000.

L'URL JDBC est ensuite automatiquement mise à jour vers : jdbc:mysql://192.168.90.28:3306/test?connectTimeout=3000.

Par exemple, si vous rencontrez des erreurs liées au fuseau horaire ou si vous devez spécifier un fuseau horaire, cliquez sur Add Property, sélectionnez serverTimezone comme paramètre et saisissez le fuseau horaire cible, tel que Asia/Shanghai. Enregistrez la configuration de la source de données et relancez la tâche.

Paramètre

Description

Obligatoire

Valeur par défaut

datasource

Nom de la source de données à lire. Ce nom doit correspondre à une source de données configurée dans l'éditeur de code.

Oui

Aucune

table

Nom de la table source à synchroniser. Une tâche Data Integration ne peut lire les données que d'une seule table logique.

Oui

Aucune

column

Tableau JSON spécifiant les colonnes à lire depuis la table source. Pour sélectionner toutes les colonnes, utilisez ["*"].

• Élagage des colonnes : Vous pouvez exporter un sous-ensemble de colonnes.

• Réorganisation des colonnes : Vous pouvez exporter les colonnes dans un ordre différent de celui du schéma de la table.

• Valeurs constantes : Vous pouvez configurer des valeurs constantes. Ces valeurs doivent respecter la syntaxe SQL MySQL. Exemple : ["id","table","1","'mingya.wmy'","'null'","to_char(a+1)","2.3",true].

  • id est un nom de colonne standard.

  • table est un nom de colonne qui correspond à un mot-clé réservé.

  • 1 est une constante entière.

  • 'mingya.wmy' est une constante de type chaîne. Elle doit être entourée de guillemets simples.

  • Gestion des valeurs null :

    • " " représente une chaîne contenant un seul espace.

    • null représente une valeur NULL.

    • 'null' représente la chaîne littérale « null ».

  • to_char(a+1) est une fonction de conversion de chaîne.

  • 2.3 est un nombre à virgule flottante.

  • true est une valeur booléenne.

• Vous devez spécifier explicitement les colonnes dans le paramètre column. Ce paramètre ne peut pas être vide.

Oui

Aucune

splitPk

Lorsque MySQL Reader extrait des données, la spécification du paramètre splitPk active le partitionnement des données sur le champ indiqué. Data Integration lance ensuite des tâches concurrentes pour améliorer l'efficacité de la synchronisation.

• Pour des performances optimales, utilisez la clé primaire de la table comme splitPk.

• Actuellement, splitPk prend uniquement en charge le fractionnement des données pour les types entiers. Il ne prend pas en charge les autres types tels que les chaînes, les nombres à virgule flottante ou les dates. Si vous spécifiez un type de données non pris en charge, la fonctionnalité splitPk est ignorée et un seul canal est utilisé pour la synchronisation.

• Si splitPk n'est pas spécifié ou si sa valeur est vide, la table est synchronisée via un seul canal.

Non

Aucune

splitFactor

Facteur de partitionnement. Ce paramètre contrôle le nombre de partitions créées. Si la concurrence est activée, les données sont divisées en concurrency × splitFactor partitions. Par exemple, si la concurrence est de 5 et que splitFactor est de 5, les données sont divisées en 25 partitions traitées par 5 threads simultanés.

Non

5

where

Condition de filtrage. Dans un scénario typique, pour synchroniser uniquement les données du jour en cours, vous pouvez définir la condition where sur gmt_create > $bizdate.

• La clause where vous permet d'effectuer efficacement une synchronisation incrémentielle. Si vous ne spécifiez pas l'instruction where, y compris en omettant de fournir une clé ou une valeur pour where, la synchronisation des données est traitée comme une synchronisation complète.

• N'utilisez pas de clauses telles que LIMIT 10, car elles ne sont pas valides dans une clause WHERE MySQL.

Non

Aucune

querySql (Disponible uniquement dans l'éditeur de code ; non pris en charge dans l'interface sans code.)

Dans certains cas d'utilisation, le paramètre where est insuffisant pour le filtrage requis. Utilisez ce paramètre pour définir une requête SQL personnalisée. Lorsqu'il est configuré, le système ignore les paramètres tables, columns et splitPk et utilise directement cette requête. Par exemple, pour synchroniser des données issues d'une jointure entre plusieurs tables, utilisez select a,b from table_a join table_b on table_a.id = table_b.id. Le paramètre querySql est prioritaire sur table, column, where et splitPk. La datasource est utilisée pour analyser les informations telles que le nom d'utilisateur et le mot de passe.

Non

Aucune

useSpecialSecret

Indique s'il faut utiliser le mot de passe de chaque source de données individuelle lorsque plusieurs sources de données sont configurées. Valeurs possibles :

• true

• false

Si plusieurs sources de données possèdent des noms d'utilisateur et des mots de passe différents, définissez ce paramètre sur true pour utiliser les identifiants de chaque source de données respective.

Non

false

Paramètre

Description

Obligatoire

Valeur par défaut

datasource

Nom de la source de données de destination. Ce nom doit correspondre à une source de données configurée dans l'éditeur de code.

Oui

Aucune

table

Nom de la table de destination.

Oui

Aucune

writeMode

Mode d'écriture. Les options prises en charge correspondent aux instructions MySQL INSERT INTO, ON DUPLICATE KEY UPDATE et REPLACE INTO :

• insert : En cas de conflit avec une clé primaire ou un index unique, la tâche n'écrit pas les lignes concernées et les enregistre en tant que données erronées.

  Si vous configurez la tâche en mode script, définissez writeMode sur insert.

• on duplicate key update : En l'absence de conflit avec une clé primaire ou un index unique, l'instruction se comporte comme insert into. En cas de conflit, l'instruction met à jour les valeurs des champs spécifiés avec celles de la nouvelle ligne et écrit les données dans MySQL.

  Si vous configurez la tâche en mode script, définissez writeMode sur update.

• replace into : En l'absence de conflit avec une clé primaire ou un index unique, le comportement est identique à insert into. En cas de conflit, la ligne originale est d'abord supprimée, puis la nouvelle ligne est insérée. Cela signifie que la nouvelle ligne remplace tous les champs de la ligne originale.

  Si vous configurez la tâche en mode script, définissez writeMode sur replace.

Non

insert

nullMode

Spécifie la politique de gestion des valeurs NULL provenant de la source. Valeurs possibles :

• writeNull : Si un champ source est NULL, une valeur NULL est écrite dans le champ de destination.

• skipNull : Si un champ source est NULL, le champ de destination est omis lors de l'opération d'écriture, permettant l'application de la valeur par défaut de la base de données. Si aucune valeur par défaut n'est définie, le résultat est généralement NULL. Vous devez spécifier les colonnes applicables dans le paramètre skipNullColumn.

Non

writeNull

skipNullColumn

Lorsque nullMode est défini sur skipNull, les colonnes spécifiées par ce paramètre ne sont pas forcées à NULL. Leurs valeurs par défaut respectives sont utilisées si elles sont disponibles.

Format : ["c1","c2",...]. Les colonnes spécifiées, telles que c1 et c2, doivent constituer un sous-ensemble des colonnes définies dans le paramètre column.

Non

Toutes les colonnes configurées pour la tâche.

column

Colonnes de destination vers lesquelles écrire, spécifiées sous forme de tableau JSON de chaînes. Exemple : "column":["id","name","age"]. Pour écrire dans toutes les colonnes selon l'ordre du schéma, utilisez un astérisque (). Exemple : "column":[""].

Oui

Aucune

preSql

Une ou plusieurs instructions SQL à exécuter avant le début de la tâche de synchronisation. L'interface sans code ne prend en charge qu'une seule instruction, tandis que l'éditeur de code en prend en charge plusieurs. Par exemple, vous pouvez effacer les données existantes d'une table : TRUNCATE TABLE tablename.

Non

Aucune

postSql

Une ou plusieurs instructions SQL à exécuter après l'achèvement de la tâche de synchronisation. L'interface sans code ne prend en charge qu'une seule instruction, tandis que l'éditeur de code en prend en charge plusieurs. Par exemple, vous pouvez ajouter une colonne d'horodatage à l'aide de l'instruction suivante : ALTER TABLE tablename ADD colname TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP.

Non

Aucune

batchSize

Nombre d'enregistrements par lot d'écriture. Des valeurs plus élevées réduisent les allers-retours réseau et peuvent améliorer le débit, mais une valeur trop élevée peut provoquer une erreur de mémoire insuffisante (OOM).

Non

256

updateColumn

Lorsque writeMode est défini sur update, ce paramètre spécifie les colonnes à mettre à jour en cas de conflit avec une clé primaire ou un index unique. Spécifiez les colonnes dans un tableau JSON. Exemple : "updateColumn":["name","age"].

Non

Aucune