Data Transmission Service:Description du paramètre Reserve

Paramètre

Obligatoire

Description

targetTableMode

Oui

Le mode de traitement des tables existantes dans la base de données de destination :

• 0 : Exécute une vérification préalable et signale une erreur pour arrêter la tâche.

• 2 : Ignore l'erreur et poursuit la tâche.

dts.datamove.source.bps.max

Non

La quantité maximale de données pouvant être synchronisées ou migrées par seconde pour une tâche complète ou incrémentielle, en octets (B).

conflict

Non

La politique globale de résolution des conflits pour une tâche de synchronisation bidirectionnelle. Valeurs possibles :

• overwrite : En cas de conflit de données lors de la synchronisation, l'enregistrement conflictuel dans la base de données de destination est écrasé.

• interrupt : En cas de conflit de données lors de la synchronisation, la tâche de synchronisation signale une erreur et se termine. La tâche passe à l'état Échec. Vous devez corriger la tâche manuellement.

• ignore : En cas de conflit de données lors de la synchronisation, l'instruction de synchronisation actuelle est ignorée et la tâche se poursuit. L'enregistrement conflictuel dans la base de données de destination est conservé.

filterDDL

Non

Indique s'il faut filtrer les opérations DDL pour la tâche directe dans une synchronisation bidirectionnelle. Valeurs possibles :

• true : Ne synchronise pas les opérations DDL.

• false : Synchronise les opérations DDL.

  Important

  La tâche inverse filtre automatiquement les opérations DDL.

autoStartModulesAfterConfig

Non

Le paramètre de contrôle du démarrage de la tâche. Valeurs possibles :

• none : Après la configuration de la tâche DTS, les modules tels que la vérification préalable ne sont pas démarrés. Vous devez démarrer la tâche manuellement.

• auto : Après la configuration de la tâche DTS, le module de vérification préalable et tous les modules suivants sont automatiquement démarrés.

  Remarque

  La valeur par défaut est auto pour le scénario d'achat en premier lieu. Ce paramètre n'est pas effectif pour le scénario de configuration en premier lieu.

etlOperatorCtl

Non

Indique s'il faut configurer la fonctionnalité ETL (Extract, Transform, Load). Valeurs possibles :

• Y : Oui, configurer la fonctionnalité ETL.

• N : Non, ne pas configurer la fonctionnalité ETL.

etlOperatorSetting

Non

Les instructions de traitement des données pour ETL. Pour plus d'informations, consultez Syntaxe DSL de traitement des données.

etlOperatorColumnReference

Non

Un champ dédié aux services T+1. Il s'agit d'un opérateur ETL.

configKeyMap

Non

Les informations de configuration pour l'opérateur ETL.

syncArchitecture

Non

La topologie de synchronisation. Valeurs possibles :

• oneway : synchronisation unidirectionnelle.

• bidirectional : synchronisation bidirectionnelle.

dataCheckConfigure

Non

La configuration de la validation des données. Pour plus de détails, consultez Description du paramètre DataCheckConfigure.

dbListCaseChangeMode

Non

La politique de sensibilité à la casse pour les noms d'objets dans la base de données de destination. Valeurs possibles :

• default : Utilise la politique DTS par défaut.

• source : Conserve la même casse que la base de données source.

• dest_upper : Suit la politique par défaut de la base de données de destination (majuscules).

• dest_lower : Suit la politique par défaut de la base de données de destination (minuscules).

maxRetryTime

Non

Le temps d'attente avant de réessayer une connexion à la base de données source ou de destination après une exception prévisible, telle qu'une erreur réseau ou une attente de verrou. La valeur doit être un entier compris entre 600 et 86 400. L'unité est la seconde. La valeur par défaut est de 720 minutes (43 200 secondes). Définissez cette valeur sur 30 minutes (1 800 secondes) ou plus.

retry.blind.seconds

Non

Le temps d'attente avant de réessayer après qu'une exception imprévue se produit dans la base de données source ou de destination, telle qu'une exception d'exécution DDL ou DML. La valeur doit être un entier compris entre 60 et 86 340. L'unité est la seconde. La valeur par défaut est de 10 minutes (600 secondes). Définissez cette valeur sur 10 minutes (600 secondes) ou plus.

modulesExtraConfiguration

Non

Les éléments de configuration étendus pour les modules. Pour obtenir des informations sur les paramètres des éléments de configuration, consultez Description du paramètre Parameters.

Format : tableau JSON

Exemple :

[
   {
   "module": "07",
   "name": "selectdb.reservoir.group.by.target.schema",
   "value": true
   }
]

Paramètre

Obligatoire

Description

vpcId

Oui

L'ID du cloud privé virtuel (VPC) où réside l'instance d'abonnement.

vswitchId

Oui

L'ID du commutateur virtuel pour l'instance d'abonnement.

startTime

Non

L'heure de début de l'abonnement aux données, sous forme d'horodatage UNIX en secondes.

endTime

Non

L'heure de fin de l'abonnement aux données, sous forme d'horodatage UNIX en secondes.

Paramètre

Obligatoire

Description

srcInstanceId

Non

L'ID de l'instance CEN pour l'instance source. Exemple :

{
   "srcInstanceId": "cen-9kqshqum*******"  }

destInstanceId

Non

L'ID de l'instance CEN pour l'instance de destination. Exemple :

{
   "destInstanceId": "cen-9kqshqum*******"  }

Paramètre

Condition de configuration

Description

privilegeMigration

S'applique lorsque les bases de données source et de destination sont toutes deux des instances RDS for MySQL.

Indique s'il faut migrer les comptes. Valeurs possibles :

• true : Migre les comptes.

• false (par défaut) : Ne migre pas les comptes.

privilegeDbList

Informations relatives aux comptes de migration. Pour le format du paramètre, consultez la section Aperçu des paramètres de requête OpenAPI. Exemple :

[{\"user\":\"user1\",\"host\":\"%\",\"oldHost\":\"%\",\"is_migrate\":true},{\"user\":\"user2\",\"host\":\"%\",\"oldHost\":\"%\",\"is_migrate\":true}]

definer

Indique s'il faut conserver le définisseur d'origine de l'objet de base de données. La valeur peut être true ou false.

amp.increment.generator.logmnr.mysql.heartbeat.mode

Lorsque la base de données source est une instance MySQL gérée par l'utilisateur.

Indique s'il faut supprimer les instructions SQL de la table de heartbeat pour les tâches directes et inverses. Valeurs possibles :

• none : N'écrit pas les informations SQL de heartbeat dans la base de données source.

• N : Écrit les informations SQL de heartbeat dans la base de données source.

whitelist.dms.online.ddl.enable

Pour les instances de synchronisation ou de migration lorsque la base de données de destination est MySQL (y compris RDS for MySQL et MySQL géré par l'utilisateur), PolarDB for MySQL, AnalyticDB for MySQL ou AnalyticDB for PostgreSQL.

Utilisez ces six paramètres conjointement pour contrôler la copie des tables temporaires vers la base de données de destination. Ces tables sont générées lors de l'exécution d'un outil DDL en ligne sur une table source.

• Pour copier les données des tables temporaires créées par les modifications DDL en ligne sur la table source :

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• Ne copiez pas les données des tables temporaires créées par les modifications DDL en ligne. Synchronisez uniquement les instructions DDL d'origine exécutées par DMS sur la base de données source :

  {
         "whitelist.dms.online.ddl.enable": "false",
           "sqlparser.dms.original.ddl": "true",
           "whitelist.ghost.online.ddl.enable": "false",
           "sqlparser.ghost.original.ddl": "false"
      }

• Ne copiez pas les données des tables temporaires créées par les modifications DDL en ligne. Synchronisez uniquement les instructions DDL d'origine exécutées par gh-ost sur la base de données source :

  {
         "whitelist.dms.online.ddl.enable": "false",
           "sqlparser.dms.original.ddl": "false",
           "whitelist.ghost.online.ddl.enable": "false",
           "sqlparser.ghost.original.ddl": "true",
           "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
           "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
      }

  Remarque

  Utilisez les expressions régulières par défaut ou configurez des expressions personnalisées pour les tables shadow (online.ddl.shadow.table.rule) et trash (online.ddl.trash.table.rule) de gh-ost.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

Ce paramètre prend effet uniquement lorsque les instances source et de destination sont toutes deux des bases de données MySQL. Cela inclut RDS MySQL et MySQL géré par l'utilisateur.

Indique s'il faut activer la fonctionnalité d'évaluation de la migration. Cette fonctionnalité évalue si les structures des bases de données source et de destination répondent aux exigences. La valeur peut être true ou false.

srcSSL

Requis lorsque le type de connexion est Instance cloud ou Base de données gérée par l'utilisateur sur ECS.

La méthode de connexion pour la base de données source. Valeurs possibles :

• 0 : Connexion non chiffrée.

• 1 : Connexion chiffrée SSL.

Paramètre

Condition

Description

amp.increment.generator.logmnr.mysql.heartbeat.mode

Requis

Indique s'il faut supprimer les instructions SQL de la table de heartbeat pour les tâches directes et inverses. Valeurs possibles :

• none : N'écrit pas les informations SQL de heartbeat dans la base de données source.

• N : Écrit les informations SQL de heartbeat dans la base de données source.

whitelist.dms.online.ddl.enable

Lorsque la base de données de destination est MySQL (y compris RDS for MySQL et MySQL géré par l'utilisateur), PolarDB for MySQL, AnalyticDB for MySQL ou AnalyticDB for PostgreSQL pour une tâche de synchronisation ou de migration.

Ces six paramètres doivent être utilisés conjointement pour contrôler la réplication des tables temporaires vers la base de données de destination. Les tables temporaires sont générées lors de l'exécution d'un outil DDL en ligne sur les tables sources.

• Pour répliquer les données des tables temporaires générées par les modifications DDL en ligne sur la table source :

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• Pour synchroniser uniquement les données DDL d'origine exécutées par DMS sur la base de données source, sans répliquer les données des tables temporaires générées par les modifications DDL en ligne :

  {
         "whitelist.dms.online.ddl.enable": "false",
           "sqlparser.dms.original.ddl": "true",
           "whitelist.ghost.online.ddl.enable": "false",
           "sqlparser.ghost.original.ddl": "false"
      }

• Pour synchroniser uniquement les données DDL d'origine exécutées par gh-ost sur la base de données source, sans répliquer les données des tables temporaires générées par les modifications DDL en ligne :

  {
         "whitelist.dms.online.ddl.enable": "false",
           "sqlparser.dms.original.ddl": "false",
           "whitelist.ghost.online.ddl.enable": "false",
           "sqlparser.ghost.original.ddl": "true",
           "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
           "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
      }

  Remarque

  Utilisez les expressions régulières par défaut ou configurez les vôtres pour les tables shadow (online.ddl.shadow.table.rule) et trash (online.ddl.trash.table.rule) de gh-ost.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

Paramètre

Condition

Description

srcSSL

Lorsque le type de connexion est Instance cloud ou Base de données gérée par l'utilisateur sur ECS.

La méthode de connexion pour la base de données source. Valeurs possibles :

• 0 : Connexion non chiffrée.

• 1 : Connexion chiffrée SSL.

Paramètre

Condition de configuration

Description

isTargetDbCaseSensitive

Requis si la base de données de destination est AnalyticDB for PostgreSQL.

Indique s'il faut ajouter des guillemets aux objets de destination. Les valeurs possibles sont true et false.

isNeedAddRowId

Requis si la base de données de destination est AnalyticDB for PostgreSQL et que les objets à synchroniser ou migrer incluent des tables sans clés primaires.

Indique s'il faut définir ROWID comme clé primaire et clé de distribution pour toutes les tables sans clés primaires. Les valeurs possibles sont true et false.

srcOracleType

Requis

Le type de l'instance Oracle. Valeurs possibles :

• sid : Une instance non-RAC.

• serviceName : Une instance Real Application Clusters (RAC) ou pluggable database (PDB).

source.column.encoding

Requis pour spécifier l'encodage d'écriture pour votre activité.

L'encodage d'écriture pour votre activité. Encodages pris en charge :

• default (Par défaut)

• GB 2312

• GBK

• GB 18030

• UTF-8

• UTF-16

• UTF-32

Paramètre

Condition de configuration

Description

isTargetDbCaseSensitive

Lorsque la base de données de destination est AnalyticDB for PostgreSQL.

Indique s'il faut ajouter des guillemets aux objets de destination. Les valeurs possibles sont true et false.

source.extractor.type

Requis lorsque la base de données de destination n'est pas DataHub et qu'une tâche incrémentielle est configurée.

Le mode de synchronisation ou de migration incrémentielle pour SQL Server. Les valeurs possibles sont :

• cdc : Utilise l'analyse des journaux pour la synchronisation ou la migration incrémentielle des tables non-heap, et utilise Change Data Capture (CDC) pour les tables heap.

• log : Analyse les journaux de la base de données source pour la synchronisation ou la migration incrémentielle.

src.sqlserver.schema.mapper.mode

Lorsque la base de données de destination est MySQL (y compris ApsaraDB RDS for MySQL et MySQL géré par l'utilisateur), PolarDB for MySQL ou AnalyticDB for MySQL.

Le mode de mappage de structure entre les bases de données source et de destination. Les valeurs possibles sont :

• schema.table : Utilise le SchemaName.TableName de la base de données source comme nom de la table de destination.

• without.schema : Utilise le nom de la table de la base de données source comme nom de la table de destination.

  Avertissement

  Si des tables portant le même nom existent dans plusieurs schémas de la base de données source, une incohérence des données ou un échec de la tâche peut survenir.

Paramètre

Condition de configuration

Description

srcKvStoreMode

Requis lorsque le type de connexion de l'instance de base de données n'est pas Alibaba Cloud Instance.

Le modèle d'instance de la base de données Redis gérée par l'utilisateur source. Valeurs possibles :

• single : Édition Basic.

• cluster : Édition Cluster.

any.sink.redis.expire.extension.seconds

Requis

Le temps supplémentaire en secondes pour prolonger la durée de vie (TTL) d'une clé lors de sa migration de la base de données source vers la base de données de destination. Pour garantir la cohérence des données, définissez la TTL prolongée à 600 secondes ou plus si vous utilisez des commandes telles que les suivantes.

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

any.source.redis.use.slave.node

Requis lorsque srcKvStoreMode est défini sur cluster.

Indique s'il faut extraire les données d'un nœud esclave. Valeurs possibles :

• true : Extrait les données d'un nœud esclave.

• false (par défaut) : Extrait les données du nœud maître.

Paramètre

Condition

Description

srcEngineArchType

Requis

L'architecture de la base de données MongoDB source. Valeurs possibles :

• 0 : Architecture à nœud unique.

• 1 : Architecture ReplicaSet.

• 2 : Architecture de cluster shardé.

sourceShardEndpointUsername

Requis lorsque srcEngineArchType est défini sur 2.

Le nom d'utilisateur pour le shard de la base de données MongoDB source.

sourceShardEndpointPassword

Le mot de passe pour le shard de la base de données MongoDB source.

Paramètre

Condition de configuration

Description

amp.increment.generator.logmnr.mysql.heartbeat.mode

Requis

Indique s'il faut écrire des instructions SQL de heartbeat pour les tâches directes et inverses. Valeurs possibles :

• none : N'écrit pas les informations SQL de heartbeat dans la base de données source.

• N : Écrit les informations SQL de heartbeat dans la base de données source.

Paramètre

Condition

Description

srcHostPortCtl

Lorsque le type de connexion est une adresse IP publique.

Indique s'il faut utiliser une source unique ou plusieurs sources pour PolarDB for PostgreSQL (Compatible with Oracle). Valeurs possibles :

• single : Single Data Source.

• multiple : Multiple Data Sources.

srcHostPorts

Lorsque srcHostPortCtl est défini sur multiple.

Les adresses IP et les numéros de port des nœuds PolarDB for PostgreSQL (Compatible with Oracle) source. Séparez les paires IP:Port par des virgules.

Paramètre

Condition de configuration

Description

amp.increment.generator.logmnr.mysql.heartbeat.mode

Requis

Indique s'il faut supprimer le SQL de la table de heartbeat des tâches directes et inverses :

• none : N'écrit pas d'instructions SQL de heartbeat dans la base de données source.

• N : Écrit des instructions SQL de heartbeat dans la base de données source.

isIncMigration

Requis

Indique s'il faut effectuer une migration incrémentielle. Les valeurs possibles sont yes ou no.

srcKafka

Requis si isIncMigration est défini sur yes.

Informations sur le cluster Kafka en aval de TiDB.

taskType

Le type de cluster Kafka. Sélectionnez un type en fonction de l'emplacement de déploiement du cluster Kafka. Valeurs possibles :

• EXPRESS : Ligne louée / Passerelle VPN / Smart Gateway.

• ECS : Une base de données gérée par l'utilisateur hébergée sur une instance ECS.

bisId

• Si taskType est défini sur ECS, ce paramètre spécifie l'ID de l'instance ECS.

• Si taskType est défini sur EXPRESS, ce paramètre spécifie l'ID du réseau privé virtuel (VPC) connecté à la base de données source.

port

Le port de service du cluster Kafka.

user

Le nom d'utilisateur pour le cluster Kafka. Laissez ce champ vide si l'authentification est désactivée pour le cluster Kafka.

passwd

Le mot de passe pour le cluster Kafka. Laissez ce champ vide si l'authentification est désactivée pour le cluster Kafka.

version

La version du cluster Kafka.

ssl

La méthode de connexion pour le cluster Kafka. Valeurs possibles :

• 0 : Connexion en texte clair.

• 3 : Connexion chiffrée utilisant SCRAM-SHA-256.

topic

Le topic contenant les objets à migrer ou synchroniser.

host

Requis si taskType est défini sur EXPRESS.

L'adresse IP du cluster Kafka.

vpcId

Requis si taskType est défini sur ECS.

Le VPC où réside l'instance ECS.

Parameter

Configuration condition

Description

privilegeMigration

Lorsque les types de base de données source et cible sont tous deux RDS for MySQL. Pour plus d'informations, consultez Le type de base de données source est MySQL (y compris RDS for MySQL et MySQL auto-géré).

Indique s'il faut migrer les comptes.

privilegeDbList

Les informations relatives aux comptes à migrer.

definer

Indique s'il faut conserver le défineur d'origine des objets de base de données.

whitelist.dms.online.ddl.enable

Lorsque le type de base de données source est MySQL (y compris RDS for MySQL et MySQL auto-géré) ou PolarDB for MySQL, et que l'instance est destinée à la synchronisation ou à la migration. Pour plus d'informations, consultez Paramètres de la base de données source.

Ces six paramètres doivent être utilisés conjointement. Ils contrôlent la réplication ou non des tables temporaires générées par l'outil DDL en ligne pour la table source vers la base de données cible.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

Lorsque le type de base de données des instances source et cible est MySQL (y compris RDS for MySQL et MySQL auto-géré).

Indique s'il faut activer la fonction d'évaluation de la migration afin de vérifier si les structures des bases de données source et cible répondent aux exigences. Les valeurs valides sont true et false.

triggerMode

Obligatoire

La méthode de migration des déclencheurs depuis la base de données source. Valeurs possibles :

• manual : Migrez manuellement les déclencheurs.

• auto : Migrez automatiquement les déclencheurs.

destSSL

Lorsque le type de connexion est Cloud Instance ou ECS-hosted Self-managed Database.

La méthode de connexion à la base de données cible. Valeurs possibles :

• 0 : Connexion non chiffrée.

• 1 : Connexion sécurisée SSL.

src.sqlserver.schema.mapper.mode

Lorsque le type de base de données source est SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

Le mode de mappage de structure entre les bases de données source et cible. Pour plus d'informations, consultez Le type de base de données source est SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

Parameter

Configuration condition

Description

whitelist.dms.online.ddl.enable

Lorsque le type de base de données source est MySQL (y compris RDS for MySQL et MySQL auto-géré) ou PolarDB for MySQL, et que l'instance est destinée à la synchronisation ou à la migration. Pour plus d'informations, consultez Paramètres de la base de données source.

Ces six paramètres doivent être utilisés conjointement. Ils contrôlent la réplication ou non des tables temporaires générées par l'outil DDL en ligne pour la table source vers la base de données cible.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

anySinkTableEngineType

Obligatoire

Le type de moteur de l'instance PolarDB for MySQL. Valeurs possibles :

• innodb : Le moteur de stockage par défaut.

• xengine : Le moteur de stockage de base de données OLTP (On-Line Transaction Processing).

triggerMode

Obligatoire

La méthode de migration des déclencheurs depuis la base de données source. Valeurs possibles :

• manual : Migrez manuellement les déclencheurs.

• auto : Migrez automatiquement les déclencheurs.

src.sqlserver.schema.mapper.mode

Lorsque le type de base de données source est SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

Le mode de mappage de structure entre les bases de données source et cible. Pour plus d'informations, consultez Le type de base de données source est SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

Parameter

Configuration condition

Description

whitelist.dms.online.ddl.enable

Lorsque le type de base de données source est MySQL (y compris RDS for MySQL et MySQL auto-géré) ou PolarDB for MySQL, et que l'instance est destinée à la synchronisation ou à la migration. Pour plus d'informations, consultez Paramètres de la base de données source.

Ces six paramètres doivent être utilisés conjointement. Ils contrôlent la réplication ou non des tables temporaires générées par l'outil DDL en ligne pour la table source vers la base de données cible.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

triggerMode

Obligatoire

La méthode de migration des déclencheurs depuis la base de données source. Valeurs possibles :

• manual : Migrez manuellement les déclencheurs.

• auto : Migrez automatiquement les déclencheurs.

src.sqlserver.schema.mapper.mode

Lorsque le type de base de données source est SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

Le mode de mappage de structure entre les bases de données source et cible. Pour plus d'informations, consultez Le type de base de données source est SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

traceDatasource

Obligatoire

Indique s'il faut activer la fusion de plusieurs tables. Les valeurs valides sont true et false.

tagColumnValue

Lorsque vous définissez si vous souhaitez personnaliser la colonne de tag.

Indique s'il faut personnaliser la colonne de tag __dts_data_source. Valeurs possibles :

• tagColumnValue : Personnalisez la colonne de tag.

  Important

  Vous devez également configurer la valeur de la colonne de tag dans le paramètre DbList. Pour plus d'informations, consultez Description des objets pour la migration, la synchronisation ou l'abonnement.

• notTagColumnValue : Ne personnalisez pas la colonne de tag.

  Important

  Actuellement, seules les instances configurées après l'achat prennent en charge les colonnes de tag personnalisées.

adsSqlType

Lorsque vous devez sélectionner les opérations SQL pour la synchronisation incrémentielle ou la migration au niveau de l'instance.

Sélectionne les opérations SQL pour la synchronisation incrémentielle ou la migration au niveau de l'instance. Séparez plusieurs opérations SQL par des virgules. Valeurs possibles :

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

Parameter

Configuration condition

Description

whitelist.dms.online.ddl.enable

Lorsque le type de base de données source est MySQL (y compris RDS for MySQL et MySQL auto-géré) ou PolarDB for MySQL, et que l'instance est destinée à la synchronisation ou à la migration. Pour plus d'informations, consultez Paramètres de la base de données source.

Ces six paramètres doivent être utilisés conjointement. Ils contrôlent la réplication ou non des tables temporaires générées par l'outil DDL en ligne pour la table source vers la base de données cible.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isTargetDbCaseSensitive

Lorsque le type de base de données source est MySQL (y compris RDS for MySQL et MySQL auto-géré), Oracle ou SQL Server (y compris RDS for SQL Server et SQL Server auto-géré).

Indique s'il faut ajouter des guillemets aux objets cibles. Les valeurs valides sont true et false.

syncOperation

Lorsque vous devez sélectionner les opérations SQL pour la synchronisation incrémentielle ou la migration au niveau de l'instance.

Sélectionne les opérations SQL pour la synchronisation incrémentielle ou la migration au niveau de l'instance. Séparez plusieurs opérations SQL par des virgules. Valeurs possibles :

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

• createDB

• dropDB

Parameter

Configuration condition

Description

triggerMode

Obligatoire

La méthode de migration des déclencheurs depuis la base de données source. Valeurs possibles :

• manual : Migrez manuellement les déclencheurs.

• auto : Migrez automatiquement les déclencheurs.

destSSL

Lorsque le type de connexion est Cloud Instance ou ECS-hosted Self-managed Database.

La méthode de connexion à la base de données cible. Valeurs possibles :

• 0 : Connexion non chiffrée.

• 1 : Connexion sécurisée SSL.

Parameter

Configuration condition

Description

destEngineArchType

Obligatoire

Le type d'architecture de la base de données MongoDB cible. Valeurs possibles :

• 0 : Architecture à nœud unique.

• 1 : Architecture en ensemble de réplicas.

• 2 : Architecture en cluster fragmenté.

Parameter

Configuration condition

Description

destKvStoreMode

Lorsque le type de connexion pour l'instance de base de données n'est pas Alibaba Cloud Instance.

Le mode d'instance du Redis cible auto-géré. Valeurs possibles :

• single : Édition Basic.

• cluster : Édition Cluster.

any.sink.redis.expire.extension.seconds

Obligatoire

Le temps de vie supplémentaire (TTL) en secondes pour une clé lors de sa migration de la base de données source vers la base de données cible. Pour garantir la cohérence des données, si vous utilisez des commandes telles que les suivantes, définissez le TTL étendu de la clé à 600 secondes ou plus.

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

Parameter

Configuration condition

Description

destHostPortCtl

Lorsque le type de connexion est Public IP.

Indique s'il faut sélectionner des données multi-sources pour PolarDB for PostgreSQL (Compatible with Oracle). Valeurs possibles :

• single : Correspond à Single Data Source.

• multiple : Correspond à Multiple Data Sources.

destHostPorts

Lorsque destHostPortCtl est multiple.

Les adresses IP et les numéros de port des nœuds PolarDB for PostgreSQL (Compatible with Oracle) cibles. Séparez plusieurs paires IP:Port par des virgules.

Parameter

Configuration condition

Description

destOracleType

Obligatoire

Le type d'instance Oracle. Valeurs possibles :

• sid : Une instance non RAC.

• serviceName : Une instance RAC ou PDB.

Parameter

Configuration condition

Description

isUseNewAttachedColumn

Obligatoire

La convention de nommage des colonnes jointes est la suivante :

• Utilisez la nouvelle convention de nommage pour les colonnes jointes : Définissez isUseNewAttachedColumn sur true.

• Utilisez l'ancienne convention de nommage des colonnes jointes : isUseNewAttachedColumn est défini sur false.

Parameter

Configuration condition

Description

isUseNewAttachedColumn

Obligatoire

La convention de nommage des colonnes jointes est la suivante :

• Utilisez la nouvelle convention de nommage pour les colonnes jointes : Définissez isUseNewAttachedColumn sur true.

• Utilisation de l'ancienne convention de nommage des colonnes jointes : isUseNewAttachedColumn est défini sur false, .

partition

Obligatoire

Le nom de partition de la table de journaux incrémentiels. Valeurs possibles :

• Lorsque isUseNewAttachedColumn est true :

  • modifytime_year

  • modifytime_month

  • modifytime_day

  • modifytime_hour

  • modifytime_minute

• Lorsque isUseNewAttachedColumn est false :

  • new_dts_sync_modifytime_year

  • new_dts_sync_modifytime_month

  • new_dts_sync_modifytime_day

  • new_dts_sync_modifytime_hour

  • new_dts_sync_modifytime_minute

Parameter

Configuration condition

Description

indexMapping

Obligatoire

Le nom de l'index créé dans l'instance Elasticsearch cible. Valeurs possibles :

• tb : Le nom de l'index créé est identique au nom de la table.

• db_tb : Le nom de l'index créé est une combinaison du nom de la base de données, d'un trait de soulignement (_) et du nom de la table.

Parameter

Configuration condition

Description

destTopic

Obligatoire

Le sujet du cluster Kafka cible auquel appartient l'objet de migration ou de synchronisation.

destVersion

Obligatoire

La version du cluster Kafka cible. Les valeurs valides sont 1.0, 0.9 et 0.10.

destSSL

Obligatoire

La méthode de connexion au cluster Kafka cible. Valeurs possibles :

• 0 : Connexion non chiffrée.

• 3 : Connexion chiffrée utilisant SCRAM-SHA-256.

sink.kafka.ddl.topic

Lorsque vous devez spécifier un sujet pour stocker les informations DDL.

Le sujet utilisé pour stocker les informations DDL. Si vous ne saisissez aucune valeur, les informations DDL sont stockées par défaut dans le sujet spécifié par destTopic.

kafkaRecordFormat

Obligatoire

Le format de stockage des données livrées au cluster Kafka cible. Valeurs possibles :

• canal_json : Utilise Canal pour analyser les journaux incrémentiels de la base de données et transmettre les données incrémentielles au cluster Kafka cible. Les données sont stockées au format Canal JSON.

• dts_avro : Un format de sérialisation des données qui convertit les structures de données ou les objets dans un format facile à stocker ou à transmettre.

• shareplex_json : Utilise le logiciel de réplication de données Shareplex pour lire les données de la base de données source. Lors de l'écriture des données dans le cluster Kafka cible, les données sont stockées au format Shareplex JSON.

• debezium : Un outil qui capture les modifications de données et prend en charge la diffusion en temps réel des mises à jour de données de la base de données source vers le cluster Kafka cible.

destKafkaPartitionKey

Obligatoire

La politique de synchronisation des partitions Kafka. Valeurs possibles :

• none : Livre toutes les données et les informations DDL à la partition 0 du sujet cible.

• database_table : Fusionne le nom de la base de données et le nom de la table pour servir de clé de partition pour le calcul de hachage. Ensuite, il livre les données et les informations DDL de chaque table à différentes partitions du sujet cible.

• columns : Utilise les colonnes de la table (la clé primaire par défaut, ou une clé unique si aucune clé primaire n'existe) comme clé de partition pour le calcul de hachage. Ensuite, il livre différentes lignes à différentes partitions du sujet cible. Vous pouvez également spécifier une ou plusieurs colonnes comme clé de partition pour le calcul de hachage.

destSchemaRegistry

Obligatoire

Indique s'il faut utiliser Kafka Schema Registry. Les valeurs valides sont yes et no.

destKafkaSchemaRegistryUrl

Lorsque destSchemaRegistry est true.

L'URL ou l'adresse IP pour l'enregistrement du schéma Avro dans Kafka Schema Registry.

Parameter

Configuration condition

Description

fusionMetastoreMod

Obligatoire

L'emplacement de stockage des métadonnées OSS cibles (catalogue de données). Valeurs possibles :

• dms : Stocké dans DMS.

• adb : Stocké dans un cluster AnalyticDB for MySQL 3.0.

• none : Aucun. Les métadonnées ne sont pas stockées.

fusionOssFilePath

Obligatoire

Le répertoire dans l'OSS cible pour le stockage des données.

fusionOssFileFormat

Obligatoire

Le format des données intégrées dans l'OSS cible. Valeurs possibles :

• DELTA : Format Delta.

• PARQUET : Format Parquet.

• HUDI : Format Hudi.

fusionAdbCrossMdsDbClusterId

Lorsque fusionMetastoreMod est adb.

L'ID du cluster AnalyticDB for MySQL 3.0 qui stocke les métadonnées OSS cibles.

fusionAdbCrossMdsRamId

Lorsque fusionMetastoreMod est adb.

L'ID du compte Alibaba Cloud ou de l'utilisateur RAM propriétaire du cluster AnalyticDB for MySQL 3.0 stockant les métadonnées OSS cibles.

srcConnArgs

Lorsque la base de données source est MySQL ou SQL Server.

Les paramètres de connexion de la base de données source au format JSON. Par exemple :

"srcConnArgs": {
     "rewriteBatchedStatements": "true",
     "tinyInt1isBit": "false",
     "zeroDateTimeBehavior": "convertToNull",
     "yearIsDateType": "false"
     }

sparkExtraArgs

Lorsque vous configurez les paramètres de tâche Spark.

Les paramètres de tâche Spark au format JSON. Par exemple :

 "sparkExtraArgs": {
     "spark.executor.extraJavaOptions": "-verbose:class",
     "spark.driver.extraJavaOptions": "-verbose:class"
     }