全部产品
Search

搜索本产品

    数据传输服务 DTS：Reserve参数说明

    文档中心

    数据传输服务 DTS：Reserve参数说明

    更新时间：Jan 05, 2024

    在调用部分接口配置或查询迁移或同步、订阅任务时，您需要配置或查询预留参数Reserve（数据类型为字符串String，传入格式为JSON）来完善或查看源或目标实例的配置信息（比如目标Kafka集群的数据存储格式、云企业网CEN的实例ID）。本文将介绍Reserve参数的适用场景和配置说明。

    注意事项

    • 您需要根据实例的任务类型和数据库的接入方式等配置公共参数，然后根据源和目标数据库类型等实际情况配置其他参数。

    • 若您需要配置的DTS实例中源和目标数据库有相同的参数，仅需配置一次即可，无需重复配置。

    • 若所传入数据为数值，则您需加英文双引号（""），将其转变为字符串String。

    • 您可以在控制台的高级配置阶段，将鼠标光标移动至下一步保存任务并预检查按钮上，然后单击气泡中的预览OpenAPI参数，查看该实例使用API接口配置时的参数信息。

    相关接口

    公共参数

    请根据DTS实例类型和数据库的接入方式，在Reserve中配置参数。

    表 1. 迁移或同步实例

    参数

    是否必填

    说明

    targetTableMode

    是

    目标已存在表的处理模式：

    • 0：预检查并报错拦截。

    • 2：忽略报错并继续执行。

    dts.datamove.source.bps.max

    否

    每秒全量同步或迁移的数据量，取值为[0,9007199254740991]的整数，单位为MB。

    conflict

    否

    双向同步任务的冲突修复策略，取值为：

    • overwrite：当数据同步遇到冲突时，直接覆盖目标库中的冲突记录。

    • interrupt：当数据同步遇到冲突时，同步任务直接报错并退出，同步任务进入失败状态，需要您手动修复任务。

    • ignore：当数据同步遇到冲突时，直接跳过当前同步语句，继续往下执行，选择使用目标库中的冲突记录。

    filterDDL

    否

    双向同步任务是否过滤正向任务的DDL操作，取值为：

    • true：不同步DDL操作。

    • false：同步DDL操作。

      重要

      反向任务将自动过滤DDL操作。

    autoStartModulesAfterConfig

    否

    任务启动控制参数，取值：

    • none（默认值）：DTS任务配置完成后，不启动预检查等模块，需要手动启动任务。

    • auto：DTS任务配置完成后，自动启动预检查模块及其后续所有模块。

    etlOperatorCtl

    否

    是否配置ETL功能，取值为：

    • Y：是，配置ETL功。

    • N：否，不配置ETL功。

    etlOperatorSetting

    否

    ETL的数据处理语句。更多信息，请参见数据处理DSL语法。

    etlOperatorColumnReference

    否

    T+1业务专用的字段，ETL算子。

    configKeyMap

    否

    ETL算子配置信息。

    syncArchitecture

    否

    同步拓扑，取值为：

    • oneway：单向同步。

    • bidirectional：双向同步。

    dataCheckConfigure

    否

    数据校验配置，详情请参见DataCheckConfigure参数说明。

    dbListCaseChangeMode

    否

    目标库对象名称大小写策略，取值为：

    • default：使用DTS默认策略。

    • source：和源库保持一致。

    • dest_upper：与目标库默认策略保持一致（大写）。

    • dest_lower：与目标库默认策略保持一致（小写）。

    说明

    更多信息，请参见目标库对象名称大小写策略。

    maxRetryTime

    否

    源库、目标库无法连接后的重试时间，取值为[10,1440]的整数，单位为分钟。默认为720分钟，建议设置30分钟以上。

    表 2. 订阅实例

    参数

    是否必填

    说明

    vpcId

    是

    订阅实例的专有网络ID。

    vswitchId

    是

    订阅实例的虚拟交换机ID。

    startTime

    否

    订阅数据的起始时间戳，单位为秒。

    endTime

    否

    订阅数据的结束时间戳，单位为秒。

    表 3. 数据库实例的接入方式为云企业网CEN

    参数

    是否必填

    说明

    srcInstanceId

    否

    源实例的云企业网实例ID。示例：

    {
   "srcInstanceId": "cen-9kqshqum*******"  }
    说明

    当源端数据库实例接入方式为云企业网CEN时需要配置。

    destInstanceId

    否

    目标实例的云企业网实例ID。示例：

    {
   "destInstanceId": "cen-9kqshqum*******"  }
    说明

    当目标端数据库实例接入方式为云企业网CEN时需要配置。

    源数据库参数配置

    请根据源数据库类型，在Reserve中配置参数。

    表 4. 源数据库类型为MySQL（包括RDS MySQL和自建MySQL）

    参数

    配置条件

    说明

    privilegeMigration

    当源和目标数据库类型均为RDS MySQL时。

    是否迁移账号，取值为：

    • true：迁移账号。

    • false（默认值）：不迁移账号。

    privilegeDbList

    迁移账号的信息。

    definer

    是否保留数据库对象原有的Definer，取值为true或false。

    amp.increment.generator.logmnr.mysql.heartbeat.mode

    当源数据库类型为自建MySQL时。

    是否去除正反向任务的心跳表SQL，取值为：

    • none：不在源库中写入心跳SQL信息。

    • N：在源库中写入心跳SQL信息。

    whitelist.dms.online.ddl.enable

    当目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版、AnalyticDB MySQL或AnalyticDB PostgreSQL，且为同步或迁移实例时。

    此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

    • 复制源表Online DDL变更产生的临时表数据：

      {
   "whitelist.dms.online.ddl.enable": "true",
     "sqlparser.dms.original.ddl": "false",
     "whitelist.ghost.online.ddl.enable": "true",
     "sqlparser.ghost.original.ddl": "false"
}

    • 不复制源表Online DDL变更产生的临时表数据，只同步源库使用DMS执行的原始DDL数据：

      {
   "whitelist.dms.online.ddl.enable": "false",
     "sqlparser.dms.original.ddl": "true",
     "whitelist.ghost.online.ddl.enable": "false",
     "sqlparser.ghost.original.ddl": "false"
}

    • 不复制源表Online DDL变更产生的临时表数据，只同步源库使用gh-ost执行的原始DDL数据：

      {
   "whitelist.dms.online.ddl.enable": "false",
     "sqlparser.dms.original.ddl": "false",
     "whitelist.ghost.online.ddl.enable": "false",
     "sqlparser.ghost.original.ddl": "true",
     "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
     "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
}
      说明

      可以使用默认的或者自行配置gh-ost影子表的正则表达式（online.ddl.shadow.table.rule）和无用表的正则表达式（online.ddl.trash.table.rule）。

    sqlparser.dms.original.ddl

    whitelist.ghost.online.ddl.enable

    sqlparser.ghost.original.ddl

    online.ddl.shadow.table.rule

    online.ddl.trash.table.rule

    isAnalyzer

    当源和目标实例的数据库类型均为MySQL（包括RDS MySQL和自建MySQL）时。

    是否开启迁移评估功能，评估源库和目标库的结构是否满足要求。取值为true或false。

    srcSSL

    接入方式为云实例或ECS自建数据库时。

    源端数据库的连接方式，取值为：

    • 0：非加密连接。

    • 1：SSL安全连接。

    表 5. 源数据库类型为PolarDB MySQL版

    参数

    配置条件

    说明

    amp.increment.generator.logmnr.mysql.heartbeat.mode

    必填

    是否去除正反向任务的心跳表SQL，取值为：

    • none：不在源库中写入心跳SQL信息。

    • N：在源库中写入心跳SQL信息。

    whitelist.dms.online.ddl.enable

    当目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版、AnalyticDB MySQL或AnalyticDB PostgreSQL，且为同步或迁移实例时。

    此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

    • 复制源表Online DDL变更产生的临时表数据：

      {
   "whitelist.dms.online.ddl.enable": "true",
     "sqlparser.dms.original.ddl": "false",
     "whitelist.ghost.online.ddl.enable": "true",
     "sqlparser.ghost.original.ddl": "false"
}

    • 不复制源表Online DDL变更产生的临时表数据，只同步源库使用DMS执行的原始DDL数据：

      {
   "whitelist.dms.online.ddl.enable": "false",
     "sqlparser.dms.original.ddl": "true",
     "whitelist.ghost.online.ddl.enable": "false",
     "sqlparser.ghost.original.ddl": "false"
}

    • 不复制源表Online DDL变更产生的临时表数据，只同步源库使用gh-ost执行的原始DDL数据：

      {
   "whitelist.dms.online.ddl.enable": "false",
     "sqlparser.dms.original.ddl": "false",
     "whitelist.ghost.online.ddl.enable": "false",
     "sqlparser.ghost.original.ddl": "true",
     "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
     "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
}
      说明

      可以使用默认的或者自行配置gh-ost影子表的正则表达式（online.ddl.shadow.table.rule）和无用表的正则表达式（online.ddl.trash.table.rule）。

    sqlparser.dms.original.ddl

    whitelist.ghost.online.ddl.enable

    sqlparser.ghost.original.ddl

    online.ddl.shadow.table.rule

    online.ddl.trash.table.rule

    表 6. 源数据库类型为RDS MariaDB

    参数

    配置条件

    说明

    srcSSL

    接入方式为云实例或ECS自建数据库时。

    源端数据库的连接方式，取值为：

    • 0：非加密连接。

    • 1：SSL安全连接。

    表 7. 源数据库类型为Oracle

    参数

    配置条件

    说明

    isTargetDbCaseSensitive

    当目标数据库类型为AnalyticDB PostgreSQL时。

    是否为目标对象添加引号，取值为true或false。

    isNeedAddRowId

    当目标数据库类型为AnalyticDB PostgreSQL，且待同步或迁移的对象存在无主键表时。

    是否将无主键表全部设置ROWID作为主键和分布键，取值为true或false。

    srcOracleType

    必填

    Oracle实例的类型，取值为：

    • sid：非RAC实例。

    • serviceName：RAC或PDB实例。

    source.column.encoding

    需要指定实际业务的写入编码时。

    实际业务的写入编码，支持选择的编码为：

    • default（默认值）

    • GB 2312

    • GBK

    • GB 18030

    • UTF-8

    • UTF-16

    • UTF-32

    表 8. 源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）

    参数

    配置条件

    说明

    isTargetDbCaseSensitive

    当目标数据库类型为AnalyticDB PostgreSQL时。

    是否为目标对象添加引号，取值为true或false。

    source.extractor.type

    当目标数据库类型不为DataHub，且有增量任务时需要配置。

    SQL Server增量同步或迁移的模式，取值为：

    • cdc：非堆表用日志解析增量同步或迁移，堆表用CDC增量同步或迁移。

    • log：解析源库日志做增量同步或迁移。

    src.sqlserver.schema.mapper.mode

    目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版或云原生数据仓库 AnalyticDB MySQL 版时。

    源库和目标库结构映射模式，取值为：

    • schema.table：将源库中的Schema名.表名作为目标表的名称。

    • without.schema：将源库的表名作为目标表的名称。

      警告

      若源库多个Schema中有名称相同的表，则可能会导致数据不一致或任务失败。

    表 9. 源数据库类型为Tair/Redis（包含云数据库Redis、云原生内存数据库Tair、自建Redis）

    参数

    配置条件

    说明

    srcKvStoreMode

    数据库实例的接入方式不为云实例时。

    源自建Redis的实例模式，取值为：

    • single：单机版。

    • cluster：集群版。

    any.sink.redis.expire.extension.seconds

    必填

    源库中的Key迁移到目标库时额外延长的过期时间。为保障数据的一致性，如有使用到（包括但不限于）如下命令，建议设置延长Key的过期时间为600秒以上。

    EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

    any.source.redis.use.slave.node

    当srcKvStoreMode为cluster时。

    当源自建Redis的实例模式为集群版时，选择从Master或Slave节点拉取数据。取值为：

    • true：从Slave节点拉取数据。

    • false（默认）：从Master节点拉取数据。

    表 10. 源数据库类型为MongoDB（包括云数据库MongoDB版和自建MongoDB）

    参数

    配置条件

    说明

    srcEngineArchType

    必填

    源MongoDB数据库的架构类型，取值为：

    • 0 ：单节点架构。

    • 1：副本集架构。

    • 2：分片集群架构。

    sourceShardEndpointUsername

    当srcEngineArchType为2时。

    源MongoDB数据库的Shard账号。

    sourceShardEndpointPassword

    源MongoDB数据库的Shard密码。

    表 11. 源数据库类型为PolarDB-X 2.0

    参数

    配置条件

    说明

    amp.increment.generator.logmnr.mysql.heartbeat.mode

    必填

    是否去除正反向任务的心跳表SQL，取值为：

    • none：不在源库中写入心跳SQL信息。

    • N：在源库中写入心跳SQL信息。

    表 12. 源数据库类型为PolarDB PostgreSQL版（兼容Oracle）

    参数

    配置条件

    说明

    srcHostPortCtl

    接入方式为公网IP时。

    PolarDB PostgreSQL版（兼容Oracle）是否选择多源数据，取值为：

    • single：即单个IP:Port。

    • multiple：即多个IP:Port。

    srcHostPorts

    当srcHostPortCtl为multiple时。

    源PolarDB PostgreSQL版（兼容Oracle）节点的IP地址和端口号信息，多个IP:Port之间用英文半角逗号分隔。

    表 13. 源数据库类型为TiDB

    参数

    配置条件

    说明

    amp.increment.generator.logmnr.mysql.heartbeat.mode

    必填

    是否去除正反向任务的心跳表SQL，取值为：

    • none：不在源库中写入心跳SQL信息。

    • N：在源库中写入心跳SQL信息。

    isIncMigration

    必填

    是否做增量迁移，取值为yes或no。

    重要

    同步任务仅支持yes。

    srcKafka

    当isIncMigration为yes时。

    TiDB下游的Kafka信息。

    taskType

    Kafka集群类型，根据Kafka的部署位置进行选择。取值为：

    • EXPRESS：专线/VPN网关/智能网关。

    • ECS：ECS自建数据库。

    bisId

    • 当taskType为ECS时，表示ECS的实例ID。

    • 当taskType为EXPRESS时，表示已和源端数据库联通的专有网络ID

    port

    Kafka集群的服务端口。

    user

    Kafka集群账号，若Kafka未开启验证可不填写。

    passwd

    Kafka集群密码，若Kafka未开启验证可不填写。

    version

    Kafka集群的版本。

    ssl

    Kafka集群的连接方式，取值为：

    • 0：非加密连接。

    • 3：使用SCRAM-SHA-256进行加密连接。

    topic

    迁移或同步对象所属的Topic。

    host

    当taskType为EXPRESS时。

    Kafka集群的IP地址。

    vpcId

    当taskType为ECS时。

    ECS实例的专有网络。

    目标数据库参数配置

    请根据目标数据库类型，在Reserve中配置参数。

    表 14. 目标数据库类型为MySQL（包括RDS MySQL和自建MySQL）

    参数

    配置条件

    说明

    privilegeMigration

    当源和目标数据库类型均为RDS MySQL时，详情请参见源数据库类型为MySQL（包括RDS MySQL和自建MySQL）。

    是否迁移账号。

    privilegeDbList

    迁移账号的信息。

    definer

    是否保留数据库对象原有的Definer。

    whitelist.dms.online.ddl.enable

    当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。更多信息，请参见源数据库参数配置。

    此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

    sqlparser.dms.original.ddl

    whitelist.ghost.online.ddl.enable

    sqlparser.ghost.original.ddl

    online.ddl.shadow.table.rule

    online.ddl.trash.table.rule

    isAnalyzer

    当源和目标实例的数据库类型均为MySQL（包括RDS MySQL和自建MySQL）时。

    是否开启迁移评估功能，评估源库和目标库的结构是否满足要求。取值为true或false。

    triggerMode

    必填

    源库触发器迁移方式，取值为：

    • manual：手动迁移。

    • auto：自动迁移。

    说明

    更多信息，请参见同步或迁移源库中的触发器。

    destSSL

    接入方式为云实例或ECS自建数据库时。

    目标端数据库的连接方式，取值为：

    • 0：非加密连接。

    • 1：SSL安全连接。

    src.sqlserver.schema.mapper.mode

    当源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）时。

    源库和目标库结构映射模式，详情请参见源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）。

    表 15. 目标数据库类型为PolarDB MySQL版

    参数

    配置条件

    说明

    whitelist.dms.online.ddl.enable

    当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。更多信息，请参见源数据库参数配置。

    此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

    sqlparser.dms.original.ddl

    whitelist.ghost.online.ddl.enable

    sqlparser.ghost.original.ddl

    online.ddl.shadow.table.rule

    online.ddl.trash.table.rule

    anySinkTableEngineType

    必填

    PolarDB MySQL实例的引擎类型，取值为：

    • innodb：默认存储引擎。

    • xengine：联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。

    triggerMode

    必填

    源库触发器迁移方式，取值为：

    • manual：手动迁移。

    • auto：自动迁移。

    说明

    更多信息，请参见同步或迁移源库中的触发器。

    src.sqlserver.schema.mapper.mode

    当源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）时。

    源库和目标库结构映射模式，详情请参见源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）。

    表 16. 目标数据库类型为云原生数据仓库 AnalyticDB MySQL 版

    参数

    配置条件

    说明

    whitelist.dms.online.ddl.enable

    当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。详情请参见源数据库参数配置。

    此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

    sqlparser.dms.original.ddl

    whitelist.ghost.online.ddl.enable

    sqlparser.ghost.original.ddl

    online.ddl.shadow.table.rule

    online.ddl.trash.table.rule

    triggerMode

    必填

    源库触发器迁移方式，取值为：

    • manual：手动迁移。

    • auto：自动迁移。

    说明

    更多信息，请参见同步或迁移源库中的触发器。

    src.sqlserver.schema.mapper.mode

    当源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）时。

    源库和目标库结构映射模式，详情请参见源数据库类型为SQL Server（包括RDS SQL Server和自建SQL Server）。

    traceDatasource

    必填

    是否开启多表归并，取值为true或false。

    tagColumnValue

    设置是否自定义标签列时。

    是否自定义__dts_data_source标签列，取值为：

    • tagColumnValue：自定义标签列。

      重要

      您还需要在DbList参数中配置标签列的值，详情请参见迁移、同步或订阅对象说明。

    • notTagColumnValue：不自定义标签列。

      重要

      当前仅先购买后配置模式的实例支持自定义标签列。

    adsSqlType

    需指定按实例级别选择增量同步或迁移的SQL操作时。

    按实例级别选择增量同步或迁移的SQL操作，多个SQL使用英文逗号分隔，取值为：

    • insert

    • update

    • delete

    • alterTable

    • truncateTable

    • createTable

    • dropTable

    表 17. 目标数据库类型为云原生数据仓库 AnalyticDB PostgreSQL 版

    参数

    配置条件

    说明

    whitelist.dms.online.ddl.enable

    当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且为同步或迁移实例时。更多信息，请参见源数据库参数配置。

    此六个参数需要配合使用，控制是否复制源表Online DDL工具执行过程的临时表到目标库。

    sqlparser.dms.original.ddl

    whitelist.ghost.online.ddl.enable

    sqlparser.ghost.original.ddl

    online.ddl.shadow.table.rule

    online.ddl.trash.table.rule

    isTargetDbCaseSensitive

    当源数据库类型为MySQL（包括RDS MySQL和自建MySQL）、Oracle或SQL Server数据库（包括RDS SQL Server和自建SQL Server）时。

    是否为目标对象添加引号，取值为true或false。

    syncOperation

    需指定按实例级别选择增量同步或迁移的SQL操作时。

    按实例级别选择增量同步或迁移的SQL操作，多个SQL使用英文逗号分隔，取值为：

    • insert

    • update

    • delete

    • alterTable

    • truncateTable

    • createTable

    • dropTable

    • createDB

    • dropDB

    表 18. 目标数据库类型为RDS MariaDB

    参数

    配置条件

    说明

    triggerMode

    必填

    源库触发器迁移方式，取值为：

    • manual：手动迁移。

    • auto：自动迁移。

    说明

    更多信息，请参见同步或迁移源库中的触发器。

    destSSL

    接入方式为云实例或ECS自建数据库时。

    目标端数据库的连接方式，取值为：

    • 0：非加密连接。

    • 1：SSL安全连接。

    表 19. 目标数据库类型为MongoDB（包括云数据库MongoDB版和自建MongoDB）

    参数

    配置条件

    说明

    destEngineArchType

    必填

    目标MongoDB数据库的架构类型，取值为：

    • 0 ：单节点架构。

    • 1：副本集架构。

    • 2：分片集群架构。

    destinationShardEndpointUserName

    当destEngineArchType为2时。

    目标MongoDB数据库的Shard账号。

    destinationShardEndpointPassword

    目标MongoDB数据库的Shard密码。

    表 20. 目标数据库类型为Tair/Redis（包含云数据库Redis、云原生内存数据库Tair、自建Redis）时

    参数

    配置条件

    说明

    destKvStoreMode

    数据库实例的接入方式不为云实例时。

    目标自建Redis的实例模式，取值为：

    • single：单机版。

    • cluster：集群版。

    any.sink.redis.expire.extension.seconds

    必填

    源库中的Key迁移到目标库时额外延长的过期时间。为保障数据的一致性，如有使用到（包括但不限于）如下命令，建议设置延长Key的过期时间为600秒以上。

    EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs
    表 21. 目标数据库类型为PolarDB PostgreSQL版（兼容Oracle）

    参数

    配置条件

    说明

    destHostPortCtl

    接入方式为公网IP时。

    PolarDB PostgreSQL版（兼容Oracle）是否选择多源数据，取值为：

    • single：即单个IP:Port。

    • multiple：即多个IP:Port。

    destHostPorts

    当destHostPortCtl为multiple时。

    目标PolarDB PostgreSQL版（兼容Oracle）节点的IP地址和端口号信息，多个IP:Port之间用英文半角逗号分隔。

    表 22. 目标数据库类型为Oracle

    参数

    配置条件

    说明

    destOracleType

    必填

    Oracle实例的类型，取值为：

    • sid：非RAC实例。

    • serviceName：RAC或PDB实例。

    表 23. 目标数据库类型为DataHub

    参数

    配置条件

    说明

    isUseNewAttachedColumn

    必填

    附加列命名规则如下：

    • 使用新附加列命名规则：isUseNewAttachedColumn取值为true。

    • 使用旧附加列命名规则：isUseNewAttachedColumn取值为false。

    表 24. 目标数据库类型为MaxCompute

    参数

    配置条件

    说明

    isUseNewAttachedColumn

    必填

    附加列命名规则如下：

    • 使用新附加列命名规则：isUseNewAttachedColumn取值为true。

    • 使用旧附加列命名规则：isUseNewAttachedColumn取值为false。

    partition

    必填

    增量日志表分区名称，取值为：

    • 当isUseNewAttachedColumn为true时：

      • modifytime_year

      • modifytime_month

      • modifytime_day

      • modifytime_hour

      • modifytime_minute

    • 当isUseNewAttachedColumn为false时：

      • new_dts_sync_modifytime_year

      • new_dts_sync_modifytime_month

      • new_dts_sync_modifytime_day

      • new_dts_sync_modifytime_hour

      • new_dts_sync_modifytime_minute

    表 25. 目标数据库类型为Elasticsearch

    参数

    配置条件

    说明

    indexMapping

    必填

    在目标Elasticsearch实例中创建的索引名称，取值为：

    • tb：创建的索引名称和表名一致。

    • db_tb：创建的索引名称由库名、下划线（_）和表名按顺序拼接而成。

    表 26. 目标数据库类型为Kafka

    参数

    配置条件

    说明

    destTopic

    必填

    目标Kafka集群中迁移或同步对象所属Topic。

    destVersion

    必填

    目标Kafka集群的版本，取值为1.0、0.9、0.10。

    说明

    如Kafka集群版本为1.0及以上，则需传入1.0。

    destSSL

    必填

    连接目标Kafka集群的方式，取值为：

    • 0：非加密连接。

    • 3：使用SCRAM-SHA-256进行加密连接。

    sink.kafka.ddl.topic

    需要指定用于存储DDL信息的Topic时。

    用于存储DDL信息的Topic。如果未输入，DDL信息默认存储在destTopic输入的Topic中。

    kafkaRecordFormat

    必填

    数据投递到目标Kafka集群中的存储格式，取值为：

    • canal_json：使用Canal来解析数据库增量日志，并将增量数据传输至目标Kafka集群中，数据存储格式为Canal Json。

    • dts_avro：一种数据序列化格式，可将数据结构或对象转化成便于存储或传输的格式。

    • shareplex_json：使用数据复制软件Shareplex读取源库中的数据，将数据写入至目标Kafka集群时，数据存储格式为Shareplex Json。

    • debezium：一种捕获数据变更的工具，支持将源库的数据更新实时流式传输到目标Kafka集群中。

    说明

    更多格式说明，请参见Kafka集群的数据存储格式。

    destKafkaPartitionKey

    必填

    Kafka Partition（分区）同步策略，取值为：

    • none：将所有数据和DDL信息都投递到目标Topic的Partition 0。

    • database_table：将库名与表名合并作为Partition Key来计算Hash值，然后将各个表的数据和DDL信息投递到目标Topic中的各个Partition。

    • columns：将表中的列（默认为主键，如果无主键则使用唯一键）作为Partition Key来计算Hash值，然后将不同的行投递到目标Topic的各个Partition中。您也可以指定单个或多个列作为Partition Key来计算Hash值。

    说明

    更多分区同步策略说明，请参见Kafka Partition同步策略说明。

    destSchemaRegistry

    必填

    是否使用Kafka Schema Registry，取值为yes或no。

    destKafkaSchemaRegistryUrl

    当destSchemaRegistry为true时。

    Avro Schema在Kafka Schema Registry注册的URL或IP。