Data Transmission Service：Reserve參數說明

參數

是否必填

說明

targetTableMode

是

目標已存在表的處理模式：

• 0：預檢查並報錯攔截。

• 2：忽略報錯並繼續執行。

dts.datamove.source.bps.max

否

全量或增量任務每秒同步或遷移的最巨量資料量，單位為B（Byte）。

conflict

否

雙向同步任務的全域衝突修複策略，取值為：

• overwrite：當資料同步遇到衝突時，直接覆蓋目標庫中的衝突記錄。

• interrupt：當資料同步遇到衝突時，同步任務直接報錯並退出，同步任務進入失敗狀態，需要您手動修複任務。

• ignore：當資料同步遇到衝突時，直接跳過當前同步語句，繼續往下執行，選擇使用目標庫中的衝突記錄。

filterDDL

否

雙向同步任務是否過濾正向任務的DDL操作，取值為：

• true：不同步DDL操作。

• false：同步DDL操作。

  重要

  反向任務將自動過濾DDL操作。

autoStartModulesAfterConfig

否

任務啟動控制參數，取值：

• none：DTS任務配置完成後，不啟動預檢查等模組，需要手動啟動任務。

• auto：DTS任務配置完成後，自動啟動預檢查模組及其後續所有模組。

  說明

  在先購買再配置的情境，預設取值為auto；在先配置再購買的情境，此參數不生效。

etlOperatorCtl

否

是否配置ETL功能，取值為：

• Y：是，配置ETL功能。

• N：否，不配置ETL功能。

etlOperatorSetting

否

ETL的資料處理語句。更多資訊，請參見資料處理DSL文法。

etlOperatorColumnReference

否

T+1業務專用的欄位，ETL運算元。

configKeyMap

否

ETL運算元配置資訊。

syncArchitecture

否

同步拓撲，取值為：

• oneway：單向同步。

• bidirectional：雙向同步。

dataCheckConfigure

否

資料校正配置，詳情請參見DataCheckConfigure參數說明。

dbListCaseChangeMode

否

目標庫對象名稱大小寫策略，取值為：

• default：使用DTS預設策略。

• source：和源庫保持一致。

• dest_upper：與目標庫預設策略保持一致（大寫）。

• dest_lower：與目標庫預設策略保持一致（小寫）。

maxRetryTime

否

源庫、目標庫無法串連（可預期異常，例如網路原因異常、鎖等待等）後的重試時間，取值為[600,86400]的整數，單位為秒。預設為720分鐘（43200秒），建議設定30分鐘（1800秒）以上。

retry.blind.seconds

否

源庫、目標庫出現其他問題（非預期異常，例如DDL執行異常、DML執行異常等）後的重試時間，取值為[60,86340]的整數，單位為秒。預設為10分鐘（600秒），建議設定10分鐘（600秒）以上。

參數

是否必填

說明

vpcId

是

訂閱執行個體的專用網路ID。

vswitchId

是

訂閱執行個體的虛擬交換器ID。

startTime

否

訂閱資料的起始時間戳記，單位為秒。

endTime

否

訂閱資料的結束時間戳記，單位為秒。

參數

是否必填

說明

srcInstanceId

否

源執行個體的雲企業網執行個體ID。樣本：

{
   "srcInstanceId": "cen-9kqshqum*******"  }

destInstanceId

否

目標執行個體的雲企業網執行個體ID。樣本：

{
   "destInstanceId": "cen-9kqshqum*******"  }

參數

配置條件

說明

privilegeMigration

當源和目標資料庫類型均為RDS MySQL時。

是否遷移帳號，取值為：

• true：遷移帳號。

• false（預設值）：不遷移帳號。

privilegeDbList

遷移帳號的資訊。

definer

是否保留資料庫物件原有的Definer，取值為true或false。

amp.increment.generator.logmnr.mysql.heartbeat.mode

當來源資料庫類型為自建MySQL時。

是否去除正反向任務的心跳錶SQL，取值為：

• none：不在源庫中寫入心跳SQL資訊。

• N：在源庫中寫入心跳SQL資訊。

whitelist.dms.online.ddl.enable

當目標資料庫類型為MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版、AnalyticDB MySQL版或AnalyticDB PostgreSQL版，且為同步或遷移執行個體時。

此六個參數需要配合使用，控制是否複製源表Online DDL工具執行過程的暫存資料表到目標庫。

• 複製源表Online DDL變更產生的暫存資料表資料：

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不複製源表Online DDL變更產生的暫存資料表資料，只同步源庫使用DMS執行的原始DDL資料：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "true",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不複製源表Online DDL變更產生的暫存資料表資料，只同步源庫使用gh-ost執行的原始DDL資料：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "true",
       "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
       "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
  }

  說明

  可以使用預設的或者自行配置gh-ost影子表的Regex（online.ddl.shadow.table.rule）和無用表的Regex（online.ddl.trash.table.rule）。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

當源和目標執行個體的資料庫類型均為MySQL（包括RDS MySQL和自建MySQL）時。

是否開啟遷移評估功能，評估源庫和目標庫的結構是否滿足要求。取值為true或false。

srcSSL

接入方式為雲執行個體或ECS自建資料庫時。

源端資料庫的串連方式，取值為：

• 0：非加密串連。

• 1：SSL安全連線。

參數

配置條件

說明

amp.increment.generator.logmnr.mysql.heartbeat.mode

必填

是否去除正反向任務的心跳錶SQL，取值為：

• none：不在源庫中寫入心跳SQL資訊。

• N：在源庫中寫入心跳SQL資訊。

whitelist.dms.online.ddl.enable

當目標資料庫類型為MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版、AnalyticDB MySQL版或AnalyticDB PostgreSQL版，且為同步或遷移執行個體時。

此六個參數需要配合使用，控制是否複製源表Online DDL工具執行過程的暫存資料表到目標庫。

• 複製源表Online DDL變更產生的暫存資料表資料：

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不複製源表Online DDL變更產生的暫存資料表資料，只同步源庫使用DMS執行的原始DDL資料：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "true",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "false"
  }

• 不複製源表Online DDL變更產生的暫存資料表資料，只同步源庫使用gh-ost執行的原始DDL資料：

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "true",
       "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
       "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
  }

  說明

  可以使用預設的或者自行配置gh-ost影子表的Regex（online.ddl.shadow.table.rule）和無用表的Regex（online.ddl.trash.table.rule）。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

參數

配置條件

說明

srcSSL

接入方式為雲執行個體或ECS自建資料庫時。

源端資料庫的串連方式，取值為：

• 0：非加密串連。

• 1：SSL安全連線。

參數

配置條件

說明

isTargetDbCaseSensitive

當目標資料庫類型為AnalyticDB PostgreSQL版時。

是否為目標對象添加引號，取值為true或false。

isNeedAddRowId

當目標資料庫類型為AnalyticDB PostgreSQL版，且待同步或遷移的對象存在無主鍵表時。

是否將無主鍵表全部設定ROWID作為主鍵和分布鍵，取值為true或false。

srcOracleType

必填

Oracle執行個體的類型，取值為：

• sid：非RAC執行個體。

• serviceName：RAC或PDB執行個體。

source.column.encoding

需要指定實際業務的寫入編碼時。

實際業務的寫入編碼，支援選擇的編碼為：

• default（預設值）

• GB 2312

• GBK

• GB 18030

• UTF-8

• UTF-16

• UTF-32

參數

配置條件

說明

isTargetDbCaseSensitive

當目標資料庫類型為AnalyticDB PostgreSQL版時。

是否為目標對象添加引號，取值為true或false。

source.extractor.type

當目標資料庫類型不為DataHub，且有增量任務時需要配置。

SQL Server增量同步處理或遷移的模式，取值為：

• cdc：非堆表用日誌解析增量同步處理或遷移，堆表用CDC增量同步處理或遷移。

• log：解析源庫日誌做增量同步處理或遷移。

src.sqlserver.schema.mapper.mode

目標資料庫類型為MySQL（包括RDS MySQL和自建MySQL）、PolarDB MySQL版或AnalyticDB for MySQL時。

源庫和目標庫結構映射模式，取值為：

• schema.table：將源庫中的Schema名.表名作為目標表的名稱。

• without.schema：將源庫的表名作為目標表的名稱。

  警告

  若源庫多個Schema中有名稱相同的表，則可能會導致資料不一致或任務失敗。

參數

配置條件

說明

srcKvStoreMode

資料庫執行個體的接入方式不為雲執行個體時。

源自建Redis的執行個體模式，取值為：

• single：單機版。

• cluster：叢集版。

any.sink.redis.expire.extension.seconds

必填

源庫中的Key遷移到目標庫時額外延長的到期時間。為保障資料的一致性，如有使用到（包括但不限於）如下命令，建議設定延長Key的到期時間為600秒以上。

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

any.source.redis.use.slave.node

當srcKvStoreMode為cluster時。

當源自建Redis的執行個體模式為叢集版時，選擇從Master或Slave節點拉取資料。取值為：

• true：從Slave節點拉取資料。

• false（預設）：從Master節點拉取資料。

參數

配置條件

說明

srcEngineArchType

必填

源MongoDB資料庫的架構類型，取值為：

• 0 ：單節點架構。

• 1：複本集架構。

• 2：分區叢集架構。

sourceShardEndpointUsername

當srcEngineArchType為2時。

源MongoDB資料庫的Shard帳號。

sourceShardEndpointPassword

源MongoDB資料庫的Shard密碼。

參數

配置條件

說明

amp.increment.generator.logmnr.mysql.heartbeat.mode

必填

是否去除正反向任務的心跳錶SQL，取值為：

• none：不在源庫中寫入心跳SQL資訊。

• N：在源庫中寫入心跳SQL資訊。

參數

配置條件

說明

srcHostPortCtl

接入方式為公網IP時。

PolarDB PostgreSQL版（相容Oracle）是否選擇多來源資料，取值為：

• single：即單個IP:Port。

• multiple：即多個IP:Port。

srcHostPorts

當srcHostPortCtl為multiple時。

源PolarDB PostgreSQL版（相容Oracle）節點的IP地址和連接埠號碼資訊，多個IP:Port之間用英文半形逗號分隔。

參數

配置條件

說明

amp.increment.generator.logmnr.mysql.heartbeat.mode

必填

是否去除正反向任務的心跳錶SQL，取值為：

• none：不在源庫中寫入心跳SQL資訊。

• N：在源庫中寫入心跳SQL資訊。

isIncMigration

必填

是否做增量遷移，取值為yes或no。

srcKafka

當isIncMigration為yes時。

TiDB下遊的Kafka資訊。

taskType

Kafka叢集類型，根據Kafka的部署位置進行選擇。取值為：

• EXPRESS：專線/VPN網關/智能網關。

• ECS：ECS自建資料庫。

bisId

• 當taskType為ECS時，表示ECS的執行個體ID。

• 當taskType為EXPRESS時，表示已和源端資料庫聯通的專用網路ID

port

Kafka叢集的服務連接埠。

user

Kafka叢集帳號，若Kafka未開啟驗證可不填寫。

passwd

Kafka叢集密碼，若Kafka未開啟驗證可不填寫。

version

Kafka叢集的版本。

ssl

Kafka叢集的串連方式，取值為：

• 0：非加密串連。

• 3：使用SCRAM-SHA-256進行加密串連。

topic

遷移或同步對象所屬的Topic。

host

當taskType為EXPRESS時。

Kafka叢集的IP地址。

vpcId

當taskType為ECS時。

ECS執行個體的專用網路。

參數

配置條件

說明

privilegeMigration

當源和目標資料庫類型均為RDS MySQL時，詳情請參見來源資料庫類型為MySQL（包括RDS MySQL和自建MySQL）。

是否遷移帳號。

privilegeDbList

遷移帳號的資訊。

definer

是否保留資料庫物件原有的Definer。

whitelist.dms.online.ddl.enable

當來源資料庫類型為MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且為同步或遷移執行個體時。更多資訊，請參見來源資料庫參數配置。

此六個參數需要配合使用，控制是否複製源表Online DDL工具執行過程的暫存資料表到目標庫。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

當源和目標執行個體的資料庫類型均為MySQL（包括RDS MySQL和自建MySQL）時。

是否開啟遷移評估功能，評估源庫和目標庫的結構是否滿足要求。取值為true或false。

triggerMode

必填

源庫觸發器遷移方式，取值為：

• manual：手動遷移。

• auto：自動遷移。

destSSL

接入方式為雲執行個體或ECS自建資料庫時。

目標端資料庫的串連方式，取值為：

• 0：非加密串連。

• 1：SSL安全連線。

src.sqlserver.schema.mapper.mode

當來源資料庫類型為SQL Server（包括RDS SQL Server和自建SQL Server）時。

源庫和目標庫結構映射模式，詳情請參見來源資料庫類型為SQL Server（包括RDS SQL Server和自建SQL Server）。

參數

配置條件

說明

whitelist.dms.online.ddl.enable

當來源資料庫類型為MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且為同步或遷移執行個體時。更多資訊，請參見來源資料庫參數配置。

此六個參數需要配合使用，控制是否複製源表Online DDL工具執行過程的暫存資料表到目標庫。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

anySinkTableEngineType

必填

PolarDB MySQL執行個體的引擎類型，取值為：

• innodb：預設儲存引擎。

• xengine：聯機交易處理OLTP（On-Line Transaction Processing）資料庫儲存引擎。

triggerMode

必填

源庫觸發器遷移方式，取值為：

• manual：手動遷移。

• auto：自動遷移。

src.sqlserver.schema.mapper.mode

當來源資料庫類型為SQL Server（包括RDS SQL Server和自建SQL Server）時。

源庫和目標庫結構映射模式，詳情請參見來源資料庫類型為SQL Server（包括RDS SQL Server和自建SQL Server）。

參數

配置條件

說明

whitelist.dms.online.ddl.enable

當來源資料庫類型為MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且為同步或遷移執行個體時。詳情請參見來源資料庫參數配置。

此六個參數需要配合使用，控制是否複製源表Online DDL工具執行過程的暫存資料表到目標庫。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

triggerMode

必填

源庫觸發器遷移方式，取值為：

• manual：手動遷移。

• auto：自動遷移。

src.sqlserver.schema.mapper.mode

當來源資料庫類型為SQL Server（包括RDS SQL Server和自建SQL Server）時。

源庫和目標庫結構映射模式，詳情請參見來源資料庫類型為SQL Server（包括RDS SQL Server和自建SQL Server）。

traceDatasource

必填

是否開啟多表歸併，取值為true或false。

tagColumnValue

設定是否自訂標籤列時。

是否自訂__dts_data_source標籤列，取值為：

• tagColumnValue：自訂標籤列。

  重要

  您還需要在DbList參數中配置標籤列的值，詳情請參見遷移、同步或訂閱對象說明。

• notTagColumnValue：不自訂標籤列。

  重要

  當前僅先購買後配置模式的執行個體支援自訂標籤列。

adsSqlType

需指定按執行個體層級選擇增量同步處理或遷移的SQL操作時。

按執行個體層級選擇增量同步處理或遷移的SQL操作，多個SQL使用英文逗號分隔，取值為：

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

參數

配置條件

說明

whitelist.dms.online.ddl.enable

當來源資料庫類型為MySQL（包括RDS MySQL和自建MySQL）或PolarDB MySQL版，且為同步或遷移執行個體時。更多資訊，請參見來源資料庫參數配置。

此六個參數需要配合使用，控制是否複製源表Online DDL工具執行過程的暫存資料表到目標庫。

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isTargetDbCaseSensitive

當來源資料庫類型為MySQL（包括RDS MySQL和自建MySQL）、Oracle或SQL Server資料庫（包括RDS SQL Server和自建SQL Server）時。

是否為目標對象添加引號，取值為true或false。

syncOperation

需指定按執行個體層級選擇增量同步處理或遷移的SQL操作時。

按執行個體層級選擇增量同步處理或遷移的SQL操作，多個SQL使用英文逗號分隔，取值為：

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

• createDB

• dropDB

參數

配置條件

說明

triggerMode

必填

源庫觸發器遷移方式，取值為：

• manual：手動遷移。

• auto：自動遷移。

destSSL

接入方式為雲執行個體或ECS自建資料庫時。

目標端資料庫的串連方式，取值為：

• 0：非加密串連。

• 1：SSL安全連線。

參數

配置條件

說明

destEngineArchType

必填

目標MongoDB資料庫的架構類型，取值為：

• 0 ：單節點架構。

• 1：複本集架構。

• 2：分區叢集架構。

參數

配置條件

說明

destKvStoreMode

資料庫執行個體的接入方式不為雲執行個體時。

目標自建Redis的執行個體模式，取值為：

• single：單機版。

• cluster：叢集版。

any.sink.redis.expire.extension.seconds

必填

源庫中的Key遷移到目標庫時額外延長的到期時間。為保障資料的一致性，如有使用到（包括但不限於）如下命令，建議設定延長Key的到期時間為600秒以上。

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

參數

配置條件

說明

destHostPortCtl

接入方式為公網IP時。

PolarDB PostgreSQL版（相容Oracle）是否選擇多來源資料，取值為：

• single：即單個IP:Port。

• multiple：即多個IP:Port。

destHostPorts

當destHostPortCtl為multiple時。

目標PolarDB PostgreSQL版（相容Oracle）節點的IP地址和連接埠號碼資訊，多個IP:Port之間用英文半形逗號分隔。

參數

配置條件

說明

destOracleType

必填

Oracle執行個體的類型，取值為：

• sid：非RAC執行個體。

• serviceName：RAC或PDB執行個體。

參數

配置條件

說明

isUseNewAttachedColumn

必填

附加列命名規則如下：

• 使用新附加列命名規則：isUseNewAttachedColumn取值為true。

• 使用舊附加列命名規則：isUseNewAttachedColumn取值為false。

參數

配置條件

說明

isUseNewAttachedColumn

必填

附加列命名規則如下：

• 使用新附加列命名規則：isUseNewAttachedColumn取值為true。

• 使用舊附加列命名規則：isUseNewAttachedColumn取值為false。

partition

必填

增量日誌表分區名稱，取值為：

• 當isUseNewAttachedColumn為true時：

  • modifytime_year

  • modifytime_month

  • modifytime_day

  • modifytime_hour

  • modifytime_minute

• 當isUseNewAttachedColumn為false時：

  • new_dts_sync_modifytime_year

  • new_dts_sync_modifytime_month

  • new_dts_sync_modifytime_day

  • new_dts_sync_modifytime_hour

  • new_dts_sync_modifytime_minute

參數

配置條件

說明

indexMapping

必填

在目標Elasticsearch執行個體中建立的索引名稱，取值為：

• tb：建立的索引名稱和表名一致。

• db_tb：建立的索引名稱由庫名、底線（_）和表名按順序拼接而成。

參數

配置條件

說明

destTopic

必填

目標Kafka叢集中遷移或同步對象所屬Topic。

destVersion

必填

目標Kafka叢集的版本，取值為1.0、0.9、0.10。

destSSL

必填

串連目標Kafka叢集的方式，取值為：

• 0：非加密串連。

• 3：使用SCRAM-SHA-256進行加密串連。

sink.kafka.ddl.topic

需要指定用於儲存DDL資訊的Topic時。

用於儲存DDL資訊的Topic。如果未輸入，DDL資訊預設儲存在destTopic輸入的Topic中。

kafkaRecordFormat

必填

資料投遞到目標Kafka叢集中的儲存格式，取值為：

• canal_json：使用Canal來解析資料庫增量日誌，並將增量資料轉送至目標Kafka叢集中，資料存放區格式為Canal Json。

• dts_avro：一種資料序列化格式，可將資料結構或對象轉化成便於儲存或傳輸的格式。

• shareplex_json：使用資料複製軟體Shareplex讀取源庫中的資料，將資料寫入至目標Kafka叢集時，資料存放區格式為Shareplex Json。

• debezium：一種捕獲資料變更的工具，支援將源庫的資料更新即時資料流式傳輸到目標Kafka叢集中。

destKafkaPartitionKey

必填

Kafka Partition（分區）同步策略，取值為：

• none：將所有資料和DDL資訊都投遞到目標Topic的Partition 0。

• database_table：將庫名與表名合并作為Partition Key來計算Hash值，然後將各個表的資料和DDL資訊投遞到目標Topic中的各個Partition。

• columns：將表中的列（預設為主鍵，如果無主鍵則使用唯一鍵）作為Partition Key來計算Hash值，然後將不同的行投遞到目標Topic的各個Partition中。您也可以指定單個或多個列作為Partition Key來計算Hash值。

destSchemaRegistry

必填

是否使用Kafka Schema Registry，取值為yes或no。

destKafkaSchemaRegistryUrl

當destSchemaRegistry為true時。

Avro Schema在Kafka Schema Registry註冊的URL或IP。