在調用ModifyDtsJobConfig介面修改DTS任務參數時,您可以根據需求配置Parameters參數。
參數說明
Parameters的資料類型為字串String,傳入格式為JSON,需要配置如下參數:
module
參數對應的模組,取值為:
03:同步或遷移任務的全量遷移模組。
04:遷移任務的增量寫入模組。
07:同步任務的增量寫入模組。
60:Kafka至Kafka與SLS至ClickHouse的同步模組。
name
參數名稱,詳情如下表所示。
value
參數的取值,詳情如下表所示。
參數(name) | 可配置模組(module) | 說明(value) |
source.column.encoding | 03、04、07 | 來源資料庫類型為Oracle時實際業務的寫入編碼,解決資料庫字元集編碼和業務寫入字元集編碼不一致並且不相容從而導致遷移亂碼問題。取值為:
|
sink.worker.type | 03 | 通過參數sink.worker.type和sink.bulk.copy.enable可以配置MySQL、PostgreSQL的資料寫入模式。
|
sink.bulk.copy.enable | 03 | |
sink.batch.size.minimum | 03 | 寫線程單次批量寫入目標庫的最小記錄數,取值為:[0,1024]的整數。 |
sink.batch.size.maximum | 03、04、07 |
取值為:[0,1024]的整數。 |
source.connection.idle.second | 03、04、07 | 串連源庫的逾時時間,如果DTS在設定的重試時間內重新串連上源庫,任務將自動回復;否則任務將會失敗。取值為:[0,86400]的整數,單位為秒。 |
sink.connection.idle.second | 03、04、07 | 串連目標庫的逾時時間,如果DTS在設定的重試時間內重新串連上目標庫,任務將自動回復;否任務將會失敗。取值為:[0,86400]的整數,單位為秒。 |
trans.hot.merge.enable | 04、07 | 是否開啟熱點合并,取值為:
|
sink.batch.enable | 04、07 | 是否以batch(批量提交)的方式發送資料,取值為:
|
source.filter.ddl.enable | 04、07 | 是否過濾DDL,取值為:
|
sink.ignore.failed.ddl | 04、07 | 是否忽略執行失敗的DDL,取值為:
|
trans.size.maximum | 04、07 | 事務拆分的閾值,取值為:[0,1024]的整數。 |
dts.datamove.record.spouter.writers | 07 | 資料寫線程的數量,取值為:[0,64]的整數。 |
selectdb.reservoir.group.by.target.schema | 04、07 | 寫入時按目標端庫表名稱進行攢批。取值為:
|
selectdb.reservoir.timeout.milliseconds | 04、07 | 單次寫入資料攢批時間。
|
sink.task.number | 03、04、07、60 | 寫入目標庫的線程數。調整此參數可提高非熱點情境下寫入效能,但會加大目標庫壓力。
|
樣本
JSON格式的取值樣本如下所示:
[
{
"module": "07",
"name": "sink.connection.idle.second",
"value": 60
},
{
"module": "07",
"name": "sink.batch.size.maximum",
"value": 64
}
]