Data Transmission Service:Referensi parameter Reserve

Parameter

Wajib

Deskripsi

targetTableMode

Ya

Cara menangani tabel yang sudah ada di database tujuan:

• 0: Jalankan Pemeriksaan Awal dan blokir operasi jika terjadi error.

• 2: Abaikan error dan lanjutkan operasi.

dts.datamove.source.bps.max

Tidak

Jumlah maksimum data yang disinkronkan atau dimigrasikan per detik untuk tugas full atau inkremental. Satuan: B (byte).

conflict

Tidak

Kebijakan global penyelesaian konflik untuk tugas sinkronisasi dua arah. Nilai yang valid:

• overwrite: Timpa catatan yang bentrok di database tujuan saat terjadi konflik.

• interrupt: Hentikan tugas sinkronisasi dan tandai sebagai gagal saat terjadi konflik. Anda harus memperbaiki tugas secara manual.

• ignore: Lewati pernyataan sinkronisasi saat ini dan lanjutkan. Pertahankan catatan yang bentrok di database tujuan.

filterDDL

Tidak

Apakah akan memfilter operasi DDL dalam tugas forward untuk sinkronisasi dua arah. Nilai yang valid:

• true: Jangan sinkronkan operasi DDL.

• false: Sinkronkan operasi DDL.

  Penting

  Tugas reverse secara otomatis memfilter operasi DDL.

autoStartModulesAfterConfig

Tidak

Mengontrol apakah akan memulai modul setelah konfigurasi tugas. Nilai yang valid:

• none: Setelah Anda mengonfigurasi tugas DTS, jangan mulai Pemeriksaan Awal atau modul lainnya. Anda harus memulai tugas secara manual.

• auto: Setelah Anda mengonfigurasi tugas DTS, secara otomatis mulai modul Pemeriksaan Awal dan semua modul berikutnya.

  Catatan

  Dalam skenario beli-lalu-konfigurasi, nilai default-nya adalah auto. Dalam skenario konfigurasi-lalu-beli, parameter ini tidak berlaku.

etlOperatorCtl

Tidak

Apakah akan mengaktifkan fitur ETL. Nilai yang valid:

• Y: Aktifkan fitur ETL.

• Tidak. Anda tidak mengonfigurasi fitur ETL.

etlOperatorSetting

Tidak

Pernyataan pemrosesan data ETL. Untuk informasi selengkapnya, lihat Sintaks DSL ETL.

etlOperatorColumnReference

Tidak

Bidang yang digunakan untuk bisnis T+1. Ini adalah operator ETL.

configKeyMap

Tidak

Informasi konfigurasi operator ETL.

syncArchitecture

Tidak

Topologi sinkronisasi. Nilai yang valid:

• oneway: Sinkronisasi satu arah.

• bidirectional: Sinkronisasi dua arah.

dataCheckConfigure

Tidak

Konfigurasi validasi data. Untuk informasi selengkapnya, lihat Referensi parameter DataCheckConfigure.

dbListCaseChangeMode

Tidak

Kebijakan sensitivitas huruf besar/kecil untuk nama objek database tujuan. Nilai yang valid:

• default: Gunakan kebijakan default DTS.

• source: Sesuaikan dengan huruf besar/kecil database sumber.

• dest_upper: Gunakan huruf kapital, sesuai dengan kebijakan default database tujuan.

• dest_lower: Gunakan huruf kecil, sesuai dengan kebijakan default database tujuan.

maxRetryTime

Tidak

Waktu percobaan ulang dalam detik setelah koneksi ke database sumber atau tujuan gagal. Kegagalan ini bersifat ekspektasi, seperti karena masalah jaringan atau lock waits. Nilai yang valid: bilangan bulat dari 600 hingga 86400. Default: 43200 detik (720 menit). Kami merekomendasikan menyetelnya minimal 1800 detik (30 menit).

retry.blind.seconds

Tidak

Waktu percobaan ulang dalam detik setelah terjadi kegagalan tak terduga pada database sumber atau tujuan, seperti error eksekusi DDL atau DML. Nilai yang valid: bilangan bulat dari 60 hingga 86340. Default: 600 detik (10 menit). Kami merekomendasikan menyetelnya minimal 600 detik (10 menit).

modulesExtraConfiguration

Tidak

Item konfigurasi ekstensi modul. Untuk detail parameter, lihat Referensi parameter.

Format: Array JSON

Contoh:

[
   {
   "module": "07",
   "name": "selectdb.reservoir.group.by.target.schema",
   "value": true
   }
]

Parameter

Wajib

Deskripsi

vpcId

Ya

ID virtual private cloud (VPC) dari instans pelacakan.

vswitchId

Ya

ID virtual switch untuk instans yang di-subscribe.

startTime

Tidak

Timestamp awal untuk pelacakan data. Satuan: detik.

endTime

Tidak

Timestamp akhir subscription data, dalam detik.

Parameter

Wajib

Deskripsi

srcInstanceId

Tidak

ID instans CEN dari instans sumber. Contoh:

{
   "srcInstanceId": "cen-9kqshqum*******"  }

destInstanceId

Tidak

ID instans CEN dari instans tujuan. Contoh:

{
   "destInstanceId": "cen-9kqshqum*******"  }

Parameter

Kondisi

Deskripsi

privilegeMigration

Ketika database sumber dan tujuan keduanya merupakan ApsaraDB RDS untuk MySQL.

Apakah akan memigrasikan akun. Nilai yang valid:

• true: Migrasikan akun.

• false (default): Jangan migrasikan akun.

privilegeDbList

Informasi migrasi akun. Untuk menentukan format yang benar, gunakan Pratinjau parameter permintaan OpenAPI. Contoh:

[{"user":"user1","host":"%","oldHost":"%","is_migrate":true},{"user":"user2","host":"%","oldHost":"%","is_migrate":true}]

definer

Apakah akan mempertahankan Definer asli objek database. Nilai yang valid: true atau false.

amp.increment.generator.logmnr.mysql.heartbeat.mode

Ketika database sumber adalah instans MySQL yang dikelola sendiri.

Apakah akan menghapus pernyataan SQL tabel heartbeat dari tugas forward dan reverse. Nilai yang valid:

• none: Jangan tulis informasi SQL heartbeat ke database sumber.

• N: Tulis informasi SQL heartbeat ke database sumber.

whitelist.dms.online.ddl.enable

Ketika tipe database tujuan adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri), PolarDB for MySQL, AnalyticDB for MySQL, atau AnalyticDB for PostgreSQL, dan merupakan instans sinkronisasi atau migrasi.

Enam parameter ini bekerja sama untuk mengontrol apakah akan mereplikasi tabel temporary yang dibuat selama perubahan Online DDL di tabel sumber ke database tujuan.

• Replikasi data tabel temporary yang dihasilkan oleh perubahan Online DDL di tabel sumber:

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• Jangan replikasi data tabel temporary yang dihasilkan oleh perubahan Online DDL di tabel sumber. Sebagai gantinya, sinkronkan hanya pernyataan DDL asli yang dieksekusi oleh DMS di database sumber:

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "true",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "false"
  }

• Jangan replikasi data tabel temporary yang dihasilkan oleh perubahan Online DDL di tabel sumber. Sebagai gantinya, sinkronkan hanya pernyataan DDL asli yang dieksekusi oleh gh-ost di database sumber:

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "true",
       "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
       "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
  }

  Catatan

  Anda dapat menggunakan ekspresi reguler default atau menyesuaikannya untuk tabel shadow gh-ost (online.ddl.shadow.table.rule) dan tabel sampah (online.ddl.trash.table.rule).

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

Ketika database sumber dan tujuan keduanya merupakan MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri).

Apakah akan mengaktifkan evaluasi migrasi untuk memeriksa apakah struktur database sumber dan tujuan memenuhi persyaratan. Nilai yang valid: true atau false.

srcSSL

Ketika metode koneksi adalah instans cloud atau database yang dikelola sendiri di ECS.

Metode koneksi untuk database sumber. Nilai yang valid:

• 0: Koneksi non-terenkripsi.

• 1: Koneksi aman SSL.

Parameter

Persyaratan konfigurasi

Deskripsi

amp.increment.generator.logmnr.mysql.heartbeat.mode

Wajib

Apakah akan menghapus pernyataan SQL tabel heartbeat dari tugas forward dan reverse. Nilai yang valid:

• none: Jangan tulis informasi SQL heartbeat ke database sumber.

• N: Tulis informasi SQL heartbeat ke database sumber.

whitelist.dms.online.ddl.enable

Ketika tipe database tujuan adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri), PolarDB for MySQL, AnalyticDB for MySQL, atau AnalyticDB for PostgreSQL, dan merupakan instans sinkronisasi atau migrasi.

Enam parameter ini bekerja sama untuk mengontrol apakah akan mereplikasi tabel temporary yang dibuat selama perubahan Online DDL di tabel sumber ke database tujuan.

• Replikasi data tabel temporary yang dihasilkan oleh perubahan Online DDL di tabel sumber:

  {
     "whitelist.dms.online.ddl.enable": "true",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "true",
       "sqlparser.ghost.original.ddl": "false"
  }

• Jangan replikasi data tabel temporary yang dihasilkan oleh perubahan Online DDL di tabel sumber. Sebagai gantinya, sinkronkan hanya pernyataan DDL asli yang dieksekusi oleh DMS di database sumber:

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "true",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "false"
  }

• Jangan replikasi data tabel temporary yang dihasilkan oleh perubahan Online DDL di tabel sumber. Sebagai gantinya, sinkronkan hanya pernyataan DDL asli yang dieksekusi oleh gh-ost di database sumber:

  {
     "whitelist.dms.online.ddl.enable": "false",
       "sqlparser.dms.original.ddl": "false",
       "whitelist.ghost.online.ddl.enable": "false",
       "sqlparser.ghost.original.ddl": "true",
       "online.ddl.shadow.table.rule": "^_(.+)_(?:gho|new)$",
       "online.ddl.trash.table.rule": "^_(.+)_(?:ghc|del|old)$"
  }

  Catatan

  Anda dapat menggunakan ekspresi reguler default atau menyesuaikannya untuk tabel shadow gh-ost (online.ddl.shadow.table.rule) dan tabel sampah (online.ddl.trash.table.rule).

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

Parameter

Prasyarat

Deskripsi

srcSSL

Ketika metode koneksi adalah instans cloud atau database yang dikelola sendiri di ECS.

Metode koneksi untuk database sumber. Nilai yang valid:

• 0: Koneksi non-terenkripsi.

• 1: Koneksi aman SSL.

Parameter

Kondisi

Deskripsi

isTargetDbCaseSensitive

Ketika database tujuan adalah AnalyticDB for PostgreSQL.

Apakah akan menambahkan tanda kutip di sekitar objek tujuan. Nilai yang valid: true atau false.

isNeedAddRowId

Ketika database tujuan adalah AnalyticDB for PostgreSQL, dan objek yang akan disinkronkan atau dimigrasikan mencakup tabel tanpa primary key.

Apakah akan menetapkan ROWID sebagai primary key dan kunci distribusi untuk semua tabel tanpa primary key. Nilai yang valid: true atau false.

srcOracleType

Wajib

Tipe instans Oracle. Nilai yang valid:

• sid: Instans non-RAC.

• serviceName: Instans RAC atau pluggable database (PDB).

source.column.encoding

Ketika Anda perlu menentukan encoding yang digunakan aplikasi Anda untuk menulis data.

Encoding yang digunakan aplikasi Anda untuk menulis data. Encoding yang didukung:

• default (default)

• GB 2312

• GBK

• GB 18030

• UTF-8

• UTF-16

• UTF-32

Parameter

Prasyarat

Deskripsi

isTargetDbCaseSensitive

Ketika database tujuan adalah AnalyticDB for PostgreSQL.

Apakah akan menambahkan tanda kutip di sekitar objek tujuan. Nilai yang valid: true atau false.

source.extractor.type

Ketika database tujuan bukan DataHub dan tugas mencakup operasi inkremental.

Mode untuk sinkronisasi atau migrasi inkremental SQL Server. Nilai yang valid:

• cdc: Gunakan parsing log untuk tabel non-heap dan Change Data Capture (CDC) untuk tabel heap.

• log: Parsing log dari database sumber untuk sinkronisasi atau migrasi inkremental.

src.sqlserver.schema.mapper.mode

Ketika tipe database tujuan adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri), PolarDB for MySQL, atau AnalyticDB for MySQL.

Mode pemetaan skema antara database sumber dan tujuan. Nilai yang valid:

• schema.table: Gunakan Nama Skema.Nama Tabel dari database sumber sebagai nama tabel tujuan.

• without.schema: Gunakan nama tabel dari database sumber sebagai nama tabel tujuan.

  Peringatan

  Jika tabel dengan nama yang sama ada di beberapa skema di database sumber, ketidakkonsistenan data atau kegagalan tugas dapat terjadi.

Parameter

Kondisi Konfigurasi

Deskripsi

srcKvStoreMode

Ketika metode koneksi instans database bukan Alibaba Cloud Instance.

Mode instans database sumber Redis yang dikelola sendiri. Nilai yang valid:

• single: Edisi Dasar.

• cluster: Edisi Kluster.

any.sink.redis.expire.extension.seconds

Wajib

Waktu hidup (TTL) tambahan, dalam detik, yang ditambahkan ke kunci saat dimigrasikan dari database sumber ke tujuan. Untuk memastikan konsistensi data, jika Anda menggunakan salah satu perintah berikut, kami merekomendasikan menyetel nilai ini minimal 600 detik.

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

any.source.redis.use.slave.node

Ketika srcKvStoreMode adalah cluster.

Ketika database sumber Redis yang dikelola sendiri berada dalam mode kluster, pilih apakah akan menarik data dari node master atau slave. Nilai yang valid:

• true: Tarik data dari node slave.

• false (default): Tarik data dari node master.

Parameter

Persyaratan Konfigurasi

Deskripsi

srcEngineArchType

Wajib

Tipe arsitektur database MongoDB sumber. Nilai yang valid:

• 0 : Instans standalone.

• 1: Set Replika.

• 2: Kluster terpartisi.

sourceShardEndpointUsername

Ketika srcEngineArchType adalah 2.

Username shard untuk database MongoDB sumber.

sourceShardEndpointPassword

Password shard untuk database MongoDB sumber.

Parameter

Persyaratan Konfigurasi

Deskripsi

amp.increment.generator.logmnr.mysql.heartbeat.mode

Wajib

Apakah akan menghapus pernyataan SQL tabel heartbeat dari tugas forward dan reverse. Nilai yang valid:

• none: Jangan tulis informasi SQL heartbeat ke database sumber.

• N: Tulis informasi SQL heartbeat ke database sumber.

Parameter

Kondisi Konfigurasi

Deskripsi

srcHostPortCtl

Ketika metode koneksi adalah alamat IP publik.

Apakah akan memilih data multi-sumber untuk PolarDB for PostgreSQL (Kompatibel dengan Oracle). Nilai yang valid:

• single: Single Data Source.

• multiple: Multiple Data Sources.

srcHostPorts

Ketika srcHostPortCtl bersifat jamak.

Alamat IP dan nomor port node PolarDB for PostgreSQL (Kompatibel dengan Oracle) sumber. Pisahkan beberapa entri IP:Port dengan koma bahasa Inggris.

Parameter

Prasyarat

Deskripsi

amp.increment.generator.logmnr.mysql.heartbeat.mode

Wajib

Apakah akan menghapus pernyataan SQL tabel heartbeat dari tugas forward dan reverse. Nilai yang valid:

• none: Jangan tulis informasi SQL heartbeat ke database sumber.

• N: Tulis informasi SQL heartbeat ke database sumber.

isIncMigration

Wajib

Apakah akan melakukan migrasi inkremental. Nilai yang valid: yes atau no.

srcKafka

Ketika isIncMigration adalah yes.

Informasi Kafka untuk downstream TiDB.

taskType

Tipe kluster Kafka. Pilih berdasarkan tempat Kafka dideploy. Nilai yang valid:

• EXPRESS: Leased line, VPN Gateway, atau Smart Access Gateway.

• ECS: Database yang dikelola sendiri di ECS.

bisId

• Ketika taskType adalah ECS, ini adalah ID instans ECS.

• Ketika taskType adalah EXPRESS, ini adalah ID VPC yang terhubung ke database sumber.

port

Port layanan kluster Kafka.

user

Akun kluster Kafka. Kosongkan jika autentikasi Kafka dinonaktifkan.

passwd

Password kluster Kafka. Kosongkan jika autentikasi Kafka dinonaktifkan.

version

Versi kluster Kafka.

ssl

Metode koneksi untuk kluster Kafka. Nilai yang valid:

• 0: Koneksi non-terenkripsi.

• 3: Koneksi terenkripsi menggunakan SCRAM-SHA-256.

topic

Topik untuk objek migrasi atau sinkronisasi.

host

Ketika taskType adalah EXPRESS.

Alamat IP kluster Kafka.

vpcId

Ketika taskType adalah ECS.

VPC dari instans ECS.

Parameter

Kondisi

Deskripsi

privilegeMigration

Ketika database sumber dan tujuan keduanya merupakan ApsaraDB RDS untuk MySQL. Untuk informasi selengkapnya, lihat Tipe database sumber: MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri).

Apakah akan memigrasikan akun.

privilegeDbList

Informasi migrasi akun.

definer

Apakah akan mempertahankan Definer asli objek database.

whitelist.dms.online.ddl.enable

Ketika tipe database sumber adalah MySQL (termasuk RDS MySQL dan MySQL yang dikelola sendiri) atau PolarDB for MySQL, dan instans merupakan instans sinkronisasi atau migrasi. Untuk informasi selengkapnya, lihat Pengaturan parameter database sumber.

Enam parameter ini bekerja sama untuk mengontrol apakah akan mereplikasi tabel temporary yang dibuat selama perubahan Online DDL di tabel sumber ke database tujuan.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isAnalyzer

Ketika database sumber dan tujuan keduanya merupakan MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri).

Apakah akan mengaktifkan evaluasi migrasi untuk memeriksa apakah struktur database sumber dan tujuan memenuhi persyaratan. Nilai yang valid: true atau false.

triggerMode

Wajib

Metode migrasi trigger untuk database sumber. Nilai yang valid:

• manual: Migrasi manual.

• auto: Migrasi otomatis.

destSSL

Ketika metode koneksi adalah instans cloud atau database yang dikelola sendiri di ECS.

Metode koneksi untuk database tujuan. Nilai yang valid:

• 0: Koneksi non-terenkripsi.

• 1: Koneksi aman SSL.

src.sqlserver.schema.mapper.mode

Ketika database sumber adalah SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

Mode pemetaan skema antara database sumber dan tujuan. Untuk informasi selengkapnya, lihat Tipe database sumber: SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

Parameter

Prasyarat

Deskripsi

whitelist.dms.online.ddl.enable

Ketika database sumber adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri) atau PolarDB for MySQL, dan tugas merupakan instans sinkronisasi atau migrasi. Untuk informasi selengkapnya, lihat Parameter database sumber.

Enam parameter ini bekerja sama untuk mengontrol apakah akan mereplikasi tabel temporary yang dibuat selama perubahan Online DDL di tabel sumber ke database tujuan.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

anySinkTableEngineType

Wajib

Tipe mesin instans PolarDB for MySQL. Nilai yang valid:

• innodb: Mesin penyimpanan default.

• xengine: Mesin penyimpanan database On-Line Transaction Processing (OLTP).

triggerMode

Wajib

Metode migrasi trigger untuk database sumber. Nilai yang valid:

• manual: Migrasi manual.

• auto: Migrasi otomatis.

src.sqlserver.schema.mapper.mode

Ketika database sumber adalah SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

Mode pemetaan skema antara database sumber dan tujuan. Untuk informasi selengkapnya, lihat Tipe database sumber: SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

Parameter

Kondisi

Deskripsi

whitelist.dms.online.ddl.enable

Ketika database sumber adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri) atau PolarDB for MySQL, dan tugas merupakan instans sinkronisasi atau migrasi. Untuk informasi selengkapnya, lihat Parameter database sumber.

Enam parameter ini bekerja sama untuk mengontrol apakah akan mereplikasi tabel temporary yang dibuat selama perubahan Online DDL di tabel sumber ke database tujuan.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

triggerMode

Wajib

Metode migrasi trigger untuk database sumber. Nilai yang valid:

• manual: Migrasi manual.

• auto: Migrasi otomatis.

src.sqlserver.schema.mapper.mode

Ketika database sumber adalah SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

Mode pemetaan skema antara database sumber dan tujuan. Untuk informasi selengkapnya, lihat Tipe database sumber: SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

traceDatasource

Wajib

Apakah akan mengaktifkan penggabungan multi-tabel. Nilai yang valid: true atau false.

tagColumnValue

Ketika Anda menyetel kolom tag kustom.

Apakah akan menyesuaikan kolom tag __dts_data_source. Nilai yang valid:

• tagColumnValue: Menyesuaikan kolom tag.

  Penting

  Anda juga harus mengonfigurasi nilai kolom tag dalam parameter DbList. Untuk informasi selengkapnya, lihat Deskripsi objek migrasi, sinkronisasi, atau pelacakan.

• notTagColumnValue: Jangan menyesuaikan kolom tag.

  Penting

  Kolom tag kustom hanya didukung dalam skenario beli-lalu-konfigurasi.

adsSqlType

Ketika Anda perlu memilih operasi SQL sinkronisasi atau migrasi inkremental pada level instans.

Operasi SQL untuk sinkronisasi atau migrasi inkremental pada level instans. Pisahkan beberapa operasi SQL dengan koma bahasa Inggris. Nilai yang valid:

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

Parameter

Prasyarat

Deskripsi

whitelist.dms.online.ddl.enable

Ketika database sumber adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri) atau PolarDB for MySQL, dan tugas merupakan instans sinkronisasi atau migrasi. Untuk informasi selengkapnya, lihat Parameter database sumber.

Enam parameter ini bekerja sama untuk mengontrol apakah akan mereplikasi tabel temporary yang dibuat selama perubahan Online DDL di tabel sumber ke database tujuan.

sqlparser.dms.original.ddl

whitelist.ghost.online.ddl.enable

sqlparser.ghost.original.ddl

online.ddl.shadow.table.rule

online.ddl.trash.table.rule

isTargetDbCaseSensitive

Ketika database sumber adalah MySQL (termasuk ApsaraDB RDS untuk MySQL dan MySQL yang dikelola sendiri), Oracle, atau SQL Server (termasuk ApsaraDB RDS untuk SQL Server dan SQL Server yang dikelola sendiri).

Apakah akan menambahkan tanda kutip di sekitar objek tujuan. Nilai yang valid: true atau false.

syncOperation

Ketika Anda perlu memilih operasi SQL sinkronisasi atau migrasi inkremental pada level instans.

Operasi SQL untuk sinkronisasi atau migrasi inkremental pada level instans. Pisahkan beberapa operasi SQL dengan koma bahasa Inggris. Nilai yang valid:

• insert

• update

• delete

• alterTable

• truncateTable

• createTable

• dropTable

• createDB

• dropDB

Parameter

Kondisi Konfigurasi

Deskripsi

triggerMode

Wajib

Metode migrasi trigger untuk database sumber. Nilai yang valid:

• manual: Migrasi manual.

• auto: Migrasi otomatis.

destSSL

Ketika metode koneksi adalah instans cloud atau database yang dikelola sendiri di ECS.

Metode koneksi untuk database tujuan. Nilai yang valid:

• 0: Koneksi non-terenkripsi.

• 1: Koneksi aman SSL.

Parameter

Kondisi

Deskripsi

destEngineArchType

Wajib

Tipe arsitektur database MongoDB tujuan. Nilai yang valid:

• 0 : Instans standalone.

• 1: Set Replika.

• 2: Kluster terpartisi.

Parameter

Prasyarat

Deskripsi

destKvStoreMode

Ketika metode koneksi instans database bukan Alibaba Cloud Instance.

Mode instans database tujuan Redis yang dikelola sendiri. Nilai yang valid:

• single: Edisi Dasar.

• cluster: Edisi Kluster.

any.sink.redis.expire.extension.seconds

Wajib

Waktu hidup (TTL) tambahan, dalam detik, yang ditambahkan ke kunci saat dimigrasikan dari database sumber ke tujuan. Untuk memastikan konsistensi data, jika Anda menggunakan salah satu perintah berikut, kami merekomendasikan menyetel nilai ini minimal 600 detik.

EXPIRE key seconds
PEXPIRE key milliseconds
EXPIREAT key timestamp
PEXPIREAT key timestampMs

Parameter

Prasyarat konfigurasi

Deskripsi

destHostPortCtl

Ketika metode koneksi adalah alamat IP publik.

Apakah akan memilih data multi-sumber untuk PolarDB for PostgreSQL (Kompatibel dengan Oracle). Nilai yang valid:

• single: Single Data Source.

• multiple: Multiple Data Sources.

destHostPorts

Ketika destHostPortCtl adalah multiple.

Alamat IP dan nomor port node PolarDB for PostgreSQL (Kompatibel dengan Oracle) tujuan. Pisahkan beberapa entri IP:Port dengan koma bahasa Inggris.

Parameter

Kondisi

Deskripsi

destOracleType

Wajib

Tipe instans Oracle. Nilai yang valid:

• sid: Instans non-RAC.

• serviceName: Instans RAC atau pluggable database (PDB).

Parameter

Kondisi Konfigurasi

Deskripsi

isUseNewAttachedColumn

Wajib

Aturan penamaan untuk kolom terlampir adalah sebagai berikut:

• Gunakan aturan penamaan baru: Setel isUseNewAttachedColumn ke true.

• Gunakan aturan penamaan lama: Setel isUseNewAttachedColumn ke false.

Parameter

Kondisi

Deskripsi

isUseNewAttachedColumn

Wajib

Aturan penamaan untuk kolom terlampir adalah sebagai berikut:

• Gunakan aturan penamaan baru: Setel isUseNewAttachedColumn ke true.

• Gunakan aturan penamaan lama: Setel isUseNewAttachedColumn ke false.

partition

Wajib

Nama partisi untuk tabel log inkremental. Nilai yang valid:

• Ketika isUseNewAttachedColumn adalah true:

  • modifytime_year

  • modifytime_month

  • modifytime_day

  • modifytime_hour

  • modifytime_minute

• Ketika isUseNewAttachedColumn adalah false:

  • new_dts_sync_modifytime_year

  • new_dts_sync_modifytime_month

  • new_dts_sync_modifytime_day

  • new_dts_sync_modifytime_hour

  • new_dts_sync_modifytime_minute

Parameter

Prasyarat

Deskripsi

indexMapping

Wajib

Nama indeks yang dibuat di instans Elasticsearch tujuan. Nilai yang valid:

• tb: Nama indeks sesuai dengan nama tabel.

• db_tb: Nama indeks dibentuk dengan menggabungkan nama database, garis bawah (_), dan nama tabel.

Parameter

Prasyarat

Deskripsi

destTopic

Wajib

Topik di kluster Kafka tujuan untuk objek migrasi atau sinkronisasi.

destVersion

Wajib

Versi kluster Kafka tujuan. Nilai yang valid: 1.0, 0.9, atau 0.10.

destSSL

Wajib

Metode koneksi untuk kluster Kafka tujuan. Nilai yang valid:

• 0: Koneksi non-terenkripsi.

• 3: Koneksi terenkripsi menggunakan SCRAM-SHA-256.

sink.kafka.ddl.topic

Ketika Anda perlu menentukan topik untuk menyimpan informasi DDL.

Topik yang digunakan untuk menyimpan informasi DDL. Jika Anda tidak menentukannya, informasi DDL disimpan di topik yang ditentukan dalam destTopic secara default.

kafkaRecordFormat

Wajib

Format penyimpanan data yang dikirimkan ke kluster Kafka tujuan. Nilai yang valid:

• canal_json: Gunakan Canal untuk mengurai log inkremental database dan mengirimkan data inkremental ke kluster Kafka tujuan. Format penyimpanan datanya adalah Canal JSON.

• dts_avro: Format serialisasi data yang mengonversi struktur data atau objek menjadi format yang cocok untuk penyimpanan atau transmisi.

• shareplex_json: Gunakan perangkat lunak replikasi data Shareplex untuk membaca data dari database sumber dan menulisnya ke kluster Kafka tujuan. Format penyimpanan datanya adalah Shareplex JSON.

• debezium: Tool yang menangkap perubahan data dan mendukung streaming pembaruan data real-time dari database sumber ke kluster Kafka tujuan.

destKafkaPartitionKey

Wajib

Kebijakan sinkronisasi partisi Kafka. Nilai yang valid:

• none: Kirim semua data dan informasi DDL ke Partisi 0 topik tujuan.

• database_table: Gabungkan nama database dan nama tabel sebagai kunci partisi untuk menghitung nilai hash. Kemudian kirim data dan informasi DDL untuk setiap tabel ke partisi berbeda di topik tujuan.

• columns: Gunakan kolom dari tabel (secara default, primary key; jika tidak ada primary key, gunakan unique key) sebagai kunci partisi untuk menghitung nilai hash. Kemudian kirim baris berbeda ke partisi berbeda di topik tujuan. Anda juga dapat menentukan satu atau beberapa kolom sebagai kunci partisi untuk menghitung nilai hash.

destSchemaRegistry

Wajib

Apakah akan menggunakan Kafka Schema Registry. Nilai yang valid: yes atau no.

destKafkaSchemaRegistryUrl

Ketika destSchemaRegistry adalah true.

URL atau alamat IP tempat skema Avro didaftarkan di Kafka Schema Registry.

Parameter

Prasyarat

Deskripsi

fusionMetastoreMod

Wajib

Lokasi penyimpanan metadata OSS tujuan (katalog data). Nilai yang valid:

• dms: Simpan di DMS.

• adb: Simpan di kluster AnalyticDB for MySQL 3.0.

• none: Jangan simpan metadata.

fusionOssFilePath

Wajib

Direktori di OSS tempat data disimpan.

fusionOssFileFormat

Wajib

Format data terintegrasi di OSS tujuan. Nilai yang valid:

• DELTA: Format Delta.

• PARQUET: Format Parquet.

• HUDI: Format Hudi.

fusionAdbCrossMdsDbClusterId

Ketika fusionMetastoreMod adalah adb.

ID kluster AnalyticDB for MySQL 3.0 yang menyimpan metadata OSS tujuan.

fusionAdbCrossMdsRamId

Ketika fusionMetastoreMod adalah adb.

ID Akun Alibaba Cloud (akun utama) atau Pengguna RAM (sub-akun) untuk kluster AnalyticDB for MySQL 3.0 yang menyimpan metadata OSS tujuan.

srcConnArgs

Ketika database sumber adalah MySQL atau SQL Server.

Parameter koneksi untuk database sumber dalam format JSON. Contoh:

"srcConnArgs": {
 "rewriteBatchedStatements": "true",
 "tinyInt1isBit": "false",
 "zeroDateTimeBehavior": "convertToNull",
 "yearIsDateType": "false"
 }

sparkExtraArgs

Ketika Anda mengonfigurasi parameter tugas Spark.

Parameter tugas Spark dalam format JSON. Contoh:

 "sparkExtraArgs": {
 "spark.executor.extraJavaOptions": "-verbose:class",
 "spark.driver.extraJavaOptions": "-verbose:class"
 }