ApsaraDB for MongoDB：Gunakan MongoShake untuk Melakukan Sinkronisasi Satu Arah antara Instans MongoDB

Kategori

Parameter

Deskripsi

Contoh

Tidak ada

conf.version

Nomor versi dari file konfigurasi saat ini. Jangan ubah nilai ini.

conf.version = 4

Opsi konfigurasi global

id

ID tugas sinkronisasi. Anda dapat menyesuaikan nilai ini. Ini digunakan untuk nama log, nama database yang menyimpan informasi checkpoint untuk transmisi yang dapat dilanjutkan, dan nama database tujuan.

id = mongoshake

master_quorum

Opsi ketersediaan tinggi. Saat node MongoShake utama dan cadangan mensinkronkan data dari sumber yang sama, atur parameter ini ke true untuk node MongoShake utama.

master_quorum = false

full_sync.http_port

Port HTTP. Buka port ini untuk melihat status sinkronisasi penuh saat ini dari Internet.

full_sync.http_port = 9101

incr_sync.http_port

Port HTTP. Buka port ini untuk melihat status sinkronisasi inkremental saat ini dari Internet.

incr_sync.http_port = 9100

system_profile_port

Port profiling, digunakan untuk melihat informasi stack internal.

system_profile_port = 9200

log.level

Tingkat log. Nilai valid:

• error: Log yang berisi informasi tingkat kesalahan.

• warning: Log yang berisi informasi tingkat peringatan.

• info: Log yang mencerminkan status sistem saat ini.

• debug: Log yang berisi informasi debugging.

Nilai default: info.

log.level = info

log.dir

Direktori untuk file log dan file PID. Jika parameter ini tidak disetel, direktori logs di jalur saat ini akan digunakan secara default.

log.dir = ./logs/

log.file

Nama file log. Anda dapat menyesuaikan nilai ini.

log.file = collector.log

log.flush

Tingkat refresh log di layar. Nilai valid:

• true: Mencetak setiap entri log. Ini memengaruhi performa.

• false: Tidak menjamin bahwa setiap log dicetak, tetapi memastikan performa.

log.flush = false

sync_mode

Metode sinkronisasi data. Nilai valid:

• all: Melakukan sinkronisasi data penuh dan inkremental.

• full: Hanya melakukan sinkronisasi data penuh.

• incr: Hanya melakukan sinkronisasi data inkremental.

sync_mode = all

mongo_urls

URI string koneksi dari instans MongoDB sumber. Dalam contoh ini, akun database adalah test dan milik database admin.

mongo_urls = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

mongo_cs_url

Jika sumbernya adalah instans kluster sharded, Anda harus memasukkan titik akhir node Configserver (CS). Untuk mengajukan titik akhir untuk node Configserver, lihat Ajukan titik akhir untuk shard.

Dalam contoh ini, akun database adalah test dan milik database admin.

mongo_cs_url = mongodb://test:****@dds-bp19f409d7512****-csxxx.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****-csxxx.mongodb.rds.aliyuncs.com:3717/admin

mongo_s_url

Jika sumbernya adalah instans kluster sharded, Anda harus memasukkan titik akhir setidaknya satu node Mongos. Pisahkan beberapa alamat Mongos dengan koma (,). Untuk mengajukan titik akhir untuk node Mongos, lihat Ajukan titik akhir untuk shard.

Dalam contoh ini, akun database adalah test dan milik database admin.

mongos_s_url = mongodb://test:****@s-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,s-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717/admin

tunnel

Jenis saluran untuk sinkronisasi. Nilai valid:

• direct: Menyinkronkan data langsung ke instans MongoDB tujuan.

• rpc: Menyinkronkan data menggunakan NET/RPC.

• tcp: Menyinkronkan data menggunakan TCP.

• file: Menyinkronkan data menggunakan transfer file.

• kafka: Menyinkronkan data menggunakan Kafka.

• mock: Digunakan hanya untuk pengujian. Data tidak ditulis ke saluran.

tunnel = direct

tunnel.address

Titik akhir tujuan. Alamat berikut didukung:

• Jika Anda menyetel parameter tunnel ke direct, masukkan URI string koneksi dari instans MongoDB tujuan.

• Jika Anda menyetel parameter tunnel ke rpc, masukkan alamat penerima RPC dari instans tujuan.

• Jika Anda menyetel parameter tunnel ke tcp, masukkan alamat penerima TCP dari instans tujuan.

• Jika Anda menyetel parameter tunnel ke file, masukkan jalur file untuk data instans tujuan.

• Jika Anda menyetel parameter tunnel ke kafka, masukkan alamat Kafka, misalnya, topic@brokers1,brokers2.

• Jika Anda menyetel parameter tunnel ke mock, biarkan parameter ini kosong.

Dalam contoh ini, akun database adalah test dan milik database admin.

tunnel.address = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

tunnel.message

Jenis data dalam saluran. Parameter ini valid hanya jika parameter tunnel disetel ke kafka atau file. Nilai valid:

• raw: Jenis default. Data ditulis dan dibaca dalam mode agregasi.

• json: Menulis data ke Kafka dalam format JSON, yang memungkinkan pengguna membacanya langsung.

• bson: Menulis data ke Kafka dalam format biner BSON.

tunnel.message = raw

mongo_connect_mode

Mode koneksi untuk instans MongoDB. Parameter ini valid hanya jika parameter tunnel disetel ke direct. Nilai valid:

• primary: Mengambil data dari node utama.

• secondaryPreferred: Mengambil data dari node sekunder.

• standalone: Mengambil data dari node tunggal yang ditentukan.

mongo_connect_mode = secondaryPreferred

filter.namespace.black

Menentukan daftar hitam untuk sinkronisasi data. Namespace yang ditentukan tidak disinkronkan ke database tujuan. Pisahkan beberapa namespace dengan titik koma (;).

filter.namespace.black = mongodbtest.customer;testdata.test123

filter.namespace.white

Menentukan daftar putih untuk sinkronisasi data. Hanya namespace yang ditentukan yang disinkronkan ke database tujuan. Pisahkan beberapa namespace dengan titik koma (;).

filter.namespace.white = mongodbtest.customer;test123

filter.pass.special.db

Mengaktifkan sinkronisasi untuk database khusus. Selama sinkronisasi normal, database seperti admin, local, mongoshake, config, dan system.views difilter oleh sistem. Anda dapat mengaktifkan sinkronisasi untuk database ini untuk kebutuhan khusus. Pisahkan beberapa nama database dengan titik koma (;).

filter.pass.special.db = admin;mongoshake

filter.ddl_enable

Menentukan apakah akan mengaktifkan sinkronisasi DDL. Nilai valid:

• true: diaktifkan

• false: dinonaktifkan

filter.ddl_enable = false

checkpoint.storage.url

Mengonfigurasi alamat penyimpanan checkpoint untuk mendukung transmisi yang dapat dilanjutkan. Jika ini tidak dikonfigurasi, program menulis ke database berikut berdasarkan tipe instans:

• Instans set replika MongoDB: Menulis ke database mongoshake.

• Instans kluster sharded MongoDB: Menulis ke database admin pada node Configserver.

Dalam contoh ini, akun database adalah test dan milik database admin.

checkpoint.storage.url = mongodb://test:****@dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512****.mongodb.rds.aliyuncs.com:3717

checkpoint.storage.db

Nama database yang menyimpan checkpoint.

checkpoint.storage.db = mongoshake

checkpoint.storage.collection

Nama koleksi yang menyimpan checkpoint. Saat Anda mengaktifkan node MongoShake utama dan cadangan untuk menyinkronkan data dari sumber yang sama, Anda dapat mengubah nama tabel ini untuk mencegah konflik yang disebabkan oleh nama duplikat.

checkpoint.storage.collection = ckpt_default

checkpoint.start_position

Posisi awal untuk transmisi yang dapat dilanjutkan. Parameter ini tidak valid jika checkpoint sudah ada. Format nilainya adalah YYYY-MM-DDTHH:MM:SSZ.

checkpoint.start_position = 1970-01-01T00:00:00Z

transform.namespace

Mengganti nama database atau koleksi sumber dan menyinkronkannya ke database tujuan. Misalnya, ganti nama Database A.Collection B di database sumber menjadi Database C.Collection D dan sinkronkan ke database tujuan.

transform.namespace = fromA.fromB:toC.toD

Opsi sinkronisasi data penuh

full_sync.reader.collection_parallel

Menetapkan jumlah maksimum koleksi yang dapat ditarik MongoShake secara bersamaan pada satu waktu.

full_sync.reader.collection_parallel = 6

full_sync.reader.write_document_parallel

Menetapkan jumlah thread konkuren untuk MongoShake menulis ke koleksi tunggal.

full_sync.reader.write_document_parallel = 8

full_sync.reader.document_batch_size

Menetapkan ukuran batch untuk penulisan dokumen tunggal ke tujuan. Sebagai contoh, 128 berarti bahwa 128 dokumen di-agregasi sebelum ditulis.

full_sync.reader.document_batch_size = 128

full_sync.collection_exist_drop

Menetapkan cara menangani koleksi di database tujuan yang memiliki nama yang sama dengan koleksi sumber. Nilai valid:

• true: Menghapus koleksi tujuan dengan nama yang sama lalu menyinkronkan.

  Peringatan

  Operasi ini menghapus koleksi di tujuan. Cadangkan data Anda terlebih dahulu.

• false: Melaporkan kesalahan dan keluar jika koleksi dengan nama yang sama terdeteksi di database tujuan.

full_sync.collection_exist_drop = true

full_sync.create_index

Menentukan apakah akan membuat indeks setelah sinkronisasi selesai. Nilai valid:

• foreground: Membuat indeks foreground.

• background: Membuat indeks background.

• none: Tidak membuat indeks.

full_sync.create_index = none

full_sync.executor.insert_on_dup_update

Menentukan apakah akan mengubah pernyataan INSERT menjadi pernyataan UPDATE jika bidang _id duplikat ada di database tujuan. Nilai valid:

• true: ubah

• false: jangan ubah

full_sync.executor.insert_on_dup_update = false

full_sync.executor.filter.orphan_document

Menentukan apakah akan memfilter dokumen yatim piatu ketika sumbernya adalah instans kluster sharded. Nilai valid:

• true: filter

• false: jangan filter

full_sync.executor.filter.orphan_document = false

full_sync.executor.majority_enable

Menentukan apakah akan mengaktifkan fitur penulisan mayoritas pada tujuan. Nilai valid:

• true: aktifkan

• false: nonaktifkan

full_sync.executor.majority_enable = false

Opsi sinkronisasi data inkremental

incr_sync.mongo_fetch_method

Mengonfigurasi metode untuk menarik data inkremental. Nilai valid:

• oplog: Menarik oplogs dari database sumber.

• change_stream: Menarik peristiwa perubahan dari database sumber. Metode ini hanya didukung untuk MongoDB 4.0 dan yang lebih baru.

Nilai default: oplog

incr_sync.mongo_fetch_method = oplog

incr_sync.oplog.gids

Digunakan untuk menyiapkan replikasi dua arah untuk kluster cloud.

incr_sync.oplog.gids = xxxxxxxxxxxx

incr_sync.shard_key

Metode yang digunakan MongoShake untuk menangani konkurensi secara internal. Jangan ubah parameter ini.

incr_sync.shard_key = collection

incr_sync.worker

Jumlah thread konkuren untuk mentransmisikan oplogs. Jika performa host cukup, Anda dapat meningkatkan jumlah thread.

incr_sync.worker = 8

incr_sync.worker.oplog_compressor

Mengaktifkan kompresi data untuk mengurangi konsumsi lebar pita jaringan. Nilai valid:

• none: tanpa kompresi

• gzip: kompres dalam format gzip

• zlib: kompres dalam format zlib

• deflate: kompres dalam format deflate

incr_sync.worker.oplog_compressor = none

incr_sync.target_delay

Menetapkan sinkronisasi tertunda antara sumber dan tujuan. Perubahan di sumber biasanya disinkronkan ke tujuan secara real-time. Untuk mencegah operasi yang tidak disengaja, Anda dapat menyetel parameter ini untuk menunda sinkronisasi. Sebagai contoh, incr_sync.target_delay = 1800 menetapkan penundaan 30 menit. Satuannya adalah detik.

incr_sync.target_delay = 1800

incr_sync.worker.batch_queue_size

Parameter konfigurasi untuk antrian internal MongoShake. Jangan ubah kecuali diperlukan.

incr_sync.worker.batch_queue_size = 64

incr_sync.adaptive.batching_max_size

incr_sync.adaptive.batching_max_size = 1024

incr_sync.fetcher.buffer_capacity

incr_sync.fetcher.buffer_capacity = 256

Opsi sinkronisasi MongoDB (hanya untuk mode direct)

incr_sync.executor.upsert

Menentukan apakah akan mengubah pernyataan UPDATE menjadi pernyataan INSERT ketika _id (bidang duplikat) atau indeks unik tidak ada. Nilai valid:

• true: ubah

• false: jangan ubah

incr_sync.executor.upsert = false

incr_sync.executor.insert_on_dup_update

Menentukan apakah akan mengubah pernyataan INSERT menjadi pernyataan UPDATE ketika _id (bidang duplikat) atau indeks unik tidak ada. Nilai valid:

• true: ubah

• false: jangan ubah

incr_sync.executor.insert_on_dup_update = false

incr_sync.conflict_write_to

Menentukan apakah akan mencatat dokumen yang bertentangan jika terjadi konflik penulisan selama sinkronisasi. Nilai valid:

• none: jangan catat

• db: menulis log konflik ke mongoshake_conflict

• sdk: menulis log konflik ke SDK

incr_sync.conflict_write_to = none

incr_sync.executor.majority_enable

Menentukan apakah akan mengaktifkan penulisan mayoritas pada tujuan. Nilai valid:

• true: aktifkan

• false: nonaktifkan

incr_sync.executor.majority_enable = false