ApsaraDB for MongoDB:Sincronización unidireccional de instancias MongoDB con MongoShake

Parámetro

Descripción

logs_get/sec

Número de oplogs obtenidos por segundo.

logs_repl/sec

Número de operaciones de reproducción de oplogs ejecutadas por segundo.

logs_success/sec

Número de operaciones de reproducción de oplogs exitosas por segundo.

lsn.time

Marca de tiempo del último oplog enviado.

lsn_ack.time

Marca de tiempo en la que la instancia de destino confirmó la operación de escritura.

lsn_ckpt.time

Marca de tiempo en la que se persistió el punto de control.

now.time

Hora actual.

replset

Nombre del conjunto de réplicas de la base de datos de origen.

Categoría

Parámetro

Descripción

Ejemplo

N/A

conf.version

Versión del archivo de configuración. No modifique este valor.

conf.version = 4

Opciones globales

id

ID de la tarea de sincronización. Este valor se puede personalizar y se utiliza para el nombre del archivo de registro, el nombre de la base de datos que almacena la información de los puntos de control y el nombre de la base de datos en la instancia de destino.

id = mongoshake

master_quorum

Opción de alta disponibilidad. Cuando los nodos primario y en espera de MongoShake sincronizan datos desde el mismo origen, establezca este parámetro en true en el nodo primario de MongoShake.

master_quorum = false

full_sync.http_port

Puerto HTTP para consultar el estado de la sincronización completa.

full_sync.http_port = 9101

incr_sync.http_port

Puerto HTTP para consultar el estado de la sincronización incremental.

incr_sync.http_port = 9100

system_profile_port

Puerto de generación de perfiles que se utiliza para consultar información interna de la pila.

system_profile_port = 9200

log.level

Nivel de registro. Valores válidos:

• error: Información de nivel de error.

• warning: Información de nivel de advertencia.

• info: Mensajes informativos sobre el estado actual del sistema.

• debug: Información de depuración.

Valor predeterminado: info.

log.level = info

log.dir

Directorio para los archivos de registro y los archivos PID. Si no se establece este parámetro, se utiliza de forma predeterminada el directorio logs en la ruta actual.

log.dir = ./logs/

log.file

Nombre del archivo de registro. Este valor se puede personalizar.

log.file = collector.log

log.flush

Frecuencia de actualización de registros en pantalla. Valores válidos:

• true: imprime cada entrada de registro inmediatamente. Esto puede afectar el rendimiento.

• false: no garantiza que cada entrada de registro se imprima de inmediato. Esta opción mejora el rendimiento.

log.flush = false

sync_mode

Modo de sincronización de datos. Valores válidos:

• all: realiza una sincronización completa y una incremental.

• full: realiza únicamente una sincronización completa.

• incr: realiza únicamente una sincronización incremental.

sync_mode = all

mongo_urls

URI de cadena de conexión de la instancia MongoDB de origen. En el ejemplo, la cuenta de la base de datos es test, ubicada en la base de datos admin.

mongo_urls = mongodb://test:**@dds-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717

mongo_cs_url

Si el origen es una instancia de clúster fragmentado, debe especificar la URI de cadena de conexión del nodo ConfigServer (CS). Para obtener información sobre cómo conseguir la URI de cadena de conexión de un nodo ConfigServer, consulte Apply for an endpoint for a shard.

En el ejemplo, la cuenta de la base de datos es test, ubicada en la base de datos admin.

mongo_cs_url = mongodb://test:**@dds-bp19f409d7512-csxxx.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**-csxxx.mongodb.rds.aliyuncs.com:3717/admin

mongo_s_url

Si el origen es una instancia de clúster fragmentado, debe especificar la URI de cadena de conexión de como mínimo un nodo mongos. Separe varias direcciones de mongos con comas (,). Para obtener información sobre cómo conseguir la URI de cadena de conexión de un nodo mongos, consulte Apply for an endpoint for a shard.

En el ejemplo, la cuenta de la base de datos es test, ubicada en la base de datos admin.

mongos_s_url = mongodb://test:**@s-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,s-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717/admin

tunnel

Tipo de canal de sincronización. Valores válidos:

• direct: sincroniza datos directamente con la instancia MongoDB de destino.

• rpc: sincroniza datos mediante NET/RPC.

• tcp: sincroniza datos mediante TCP.

• file: sincroniza datos mediante transferencia de archivos.

• kafka: sincroniza datos mediante Kafka.

• mock: solo para fines de prueba. Los datos no se escriben en el canal.

tunnel = direct

tunnel.address

Dirección del destino. El formato de dirección compatible varía según el tipo de túnel:

• Si tunnel está establecido en direct, especifique la URI de cadena de conexión de la instancia MongoDB de destino.

• Si tunnel está establecido en rpc, especifique la dirección del receptor RPC de la instancia de destino.

• Si tunnel está establecido en tcp, especifique la dirección del receptor TCP de la instancia de destino.

• Si tunnel está establecido en file, especifique la ruta del archivo de datos de la instancia de destino.

• Si tunnel está establecido en kafka, especifique la dirección de Kafka, por ejemplo, topic@brokers1,brokers2.

• Si tunnel está establecido en mock, deje este parámetro vacío.

En el ejemplo, la cuenta de la base de datos es test, ubicada en la base de datos admin.

tunnel.address = mongodb://test:**@dds-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717

tunnel.message

Tipo de datos en el canal. Este parámetro solo es válido cuando tunnel está establecido en kafka o file. Valores válidos:

• raw: tipo predeterminado. Los datos se escriben y leen en lotes.

• json: los datos se escriben en Kafka en formato JSON, lo que permite a los usuarios leerlos directamente.

• bson: los datos se escriben en Kafka en formato binario BSON.

tunnel.message = raw

mongo_connect_mode

Modo de conexión de la instancia MongoDB. Este parámetro solo es válido cuando tunnel está establecido en direct. Valores válidos:

• primary: extrae datos del nodo primario.

• secondaryPreferred: extrae datos de un nodo secundario.

• standalone: extrae datos de un único nodo específico.

mongo_connect_mode = secondaryPreferred

filter.namespace.black

Especifica una lista de bloqueados para la sincronización de datos. Los namespaces especificados no se sincronizan con la base de datos de destino. Separe varios namespaces con punto y coma (;).

filter.namespace.black = mongodbtest.customer;testdata.test123

filter.namespace.white

Especifica una lista de permitidos para la sincronización de datos. Solo los namespaces especificados se sincronizan con la base de datos de destino. Separe varios namespaces con punto y coma (;).

filter.namespace.white = mongodbtest.customer;test123

filter.pass.special.db

Habilita la sincronización de bases de datos especiales. De forma predeterminada, se filtran bases de datos como admin, local, mongoshake, config y system.views. Puede habilitar la sincronización para estas bases de datos según requisitos específicos. Separe varios nombres de bases de datos con punto y coma (;).

filter.pass.special.db = admin;mongoshake

filter.ddl_enable

Especifica si se debe habilitar la sincronización DDL. Valores válidos:

• true: habilitado

• false: deshabilitado

filter.ddl_enable = false

checkpoint.storage.url

Dirección de almacenamiento para los puntos de control, utilizada para admitir la sincronización reanudable. Si no se configura este parámetro, el programa escribe los puntos de control en una de las siguientes bases de datos según el tipo de instancia:

• Instancia de conjunto de réplicas de MongoDB: se escribe en la base de datos mongoshake.

• Instancia de clúster fragmentado de MongoDB: se escribe en la base de datos admin del nodo ConfigServer.

En el ejemplo, la cuenta de la base de datos es test, ubicada en la base de datos admin.

checkpoint.storage.url = mongodb://test:**@dds-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717

checkpoint.storage.db

Nombre de la base de datos para almacenar puntos de control.

checkpoint.storage.db = mongoshake

checkpoint.storage.collection

Nombre de la colección para almacenar puntos de control. Cuando los nodos primario y en espera de MongoShake sincronizan datos desde el mismo origen, puede cambiar este nombre de colección para evitar conflictos.

checkpoint.storage.collection = ckpt_default

checkpoint.start_position

Posición inicial para la sincronización. Este parámetro solo se utiliza si no se encuentra ningún punto de control. El formato es YYYY-MM-DDTHH:MM:SSZ.

checkpoint.start_position = 1970-01-01T00:00:00Z

transform.namespace

Cambia el nombre de una base de datos o colección de origen y la sincroniza con el destino. Por ejemplo, puede cambiar el nombre de database A.collection B en la instancia de origen a database C.collection D en la instancia de destino.

transform.namespace = fromA.fromB:toC.toD

Opciones de sincronización completa

full_sync.reader.collection_parallel

Número máximo de colecciones que MongoShake puede extraer simultáneamente a la vez.

full_sync.reader.collection_parallel = 6

full_sync.reader.write_document_parallel

Número de hilos de escritura concurrentes por colección para MongoShake.

full_sync.reader.write_document_parallel = 8

full_sync.reader.document_batch_size

Tamaño del lote para escribir documentos en la instancia de destino. Por ejemplo, un valor de 128 indica que se agrupan 128 documentos antes de escribirlos.

full_sync.reader.document_batch_size = 128

full_sync.collection_exist_drop

Especifica qué hacer si una colección de destino tiene el mismo nombre que una colección de origen. Valores válidos:

• true: elimina la colección de destino y luego sincroniza la colección de origen.

  Aviso

  Esta operación elimina la colección de destino. Asegúrese de tener una copia de seguridad antes de continuar.

• false: reporta un error y finaliza si se detecta una colección con el mismo nombre en la base de datos de destino.

full_sync.collection_exist_drop = true

full_sync.create_index

Especifica si se debe crear un índice una vez completada la sincronización. Valores válidos:

• foreground: crea un índice en primer plano.

• background: crea un índice en segundo plano.

• none: no crea ningún índice.

full_sync.create_index = none

full_sync.executor.insert_on_dup_update

Especifica si se debe convertir una instrucción INSERT en una instrucción UPDATE si la base de datos de destino contiene un campo _id duplicado. Valores válidos:

• true: convierte la instrucción.

• false: no convierte la instrucción.

full_sync.executor.insert_on_dup_update = false

full_sync.executor.filter.orphan_document

Especifica si se deben filtrar documentos huérfanos cuando el origen es una instancia de clúster fragmentado. Valores válidos:

• true: filtra documentos huérfanos.

• false: no filtra documentos huérfanos.

full_sync.executor.filter.orphan_document = false

full_sync.executor.majority_enable

Especifica si se debe habilitar la escritura por mayoría en la instancia de destino. Valores válidos:

• true: habilita la escritura por mayoría.

• false: deshabilita la escritura por mayoría.

full_sync.executor.majority_enable = false

Opciones de sincronización incremental

incr_sync.mongo_fetch_method

Método para extraer datos incrementales. Valores válidos:

• oplog: extrae oplogs de la base de datos de origen.

• change_stream: extrae eventos de cambio de la base de datos de origen. Solo es compatible con MongoDB 4.0 y versiones posteriores.

Valor predeterminado: oplog.

incr_sync.mongo_fetch_method = oplog

incr_sync.oplog.gids

Se utiliza para configurar la replicación bidireccional en clústeres en la nube.

incr_sync.oplog.gids = xxxxxxxxxxxx

incr_sync.shard_key

Método interno de concurrencia para MongoShake. No modifique este parámetro.

incr_sync.shard_key = collection

incr_sync.worker

Número de hilos concurrentes para transmitir oplogs. Puede aumentar este valor si el rendimiento del host es suficiente.

incr_sync.worker = 8

incr_sync.worker.oplog_compressor

Habilita la compresión de datos para reducir el consumo de ancho de banda de red. Valores válidos:

• none: sin compresión

• gzip: comprime datos en formato gzip

• zlib: comprime datos en formato zlib

• deflate: comprime datos en formato deflate

incr_sync.worker.oplog_compressor = none

incr_sync.target_delay

Retraso, en segundos, antes de aplicar los cambios del origen al destino. Puede configurar este parámetro para evitar operaciones accidentales. Por ejemplo, incr_sync.target_delay = 1800 genera un retraso de 30 minutos.

incr_sync.target_delay = 1800

incr_sync.worker.batch_queue_size

Parámetros de configuración de la cola interna de MongoShake. No modifique estos parámetros a menos que sea necesario.

incr_sync.worker.batch_queue_size = 64

incr_sync.adaptive.batching_max_size

incr_sync.adaptive.batching_max_size = 1024

incr_sync.fetcher.buffer_capacity

incr_sync.fetcher.buffer_capacity = 256

Opciones de sincronización de MongoDB (solo para modo direct)

incr_sync.executor.upsert

Especifica si se debe convertir una instrucción UPDATE en una instrucción INSERT si no existe un documento con el _id o índice único correspondiente. Valores válidos:

• true: convierte la instrucción.

• false: no convierte la instrucción.

incr_sync.executor.upsert = false

incr_sync.executor.insert_on_dup_update

Especifica si se debe convertir una instrucción INSERT en una instrucción UPDATE si ya existe un documento con el _id o índice único correspondiente. Valores válidos:

• true: convierte la instrucción.

• false: no convierte la instrucción.

incr_sync.executor.insert_on_dup_update = false

incr_sync.conflict_write_to

Especifica si se deben registrar documentos conflictivos cuando ocurre un conflicto de escritura durante la sincronización. Valores válidos:

• none: no registra documentos conflictivos.

• db: registra los registros de conflictos en la base de datos mongoshake_conflict.

• sdk: registra los registros de conflictos en el SDK.

incr_sync.conflict_write_to = none

incr_sync.executor.majority_enable

Especifica si se debe habilitar la escritura por mayoría en la instancia de destino. Valores válidos:

• true: habilita la escritura por mayoría.

• false: deshabilita la escritura por mayoría.

incr_sync.executor.majority_enable = false