ApsaraDB for MongoDB:Sincronização unidirecional de instâncias MongoDB com MongoShake

Parâmetro

Descrição

logs_get/sec

Quantidade de oplogs buscados por segundo.

logs_repl/sec

Número de operações de reexecução de oplog realizadas por segundo.

logs_success/sec

Total de operações de reexecução de oplog bem-sucedidas por segundo.

lsn.time

Timestamp do último oplog enviado.

lsn_ack.time

Momento em que a instância de destino confirmou a operação de escrita.

lsn_ckpt.time

Timestamp em que o checkpoint foi persistido.

now.time

Hora atual.

replset

Nome do conjunto de réplicas do banco de dados de origem.

Categoria

Parâmetro

Descrição

Exemplo

N/A

conf.version

Versão do arquivo de configuração. Não modifique este valor.

conf.version = 4

Opções globais

id

ID da tarefa de sincronização. Você pode personalizar este valor. Ele é usado para o nome do arquivo de log, o nome do banco de dados para armazenar informações de checkpoint e o nome do banco de dados na instância de destino.

id = mongoshake

master_quorum

Opção de alta disponibilidade. Quando nós primário e standby do MongoShake sincronizam dados da mesma origem, defina este parâmetro como true no nó primário do MongoShake.

master_quorum = false

full_sync.http_port

Porta HTTP para visualizar o status da sincronização completa.

full_sync.http_port = 9101

incr_sync.http_port

Porta HTTP para visualizar o status da sincronização incremental.

incr_sync.http_port = 9100

system_profile_port

Porta de profiling usada para visualizar informações internas de pilha.

system_profile_port = 9200

log.level

Nível de log. Valores válidos:

• error: Informações de nível de erro.

• warning: Informações de nível de aviso.

• info: Mensagens informativas sobre o status atual do sistema.

• debug: Informações de depuração.

Valor padrão: info.

log.level = info

log.dir

Diretório para arquivos de log e arquivos PID. Se este parâmetro não for definido, o diretório logs no caminho atual será usado por padrão.

log.dir = ./logs/

log.file

Nome do arquivo de log. Você pode personalizar este valor.

log.file = collector.log

log.flush

Frequência de atualização do log na tela. Valores válidos:

• true: imprime cada entrada de log imediatamente. Isso pode afetar o desempenho.

• false: não garante que cada entrada de log seja impressa imediatamente. Esta opção melhora o desempenho.

log.flush = false

sync_mode

Modo de sincronização de dados. Valores válidos:

• all: executa uma sincronização completa e uma incremental.

• full: executa apenas a sincronização completa.

• incr: executa apenas a sincronização incremental.

sync_mode = all

mongo_urls

URI da string de conexão da instância MongoDB de origem. No exemplo, a conta do banco de dados é test, localizada no banco de dados admin.

mongo_urls = mongodb://test:**@dds-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717

mongo_cs_url

Se a origem for uma instância de cluster sharded, você deve especificar a URI da string de conexão do nó ConfigServer (CS). Para obter informações sobre como obter a URI da string de conexão de um nó ConfigServer, consulte Apply for an endpoint for a shard.

No exemplo, a conta do banco de dados é test, localizada no banco de dados admin.

mongo_cs_url = mongodb://test:**@dds-bp19f409d7512-csxxx.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**-csxxx.mongodb.rds.aliyuncs.com:3717/admin

mongo_s_url

Se a origem for uma instância de cluster sharded, especifique a URI da string de conexão de pelo menos um nó mongos. Separe vários endereços mongos com vírgulas (,). Para obter informações sobre como obter a URI da string de conexão de um nó mongos, consulte Apply for an endpoint for a shard.

No exemplo, a conta do banco de dados é test, localizada no banco de dados admin.

mongos_s_url = mongodb://test:**@s-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,s-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717/admin

tunnel

Tipo de canal de sincronização. Valores válidos:

• direct: sincroniza dados diretamente com a instância MongoDB de destino.

• rpc: sincroniza dados usando NET/RPC.

• tcp: sincroniza dados usando TCP.

• file: sincroniza dados usando transferência de arquivos.

• kafka: sincroniza dados usando Kafka.

• mock: apenas para fins de teste. Os dados não são gravados no canal.

tunnel = direct

tunnel.address

Endereço do destino. O formato de endereço suportado varia conforme o tipo de tunnel:

• Se tunnel estiver definido como direct, especifique a URI da string de conexão da instância MongoDB de destino.

• Se tunnel estiver definido como rpc, especifique o endereço do receptor RPC da instância de destino.

• Se tunnel estiver definido como tcp, especifique o endereço do receptor TCP da instância de destino.

• Se tunnel estiver definido como file, especifique o caminho do arquivo de dados da instância de destino.

• Se tunnel estiver definido como kafka, especifique o endereço do Kafka, como topic@brokers1,brokers2.

• Se tunnel estiver definido como mock, deixe este parâmetro vazio.

No exemplo, a conta do banco de dados é test, localizada no banco de dados admin.

tunnel.address = mongodb://test:**@dds-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717

tunnel.message

Tipo de dados no canal. Este parâmetro é válido apenas quando tunnel está definido como kafka ou file. Valores válidos:

• raw: tipo padrão. Os dados são gravados e lidos em lotes.

• json: os dados são gravados no Kafka no formato JSON, o que permite que os usuários os leiam diretamente.

• bson: os dados são gravados no Kafka no formato binário BSON.

tunnel.message = raw

mongo_connect_mode

Modo de conexão da instância MongoDB. Este parâmetro é válido apenas quando tunnel está definido como direct. Valores válidos:

• primary: puxa dados do nó primário.

• secondaryPreferred: puxa dados de um nó secundário.

• standalone: puxa dados de um único nó especificado.

mongo_connect_mode = secondaryPreferred

filter.namespace.black

Define uma lista de bloqueios para sincronização de dados. Os namespaces especificados não são sincronizados com o banco de dados de destino. Separe vários namespaces com ponto e vírgula (;).

filter.namespace.black = mongodbtest.customer;testdata.test123

filter.namespace.white

Define uma lista de permissões para sincronização de dados. Apenas os namespaces especificados são sincronizados com o banco de dados de destino. Separe vários namespaces com ponto e vírgula (;).

filter.namespace.white = mongodbtest.customer;test123

filter.pass.special.db

Ativa a sincronização de bancos de dados especiais. Por padrão, bancos de dados como admin, local, mongoshake, config e system.views são filtrados. Você pode ativar a sincronização para esses bancos de dados conforme necessidades específicas. Separe vários nomes de bancos de dados com ponto e vírgula (;).

filter.pass.special.db = admin;mongoshake

filter.ddl_enable

Especifica se deve ativar a sincronização DDL. Valores válidos:

• true: ativado

• false: desativado

filter.ddl_enable = false

checkpoint.storage.url

Endereço de armazenamento para checkpoints, usado para suportar sincronização retomável. Se este parâmetro não for configurado, o programa grava checkpoints em um dos seguintes bancos de dados, dependendo do tipo de instância:

• Instância de conjunto de réplicas MongoDB: gravado no banco de dados mongoshake.

• Instância de cluster sharded MongoDB: gravado no banco de dados admin do nó ConfigServer.

No exemplo, a conta do banco de dados é test, localizada no banco de dados admin.

checkpoint.storage.url = mongodb://test:**@dds-bp19f409d7512.mongodb.rds.aliyuncs.com:3717,dds-bp19f409d7512**.mongodb.rds.aliyuncs.com:3717

checkpoint.storage.db

Nome do banco de dados para armazenar checkpoints.

checkpoint.storage.db = mongoshake

checkpoint.storage.collection

Nome da coleção para armazenar checkpoints. Quando nós primário e standby do MongoShake sincronizam dados da mesma origem, você pode alterar este nome de coleção para evitar conflitos.

checkpoint.storage.collection = ckpt_default

checkpoint.start_position

Posição inicial para a sincronização. Este parâmetro é usado apenas se nenhum checkpoint for encontrado. O formato é YYYY-MM-DDTHH:MM:SSZ.

checkpoint.start_position = 1970-01-01T00:00:00Z

transform.namespace

Renomeia um banco de dados ou coleção de origem e o sincroniza com o destino. Por exemplo, você pode renomear database A.collection B da instância de origem para database C.collection D na instância de destino.

transform.namespace = fromA.fromB:toC.toD

Opções de sincronização completa

full_sync.reader.collection_parallel

Número máximo de coleções que o MongoShake pode puxar simultaneamente por vez.

full_sync.reader.collection_parallel = 6

full_sync.reader.write_document_parallel

Número de threads de escrita concorrentes por coleção para o MongoShake.

full_sync.reader.write_document_parallel = 8

full_sync.reader.document_batch_size

Tamanho do lote para gravar documentos na instância de destino. Por exemplo, um valor de 128 indica que 128 documentos são agrupados antes da gravação.

full_sync.reader.document_batch_size = 128

full_sync.collection_exist_drop

Especifica o que fazer se uma coleção de destino tiver o mesmo nome de uma coleção de origem. Valores válidos:

• true: exclui a coleção de destino e então sincroniza a coleção de origem.

  Aviso

  Esta operação exclui a coleção de destino. Certifique-se de ter um backup antes de prosseguir.

• false: relata um erro e sai se uma coleção com o mesmo nome for detectada no banco de dados de destino.

full_sync.collection_exist_drop = true

full_sync.create_index

Especifica se deve criar um índice após a conclusão da sincronização. Valores válidos:

• foreground: cria um índice em primeiro plano.

• background: cria um índice em segundo plano.

• none: não cria índice.

full_sync.create_index = none

full_sync.executor.insert_on_dup_update

Especifica se deve converter uma instrução INSERT em uma instrução UPDATE caso o banco de dados de destino contenha um campo _id duplicado. Valores válidos:

• true: converte a instrução.

• false: não converte a instrução.

full_sync.executor.insert_on_dup_update = false

full_sync.executor.filter.orphan_document

Especifica se deve filtrar documentos órfãos caso a origem seja uma instância de cluster sharded. Valores válidos:

• true: filtra documentos órfãos.

• false: não filtra documentos órfãos.

full_sync.executor.filter.orphan_document = false

full_sync.executor.majority_enable

Especifica se deve ativar a escrita por maioria na instância de destino. Valores válidos:

• true: ativa a escrita por maioria.

• false: desativa a escrita por maioria.

full_sync.executor.majority_enable = false

Opções de sincronização incremental

incr_sync.mongo_fetch_method

Método para buscar dados incrementais. Valores válidos:

• oplog: busca oplogs do banco de dados de origem.

• change_stream: busca eventos de alteração do banco de dados de origem. Suportado apenas para MongoDB 4.0 e posterior.

Valor padrão: oplog.

incr_sync.mongo_fetch_method = oplog

incr_sync.oplog.gids

Usado para configurar replicação bidirecional para clusters em cloud.

incr_sync.oplog.gids = xxxxxxxxxxxx

incr_sync.shard_key

Método interno de concorrência do MongoShake. Não modifique este parâmetro.

incr_sync.shard_key = collection

incr_sync.worker

Número de threads concorrentes para transmitir oplogs. Você pode aumentar este valor se o desempenho do host for suficiente.

incr_sync.worker = 8

incr_sync.worker.oplog_compressor

Ativa a compressão de dados para reduzir o consumo de largura de banda da rede. Valores válidos:

• none: sem compressão

• gzip: comprime dados no formato gzip

• zlib: comprime dados no formato zlib

• deflate: comprime dados no formato deflate

incr_sync.worker.oplog_compressor = none

incr_sync.target_delay

Atraso, em segundos, antes que as alterações da origem sejam aplicadas ao destino. Você pode definir este parâmetro para evitar operações acidentais. Por exemplo, incr_sync.target_delay = 1800 cria um atraso de 30 minutos.

incr_sync.target_delay = 1800

incr_sync.worker.batch_queue_size

Parâmetros de configuração da fila interna do MongoShake. Não modifique estes parâmetros a menos que seja necessário.

incr_sync.worker.batch_queue_size = 64

incr_sync.adaptive.batching_max_size

incr_sync.adaptive.batching_max_size = 1024

incr_sync.fetcher.buffer_capacity

incr_sync.fetcher.buffer_capacity = 256

Opções de sincronização do MongoDB (apenas para modo direct)

incr_sync.executor.upsert

Especifica se deve converter uma instrução UPDATE em uma instrução INSERT caso não exista um documento com o _id correspondente ou índice único. Valores válidos:

• true: converte a instrução.

• false: não converte a instrução.

incr_sync.executor.upsert = false

incr_sync.executor.insert_on_dup_update

Especifica se deve converter uma instrução INSERT em uma instrução UPDATE caso já exista um documento com o _id correspondente ou índice único. Valores válidos:

• true: converte a instrução.

• false: não converte a instrução.

incr_sync.executor.insert_on_dup_update = false

incr_sync.conflict_write_to

Especifica se deve registrar documentos conflitantes caso ocorra um conflito de escrita durante a sincronização. Valores válidos:

• none: não registra documentos conflitantes.

• db: registra logs de conflito no banco de dados mongoshake_conflict.

• sdk: registra logs de conflito no SDK.

incr_sync.conflict_write_to = none

incr_sync.executor.majority_enable

Especifica se deve ativar a escrita por maioria na instância de destino. Valores válidos:

• true: ativa a escrita por maioria.

• false: desativa a escrita por maioria.

incr_sync.executor.majority_enable = false