Data Transmission Service:Sincronizar dados de uma instância de cluster sharded do ApsaraDB for MongoDB para uma função do Function Compute

O que sua função recebe

Cada invocação passa um objeto com um array Records. Cada elemento no array representa um evento de alteração:

A função recebe duas categorias de operações:

• DDL — alterações de schema: CreateIndex, CreateCollection, DropIndex, DropCollection

• DML — alterações de dados: INSERT, UPDATE, DELETE

db.createCollection("testCollection")

{
  "Records": [{
    "data": [{"doc": "{\"create\": \"testCollection\", \"idIndex\": {\"v\": 2, \"key\": {\"_id\": 1}, \"name\": \"_id_\"}}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056437000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "testCollection",
    "ts": 1694056437510
  }]
}

db.testCollection.drop()

{
  "Records": [{
    "data": [{"doc": "{\"drop\": \"testCollection\"}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056577000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "testCollection",
    "ts": 1694056577789
  }]
}

db.testCollection.createIndex({name: 1})

{
  "Records": [{
    "data": [{"doc": "{\"createIndexes\": \"testCollection\", \"v\": 2, \"key\": {\"name\": 1}, \"name\": \"name_1\"}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056670000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "testCollection",
    "ts": 1694056670719
  }]
}

db.testCollection.dropIndex({name: 1})

{
  "Records": [{
    "data": [{"doc": "{\"dropIndexes\": \"testCollection\", \"index\": \"name_1\"}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056817000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "$cmd",
    "ts": 1694056818035
  }]
}

// Batch insert
db.runCommand({insert: "user", documents: [{"name": "jack", "age": 20}, {"name": "lili", "age": 20}]})

// Single insert
db.user.insert({"name": "jack", "age": 20})

{
  "Records": [
    {
      "data": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}, \"name\": \"jack\", \"age\": 20}"}],
      "pkNames": ["_id"],
      "type": "INSERT",
      "es": 1694054783000,
      "database": "MongoDBTest",
      "id": 0,
      "isDdl": false,
      "table": "user",
      "ts": 1694054784427
    },
    {
      "data": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}, \"name\": \"lili\", \"age\": 20}"}],
      "pkNames": ["_id"],
      "type": "INSERT",
      "es": 1694054783000,
      "database": "MongoDBTest",
      "id": 0,
      "isDdl": false,
      "table": "user",
      "ts": 1694054784428
    }
  ]
}

db.user.update({"name": "jack"}, {$set: {"age": 30}})

{
  "Records": [{
    "data": [{"doc": "{\"$set\": {\"age\": 30}}"}],
    "pkNames": ["_id"],
    "old": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}}"}],
    "type": "UPDATE",
    "es": 1694054989000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": false,
    "table": "user",
    "ts": 1694054990555
  }]
}

db.user.remove({"name": "jack"})

{
  "Records": [{
    "data": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}}"}],
    "pkNames": ["_id"],
    "type": "DELETE",
    "es": 1694055452000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": false,
    "table": "user",
    "ts": 1694055452852
  }]
}

Limitações

Revise estas restrições antes de criar sua tarefa de sincronização.

Restrições de escopo:

• O DTS suporta apenas a sincronização incremental de dados, sem suporte para sincronização completa.

• O DTS não suporta a sincronização entre regiões.

• O DTS não pode sincronizar dados dos bancos de dados admin, config ou local.

• O DTS não suporta o mapeamento de objetos.

• O DTS não retém informações de transação. As transações são convertidas em registros individuais no destino.

Restrições do banco de dados source:

• A source deve usar a arquitetura de cluster sharded, com no máximo 10 nós Mongos.

• A source não pode ser um cluster do Azure Cosmos DB for MongoDB ou um cluster elástico do Amazon DocumentDB.

• As coleções a serem sincronizadas devem ter restrições PRIMARY KEY ou UNIQUE e todos os campos devem ser únicos. Caso contrário, o banco de dados de destino poderá conter registros duplicados.

• Um único documento não pode exceder 16 MB. O DTS não grava documentos acima desse tamanho na função de destino, gerando um erro. Se necessário, use o recurso de extração, transformação e carga (ETL) para filtrar campos grandes.

• Sincronize até 1.000 coleções por tarefa. Para mais coleções, crie várias tarefas ou sincronize no nível do banco de dados.

• Não redimensione a instância source enquanto uma tarefa de sincronização estiver em execução.

• O DTS não pode se conectar a um banco de dados MongoDB por meio de um endpoint SRV.

• Se o balanceador do banco de dados source estiver ativo, a tarefa poderá sofrer atrasos.

• Se o banco de dados source for um banco de dados MongoDB autogerenciado que usa a arquitetura de cluster sharded, defina o parâmetro Access Method como Express Connect, VPN Gateway, or Smart Access Gateway ou Cloud Enterprise Network (CEN).

Restrições de gravação:

• Para operações INSERT, os dados inseridos devem conter chaves de shard.

• Não é possível modificar chaves de shard em operações UPDATE.

• Configure apenas uma tarefa do DTS por função de destino. Várias tarefas que gravam na mesma função podem causar erros de dados.

Requisitos de oplog e change stream:

• O oplog deve estar ativado e reter pelo menos 7 dias de dados de log, ou os change streams devem estar ativados para cobrir pelo menos os últimos 7 dias de alterações. Se nenhuma dessas condições for atendida, o DTS poderá falhar ao capturar as alterações da source, causando inconsistência ou perda de dados não coberta pelo acordo de nível de service (SLA) do DTS.

Restrições de change stream (se aplicável):

• Os change streams exigem o MongoDB 4.0 ou posterior.

• O DTS não suporta sincronização bidirecional ao usar change streams.

• Para clusters não elásticos do Amazon DocumentDB, use change streams: defina Migration Method como ChangeStream e Architecture como Sharded Cluster.

Novos bancos de dados:

• O DTS não sincroniza dados incrementais de bancos de dados criados após o início da tarefa de sincronização.

Operações suportadas

As operações capturadas dependem do método de migração.

Usando oplog (recomendado):

• CREATE COLLECTION, CREATE INDEX

• DROP DATABASE, DROP COLLECTION, DROP INDEX

• RENAME COLLECTION

• INSERT, UPDATE e DELETE no nível do documento

Usando change streams:

• DROP DATABASE, DROP COLLECTION

• RENAME COLLECTION

• INSERT, UPDATE e DELETE no nível do documento

Faturamento

A sincronização incremental de dados é cobrada. Para detalhes de preços, consulte Billing overview.

O DTS cobra pela instância durante os períodos de tentativa de reconexão.

Pré-requisitos

Antes de começar, certifique-se de ter:

• Uma instância de cluster sharded do ApsaraDB for MongoDB em execução. Consulte Create a sharded cluster instance

• Um service e uma função do Function Compute, com Handler Type definido como Event Handler. Consulte Crie rapidamente uma função

• Uma conta de banco de dados na instância source do ApsaraDB for MongoDB com permissões de leitura nos bancos de dados source, admin e local. Consulte Manage the permissions of MongoDB database users

  Nota

  Se você usar ChangeStream como método de sincronização incremental, a conta do banco de dados source requer permissões de leitura de Change Streams em toda a instância (como readAnyDatabase). Se a source for uma instância do ApsaraDB for MongoDB com uma conta personalizada, você também deve conceder à conta permissão de leitura no banco de dados admin. Para obter detalhes, consulte Permissions of the root account specified during instance creation.

Crie uma tarefa de sincronização

Próximos passos

• Escreva o manipulador de eventos do Function Compute para processar o payload Canal JSON. Use o campo isDdl para ramificar a lógica entre DDL e DML e desserialize a string doc em cada elemento data para acessar os campos do documento.

• Para reduzir a carga de documentos com campos grandes na sua função, configure filtros ETL antes que os dados cheguem à função. Consulte Configure ETL em uma tarefa de migração ou sincronização de dados.

• Para monitorar a integridade da sincronização, configure alertas em Advanced Settings ou após a criação da tarefa. Consulte Configure monitoramento e alertas ao criar uma tarefa do DTS.

• Se uma tarefa falhar, o suporte técnico do DTS tentará restaurá-la em até 8 horas. Durante a restauração, o DTS pode reiniciar a tarefa e ajustar os parâmetros da tarefa (não os parâmetros do banco de dados). Para obter uma lista de parâmetros modificáveis, consulte Modifique parâmetros da instância.