Data Transmission Service:Sincronización de datos desde una instancia de clúster fragmentado de ApsaraDB for MongoDB hacia una función de Function Compute

Datos que recibe la función

Cada invocación pasa un objeto con un arreglo Records. Cada elemento del arreglo representa un evento de cambio:

La función recibe dos categorías de operaciones:

• DDL: cambios de esquema, como CreateIndex, CreateCollection, DropIndex y DropCollection

• DML: cambios de datos, como INSERT, UPDATE y DELETE

db.createCollection("testCollection")

{
  "Records": [{
    "data": [{"doc": "{\"create\": \"testCollection\", \"idIndex\": {\"v\": 2, \"key\": {\"_id\": 1}, \"name\": \"_id_\"}}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056437000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "testCollection",
    "ts": 1694056437510
  }]
}

db.testCollection.drop()

{
  "Records": [{
    "data": [{"doc": "{\"drop\": \"testCollection\"}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056577000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "testCollection",
    "ts": 1694056577789
  }]
}

db.testCollection.createIndex({name: 1})

{
  "Records": [{
    "data": [{"doc": "{\"createIndexes\": \"testCollection\", \"v\": 2, \"key\": {\"name\": 1}, \"name\": \"name_1\"}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056670000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "testCollection",
    "ts": 1694056670719
  }]
}

db.testCollection.dropIndex({name: 1})

{
  "Records": [{
    "data": [{"doc": "{\"dropIndexes\": \"testCollection\", \"index\": \"name_1\"}"}],
    "pkNames": ["_id"],
    "type": "DDL",
    "es": 1694056817000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": true,
    "table": "$cmd",
    "ts": 1694056818035
  }]
}

// Batch insert
db.runCommand({insert: "user", documents: [{"name": "jack", "age": 20}, {"name": "lili", "age": 20}]})

// Single insert
db.user.insert({"name": "jack", "age": 20})

{
  "Records": [
    {
      "data": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}, \"name\": \"jack\", \"age\": 20}"}],
      "pkNames": ["_id"],
      "type": "INSERT",
      "es": 1694054783000,
      "database": "MongoDBTest",
      "id": 0,
      "isDdl": false,
      "table": "user",
      "ts": 1694054784427
    },
    {
      "data": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}, \"name\": \"lili\", \"age\": 20}"}],
      "pkNames": ["_id"],
      "type": "INSERT",
      "es": 1694054783000,
      "database": "MongoDBTest",
      "id": 0,
      "isDdl": false,
      "table": "user",
      "ts": 1694054784428
    }
  ]
}

db.user.update({"name": "jack"}, {$set: {"age": 30}})

{
  "Records": [{
    "data": [{"doc": "{\"$set\": {\"age\": 30}}"}],
    "pkNames": ["_id"],
    "old": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}}"}],
    "type": "UPDATE",
    "es": 1694054989000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": false,
    "table": "user",
    "ts": 1694054990555
  }]
}

db.user.remove({"name": "jack"})

{
  "Records": [{
    "data": [{"doc": "{\"_id\": {\"$oid\": \"64f9397f6e255f74d65a****\"}}"}],
    "pkNames": ["_id"],
    "type": "DELETE",
    "es": 1694055452000,
    "database": "MongoDBTest",
    "id": 0,
    "isDdl": false,
    "table": "user",
    "ts": 1694055452852
  }]
}

Límites

Revise estas restricciones antes de crear la tarea de sincronización.

Restricciones de alcance:

• Solo se admite la sincronización incremental de datos. No se admite la sincronización completa de datos.

• No se admite la sincronización entre regiones.

• DTS no puede sincronizar datos de las bases de datos admin, config ni local.

• No se admite la asignación de objetos.

• No se conserva la información de transacciones. Las transacciones se convierten en registros individuales en el destino.

Restricciones de la base de datos de origen:

• El origen debe usar la arquitectura de clúster fragmentado, con un máximo de 10 nodos Mongos.

• El origen no puede ser un clúster de Azure Cosmos DB for MongoDB ni un clúster elástico de Amazon DocumentDB.

• Las colecciones que se van a sincronizar deben tener restricciones PRIMARY KEY o UNIQUE, y todos los campos deben ser únicos. De lo contrario, la base de datos de destino podría contener registros de datos duplicados.

• Un solo documento no puede superar los 16 MB. Los documentos que excedan este tamaño no se pueden escribir en la función de destino y generan un error. Si es necesario, utilice la función de extracción, transformación y carga (ETL) para filtrar campos grandes.

• Se pueden sincronizar hasta 1,000 colecciones por tarea. Para más colecciones, cree varias tareas o sincronice a nivel de base de datos.

• No se puede escalar la instancia de origen mientras se ejecuta una tarea de sincronización.

• DTS no puede conectarse a una base de datos MongoDB mediante un endpoint SRV.

• Si el balanceador de la base de datos de origen está activo, la tarea podría experimentar retrasos.

• Si la base de datos de origen es una base de datos MongoDB autogestionada con arquitectura de clúster fragmentado, establezca el parámetro Access Method en Express Connect, VPN Gateway, or Smart Access Gateway o Cloud Enterprise Network (CEN).

Restricciones de escritura:

• En las operaciones INSERT, los datos que se insertan deben contener claves de fragmentación.

• En las operaciones UPDATE, no se pueden modificar las claves de fragmentación.

• Configure solo una tarea de DTS por función de destino. Varias tareas que escriban en la misma función pueden causar errores de datos.

Requisitos de oplog y change stream:

• El oplog debe estar habilitado y conservar al menos 7 días de datos de registro, O BIEN los change streams deben estar habilitados para cubrir al menos los últimos 7 días de cambios. Si no se cumple ninguna de estas condiciones, DTS podría no capturar los cambios del origen, lo que puede provocar inconsistencia o pérdida de datos no cubierta por el acuerdo de nivel de servicio (SLA) de DTS.

Restricciones de change stream (si aplica):

• Los change streams requieren MongoDB 4.0 o posterior.

• No se admite la sincronización bidireccional cuando se usan change streams.

• Para clústeres no elásticos de Amazon DocumentDB, use change streams: establezca Migration Method en ChangeStream y Architecture en Sharded Cluster.

Nuevas bases de datos:

• DTS no sincroniza datos incrementales de bases de datos creadas después de que inicia la tarea de sincronización.

Operaciones compatibles

Las operaciones capturadas dependen del método de migración.

Con oplog (recomendado):

• CREATE COLLECTION, CREATE INDEX

• DROP DATABASE, DROP COLLECTION, DROP INDEX

• RENAME COLLECTION

• INSERT, UPDATE y DELETE a nivel de documento

Con change streams:

• DROP DATABASE, DROP COLLECTION

• RENAME COLLECTION

• INSERT, UPDATE y DELETE a nivel de documento

Facturación

La sincronización incremental de datos tiene costo. Para obtener detalles sobre precios, consulte Billing overview.

DTS cobra por la instancia durante los períodos de reintento de conexión.

Requisitos previos

Antes de empezar, asegúrese de contar con lo siguiente:

• Una instancia de clúster fragmentado de ApsaraDB for MongoDB en ejecución. Consulte Create a sharded cluster instance

• Un servicio y una función de Function Compute, con Handler Type establecido en Event Handler. Consulte Crear rápidamente una función

• Una cuenta de base de datos en la instancia de ApsaraDB for MongoDB de origen con permisos de lectura en las bases de datos de origen, admin y local. Consulte Manage the permissions of MongoDB database users

  Nota

  Si utiliza ChangeStream como método de sincronización incremental, la cuenta de la base de datos de origen requiere permisos de lectura de Change Streams a nivel de instancia (como readAnyDatabase). Si el origen es una instancia de ApsaraDB for MongoDB con una cuenta personalizada, también debe otorgar a la cuenta permiso de lectura en la base de datos admin. Para obtener más información, consulte Permissions of the root account specified during instance creation.

Crear una tarea de sincronización

Pasos siguientes

• Escriba su controlador de eventos de Function Compute para procesar la carga útil Canal JSON. Utilice el campo isDdl para bifurcar entre la lógica DDL y DML, y deserialice la cadena doc en cada elemento data para acceder a los campos del documento.

• Para reducir la carga de documentos con campos grandes en su función, configure filtros ETL antes de que los datos lleguen a ella. Consulte Configurar ETL en una tarea de migración o sincronización de datos.

• Para monitorear el estado de la sincronización, configure alertas en Advanced Settings o después de crear la tarea. Consulte Configurar monitoreo y alertas al crear una tarea de DTS.

• Si una tarea falla, el soporte técnico de DTS intentará restaurarla en un plazo de 8 horas. Durante la restauración, la tarea podría reiniciarse y se podrían ajustar sus parámetros (no los de la base de datos). Para consultar la lista de parámetros que se pueden modificar, vea Modificar parámetros de instancia.