Data Transmission Service:Sincronización de datos de RDS for SQL Server a AnalyticDB for PostgreSQL

Límites de la base de datos de origen

• Las tablas deben tener una restricción PRIMARY KEY o UNIQUE, y todos sus campos deben ser únicos. Sin estas restricciones, la base de datos de destino podría contener registros duplicados. Para identificar las tablas que no cumplen este requisito, ejecute la siguiente consulta en la base de datos de origen:

  USE [your_database_name];
  SELECT SCHEMA_NAME(schema_id) AS schema_name, name AS table_name
  FROM sys.tables
  WHERE OBJECTPROPERTY(object_id, 'TableHasPrimaryKey') = 0
    AND OBJECTPROPERTY(object_id, 'TableHasUniqueCnst') = 0
  ORDER BY schema_name, table_name;

• Al sincronizar tablas con cambio de nombre en el destino, una sola tarea admite hasta 5,000 tablas. Si tiene más de 5,000 tablas, configure varias tareas o realice la sincronización a nivel de base de datos.

• Una sola tarea admite hasta 10 bases de datos de origen. Si tiene más de 10 bases de datos, configure varias tareas.

• DTS utiliza la función fn_log para leer los registros de la base de datos de origen. Esta función tiene límites de rendimiento; no elimine los registros antes de que finalice la tarea.

• Requisitos de registro de datos:

  • Establezca el modo de copia de seguridad en Full y realice una copia de seguridad física completa.

  • Para sincronización solo incremental: conserve los registros durante más de 24 horas.

  • Para sincronización completa más incremental: conserve los registros durante al menos 7 días. Una vez completada la sincronización completa, puede reducir el periodo de retención a más de 24 horas.

  • El incumplimiento de estos requisitos puede provocar errores en la tarea, inconsistencia de datos o pérdida de datos, situaciones que no están cubiertas por el acuerdo de nivel de servicio (SLA) de DTS.

• Para habilitar CDC en las tablas, se deben cumplir todas las siguientes condiciones:

  • El campo srvname en la vista sys.sysservers debe coincidir con el valor devuelto por la función SERVERPROPERTY.

  • SQL Server autogestionado: el propietario de la base de datos debe ser el usuario sa. ApsaraDB RDS for SQL Server: el propietario de la base de datos debe ser el usuario sqlsa.

  • Enterprise Edition: SQL Server 2008 o posterior.

  • Standard Edition: SQL Server 2016 SP1 o posterior.

  • Standard o Enterprise Edition con SQL Server 2017: actualice a una versión más reciente.

• Instancias de origen de solo lectura: no es posible sincronizar operaciones DDL.

• Instancias de ApsaraDB RDS for SQL Server que ejecutan Web Edition: establezca SQL Server Incremental Synchronization Mode en Incremental Synchronization Based on Logs of Source Database (Heap tables are not supported) al configurar la tarea.

• Orígenes de Azure SQL Database: una sola tarea solo puede sincronizar desde una única base de datos.

• Orígenes de ApsaraDB RDS for SQL Server: deshabilite Transparent Data Encryption (TDE) para garantizar la estabilidad de la tarea. Para obtener instrucciones, consulte Deshabilitar TDE.

• Durante la sincronización de esquemas y la sincronización completa de datos: no ejecute sentencias DDL que modifiquen los esquemas de la base de datos o de las tablas.

• Durante la sincronización completa de datos: utilice el nivel de aislamiento de transacciones READ_COMMITTED_SNAPSHOT en la base de datos de origen para evitar que los bloqueos compartidos impidan la escritura de datos. Si no se configura esto, pueden producirse inconsistencias en los datos o fallos en la instancia, lo cual no está cubierto por el SLA de DTS.

DTS crea automáticamente una cuenta llamada rdsdt_dtsacct en la instancia de origen de ApsaraDB RDS for SQL Server. No elimine esta cuenta ni cambie su contraseña mientras la tarea esté en ejecución. Para más detalles, consulte System accounts .

Límites de la sincronización de esquemas

• Tipos de objeto compatibles con la sincronización de esquemas: esquema, tabla, vista, función y procedimiento.

  Aviso

  SQL Server y AnalyticDB for PostgreSQL utilizan sistemas de tipos diferentes. La sincronización de esquemas puede fallar o causar pérdida de datos en algunos tipos. Revise Data type mappings for initial schema synchronization antes de continuar.

• Tipos de objeto no compatibles con la sincronización de esquemas: ensamblados, service brokers, índices de texto completo, catálogos de texto completo, esquemas distribuidos, funciones distribuidas, procedimientos almacenados CLR, funciones escalares CLR, funciones con valores de tabla CLR, tablas internas, tablas del sistema y funciones de agregado.

• Tipos de datos no compatibles: CURSOR, ROWVERSION, SQL_VARIANT, HIERARCHYID, POLYGON, GEOMETRY, GEOGRAPHY y tipos personalizados creados con CREATE TYPE.

• Las tablas con columnas calculadas no se sincronizan.

• Durante la sincronización de esquemas, DTS sincroniza las claves foráneas del origen al destino. Durante la sincronización completa e incremental de datos, DTS deshabilita temporalmente las comprobaciones de restricciones de clave foránea y las operaciones en cascada a nivel de sesión. Las actualizaciones y eliminaciones en cascada en el origen durante la sincronización pueden causar inconsistencia en los datos.

Límites de la sincronización incremental

DTS ofrece tres modos de sincronización incremental para SQL Server. Elija un modo según sus tipos de tabla y el entorno de la base de datos de origen.

Límites comunes a todos los modos de sincronización incremental:

• No escriba datos de otros orígenes en el destino durante la sincronización, ya que esto provoca inconsistencia en los datos.

• No se permiten operaciones de reindexación durante la sincronización incremental. Realizar reindexaciones puede causar fallos en la tarea y provocar pérdida de datos.

• DTS no puede sincronizar operaciones DDL relacionadas con cambios de clave primaria en tablas con CDC habilitado.

• Al modificar objetos sincronizados, no es posible eliminar bases de datos.

• Los módulos de recolección de datos incrementales de varias instancias de DTS que comparten una misma base de datos de origen SQL Server operan de forma independiente.

Modo de análisis híbrido basado en registros — límites adicionales:

• El trabajo de CDC en la base de datos de origen debe ejecutarse correctamente. De lo contrario, la tarea de DTS fallará.

• Agregar o eliminar varias columnas en la base de datos de origen dentro de un intervalo de 10 minutos provoca un error. Por ejemplo, ejecutar las siguientes sentencias en un lapso de 10 minutos desencadena un fallo en la tarea:

  ALTER TABLE test_table DROP COLUMN Flag;
  ALTER TABLE test_table ADD Remark nvarchar(50) not null default('');

• El componente CDC conserva los datos incrementales durante 3 días de forma predeterminada. Para cambiar el periodo de retención, ejecute el siguiente comando en la base de datos de origen:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> es el periodo de retención en minutos. Si el promedio diario de datos incrementales supera los 10 millones de filas, establezca <time> en 1440.

• Habilitar CDC a nivel de base de datos y de tabla provoca un bloqueo breve de la tabla (unos pocos segundos) en la base de datos de origen debido a restricciones de SQL Server.

• Mantenga el número de tablas con CDC habilitado por tarea en 1,000 o menos. De lo contrario, la tarea podría sufrir retrasos o inestabilidad.

• Establezca la tasa máxima de escritura en 1,000 registros por segundo para las tablas con CDC habilitado.

Modo de sondeo de CDC — límites adicionales:

• Requisitos de permisos de cuenta:

  • CDC a nivel de base de datos: requiere el rol sysadmin.

  • CDC a nivel de tabla: requiere una cuenta con privilegios.

  • Azure SQL Database (modelo vCore): todas las bases de datos admiten CDC.

  • Azure SQL Database (modelo DTU): CDC solo está disponible para el nivel de servicio S3 o superior.

  • Amazon RDS for SQL Server: CDC se puede habilitar mediante procedimientos almacenados a nivel de base de datos.

  • No es posible habilitar CDC para índices columnstore clúster.

• Máximo de 1,000 tablas por tarea. Exceder este límite causa retrasos o inestabilidad.

• El componente CDC conserva los datos incrementales durante 3 días de forma predeterminada. Para cambiar el periodo de retención, ejecute el siguiente comando en la base de datos de origen:

  exec console.sys.sp_cdc_change_job @job_type = 'cleanup', @retention = <time>;

  <time> es el periodo de retención en minutos. Si el promedio diario de datos incrementales supera los 10 millones de filas, establezca <time> en 1440.

• No ejecute sentencias DDL para agregar o eliminar columnas más de dos veces por minuto.

• No modifique instancias de CDC durante la sincronización. De lo contrario, la tarea podría fallar o producirse pérdida de datos.

• Habilitar CDC a nivel de base de datos y de tabla provoca un bloqueo breve de la tabla (unos pocos segundos) en la base de datos de origen debido a restricciones de SQL Server.

Datos de campos grandes:

Si un solo campo escrito en tablas con CDC habilitado supera los 64 KB (el máximo predeterminado de CDC), ejecute el siguiente comando en la base de datos de origen:

exec sp_configure 'max text repl size', -1;

Mapeo de clave primaria y clave de distribución:

• Si la tabla de origen tiene una clave primaria, la tabla de destino utiliza la misma columna de clave primaria.

• Si la tabla de origen no tiene clave primaria, la tabla de destino utiliza la clave de distribución como su clave primaria.

• La clave única de la tabla de destino (incluida la clave primaria) debe contener todas las columnas de la clave de distribución.

Si el número de tablas con CDC habilitado en una tarea excede el límite de DTS, la verificación previa fallará.

Paso 1: Ir a la página Data Synchronization Tasks

1. Inicie sesión en Data Management (DMS) console.

2. En la barra de navegación superior, haga clic en Data + AI.

3. En el panel de navegación izquierdo, vaya a DTS (DTS) > Data Synchronization.

También puede ir directamente a la página Data Synchronization Tasks . El diseño de la consola DMS puede variar; para más detalles, consulte Modo simple y Personalizar el diseño y estilo de la consola DMS .

Paso 2: Configurar las bases de datos de origen y destino

1. En el lado derecho de la página Data Synchronization Tasks, seleccione la región donde residirá su instancia de sincronización.

   En la nueva consola de DTS, seleccione la región en la barra de navegación superior.

2. Haga clic en Create Task.

3. Configure la base de datos de origen:

   Parámetro	Descripción
   Task Name	Se genera automáticamente. Especifique un nombre descriptivo para identificar fácilmente la tarea. El nombre no necesita ser único.
   Select an existing DMS database instance (opcional)	Seleccione una base de datos existente para que DTS complete automáticamente los parámetros siguientes, o configúrelos manualmente.
   Database Type	Seleccione SQL Server.
   Access Method	Seleccione Alibaba Cloud Instance.
   Instance Region	La región de la instancia de origen de ApsaraDB RDS for SQL Server.
   Replicate Data Across Alibaba Cloud Accounts	Seleccione No para sincronización dentro de la misma cuenta.
   RDS Instance ID	El ID de la instancia de origen.
   Database Account	La cuenta de la instancia de origen. Consulte Permisos requeridos.
   Database Password	La contraseña de la cuenta de la base de datos.

4. Configure la base de datos de destino:

   Parámetro	Descripción
   Select an existing DMS database instance (opcional)	Seleccione una base de datos existente para que DTS complete automáticamente los parámetros siguientes, o configúrelos manualmente.
   Database Type	Seleccione AnalyticDB for PostgreSQL.
   Access Method	Seleccione Alibaba Cloud Instance.
   Instance Region	La región de la instancia de destino de AnalyticDB for PostgreSQL.
   Instance ID	El ID de la instancia de destino.
   Database Name	El nombre de la base de datos que recibirá los datos sincronizados.
   Database Account	La cuenta de la instancia de destino. Consulte Permisos requeridos.
   Database Password	La contraseña de la cuenta de la base de datos.

5. Haga clic en Test Connectivity and Proceed. DTS agrega automáticamente sus bloques CIDR de servidor a la lista de permitidos de las instancias de bases de datos de Alibaba Cloud y a las reglas de security group de las instancias de Elastic Compute Service (ECS) que alojan bases de datos autogestionadas. Para bases de datos autogestionadas en centros de datos locales o alojadas por proveedores de nube externos, agregue manualmente los bloques CIDR del servidor DTS. Para consultar la lista completa de bloques CIDR, véase Bloques CIDR de servidores DTS.

   Aviso

   Agregar bloques CIDR de servidores DTS a una lista de permitidos o a un security group introduce riesgos de seguridad. Antes de continuar, tome medidas preventivas como reforzar las credenciales, restringir los puertos expuestos, auditar las llamadas a la API, revisar periódicamente las reglas de la lista de permitidos y considerar opciones de conectividad privada como Express Connect, VPN Gateway o Smart Access Gateway.

Paso 3: Configurar objetos y ajustes de sincronización

Paso 4: Configurar ajustes avanzados

Haga clic en Next: Advanced Settings para configurar las siguientes opciones.

Para habilitar la verificación de datos una vez completada la sincronización, consulte Configurar una tarea de verificación de datos.

Paso 5: Configurar campos de base de datos y tablas (opcional)

Haga clic en Next: Configure Database and Table Fields para establecer el Type, la Primary Key Column y la Distribution Key de cada tabla sincronizada hacia AnalyticDB for PostgreSQL.

Este paso solo está disponible cuando se selecciona Schema Synchronization. Establezca Definition Status en All para ver y editar todas las tablas.

Especifique varias columnas en el campo Primary Key Column para formar una clave primaria compuesta. Una o más columnas de clave primaria también deben designarse como columnas de Distribution Key . Para más detalles, consulte Manage tables y Define table distribution .

Paso 6: Ejecutar la verificación previa

Haga clic en Next: Save Task Settings and Precheck.

Para previsualizar los parámetros de la API correspondientes a esta configuración de tarea, pase el cursor sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters .

DTS ejecuta una verificación previa antes de que la tarea pueda iniciarse.

• Si la verificación previa falla, haga clic en View Details junto a cada elemento fallido, corrija el problema y vuelva a ejecutar la verificación previa.

• Si se activa una alerta:

  • Para alertas que no se pueden ignorar: corrija el problema y vuelva a ejecutar la verificación previa.

  • Para alertas que se pueden ignorar: haga clic en Confirm Alert Details, luego haga clic en Ignore en el cuadro de diálogo View Details, haga clic en OK y finalmente en Precheck Again. Ignorar alertas puede causar inconsistencia en los datos.

Paso 7: Adquirir una instancia de sincronización

Espere hasta que Success Rate alcance 100% y luego haga clic en Next: Purchase Instance.

Lea y acepte los Data Transmission Service (Pay-as-you-go) Service Terms, y luego haga clic en Buy and Start. En el cuadro de diálogo de confirmación, haga clic en OK.

Monitoree el progreso de la sincronización en la lista de tareas.