Synchronize a MySQL database to Redis - Data Transmission Service - Centro de documentación de Alibaba Cloud

Data Transmission Service (DTS) admite la sincronización de datos desde bases de datos MySQL, como MySQL autogestionado o RDS for MySQL, hacia Tair (Redis OSS-compatible). Esto reduce la carga en su base de datos relacional de backend y mejora la experiencia del usuario. En este tema se describe cómo sincronizar datos desde una instancia de RDS for MySQL hacia una instancia de Tair (Redis OSS-compatible).

Requisitos previos

Las tablas de la base de datos de origen que se van a sincronizar deben tener claves primarias.
Cree una instancia de destino de Tair (Redis OSS-compatible) con más espacio de almacenamiento del que utiliza la instancia de origen de RDS for MySQL. Para obtener más información, consulte Step 1: Create an instance.

Nota
Para conocer las versiones compatibles de las bases de datos de origen y de destino, consulte Synchronization solutions.

Notas

Tipo	Descripción
Límites de la base de datos de origen	No es posible sincronizar tablas sin claves primarias. Si sincroniza datos a nivel de tabla y necesita editar objetos, como asignar nombres de tablas o columnas, una sola tarea de sincronización admite un máximo de 1000 tablas. Si supera este límite, el sistema reporta un error después de que envíe la tarea. En ese caso, divida las tablas en varias tareas de sincronización o configure una tarea para sincronizar toda la base de datos. Registros binarios: ApsaraDB RDS for MySQL habilita el registro binario de forma predeterminada. Asegúrese de que el parámetro binlog_row_image esté establecido en full. De lo contrario, la comprobación previa falla y la tarea de sincronización no puede iniciar. Para consultar las instrucciones, vea Configure instance parameters. Importante Si su instancia de origen es una base de datos MySQL autogestionada, habilite el registro binario. Además, establezca binlog_format en row y binlog_row_image en full. Si su base de datos MySQL autogestionada es un clúster de doble primario, donde ambos nodos actúan como primario y secundario, habilite el parámetro log_slave_updates para que DTS capture todos los eventos del registro binario. Para consultar las instrucciones, vea Create an account and configure binary logging for a self-managed MySQL database. Los registros binarios locales de una instancia de ApsaraDB RDS for MySQL deben conservarse durante tres días como mínimo; se recomiendan siete días. En una base de datos MySQL autogestionada, conserve los registros binarios locales durante siete días como mínimo. De lo contrario, DTS podría no recuperar los registros binarios y la tarea fallaría. En casos extremos, esto provoca inconsistencia o pérdida de datos. Los problemas causados por periodos de retención de registros binarios inferiores a los que requiere DTS no están cubiertos por el SLA de DTS. Nota Para configurar el retention period de los registros binarios locales en una instancia de ApsaraDB RDS for MySQL, consulte Automatically delete local logs. Durante la fase de sincronización completa de datos, no ejecute operaciones DDL que modifiquen los esquemas de la base de datos o de las tablas. Si lo hace, la tarea de sincronización de datos fallará. Nota Durante la fase de sincronización completa de datos, DTS consulta la base de datos de origen. Esto genera bloqueos de metadatos que pueden impedir las operaciones DDL en dicha base de datos. Los datos generados por cambios que no se escriben en los registros binarios no se sincronizan con la base de datos de destino. Este es el caso de los datos restaurados a partir de copias de seguridad físicas o creados mediante operaciones en cascada. Nota Si esto ocurre, elimine la base de datos o la tabla afectada de los objetos de sincronización y vuelva a agregarla. Solo proceda así si su operación comercial lo permite. Para obtener más información, consulte Modify synchronization objects. Si su base de datos de origen es MySQL 8.0.23 o posterior y contiene columnas ocultas invisibles, es posible que DTS no lea dichas columnas. Esto puede provocar pérdida de datos. Nota Ejecute el comando `ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;` para hacer visible la columna oculta. Para obtener más información, consulte Invisible Columns.
Otros límites	Si Transparent Data Encryption (TDE) está habilitado en la instancia de destino, no es posible usar DTS para sincronizar datos. Si el destino se queda sin memoria, la expulsión de datos puede generar inconsistencias entre el origen y el destino. La directiva predeterminada maxmemory-policy de Tair (Redis OSS-Compatible) es volatile-lru, la cual no afecta la ejecución de la tarea, pero sí puede expulsar datos. Establezca la directiva de expulsión del destino en noeviction para evitar la pérdida de datos. Con esta directiva, las operaciones de escritura fallan y la tarea se detiene cuando se agota la memoria, pero no se expulsa ningún dato. Nota Data eviction policies in Redis. Durante la sincronización inicial completa de datos, DTS consume algunos recursos de las bases de datos de origen y de destino, lo que puede aumentar la carga del servidor de base de datos. Si su base de datos maneja mucho tráfico o las especificaciones del servidor son bajas, la presión sobre la base de datos aumenta e incluso el servicio podría dejar de estar disponible. Antes de sincronizar los datos, evalúe cuidadosamente el impacto. Ejecute la sincronización de datos fuera de las horas pico. Si la instancia de destino es una instancia de clúster y un shard alcanza su límite de memoria, o si la instancia de destino tiene espacio de almacenamiento insuficiente, la tarea de DTS falla con un error de falta de memoria (OOM). Durante la sincronización de DTS, no escriba datos en la base de datos de destino mediante métodos distintos a DTS. De lo contrario, se producirá una inconsistencia de datos entre las bases de datos de origen y de destino. Las operaciones realizadas en la instancia de Redis de origen o de destino durante la sincronización pueden interrumpir la tarea. Entre estas se incluyen el escalado, el cambio de especificaciones, la migración de zonas de disponibilidad o la modificación del endpoint o del puerto. Esto sucede porque DTS no puede obtener datos de registro continuos ni información de conexión correcta. Si esto ocurre, borre los datos sincronizados del destino antes de volver a configurar la tarea. Si durante la sincronización de datos ocurre alguna de las siguientes situaciones, es posible que los datos completos se vuelvan a sincronizar con el destino, lo cual puede causar inconsistencia de datos. Se produce una desconexión transitoria en la instancia de Redis de origen o de destino, lo que impide la transferencia de datos basada en puntos de interrupción. Ocurre un cambio de rol entre primario y secundario, o un failover, en la instancia de Redis de origen o de destino. El endpoint de la instancia de Redis de origen o de destino cambia. Se modifican los objetos de sincronización de la instancia de DTS. Si la función de cifrado permanente está habilitada en la instancia de RDS for MySQL, no se admite la sincronización completa de datos. Nota Las instancias de RDS for MySQL con TDE habilitado admiten la sincronización completa e incremental de datos. Si una tarea falla, el equipo de soporte de DTS intentará restaurarla en un plazo de ocho horas. Durante la restauración, es posible que reinicien la tarea o ajusten sus parámetros. Nota Solo se modifican los parámetros de la tarea de DTS, no los de la base de datos. Los parámetros que podrían ajustarse se enumeran en Modify instance parameters.
Casos especiales	Para una base de datos de origen MySQL autogestionada: Si durante la sincronización ocurre un cambio de rol entre primario y secundario en la base de datos de origen, la tarea falla. DTS calcula la latencia al comparar la marca de tiempo del último registro sincronizado con la hora actual. Si no se ejecutan operaciones DML durante mucho tiempo en la base de datos de origen, el reporte de latencia puede volverse impreciso. Si la latencia parece demasiado alta, ejecute una operación DML en la base de datos de origen para actualizarla. Nota Si selecciona una base de datos completa para la sincronización, cree una tabla de latidos. Actualice esta tabla o escriba en ella cada segundo. DTS ejecuta periódicamente el comando CREATE DATABASE IF NOT EXISTS `test` en la base de datos de origen para avanzar el desplazamiento del registro binario. Si su base de datos de origen es Amazon Aurora MySQL u otra instancia de MySQL en clúster, asegúrese de que el nombre de dominio o la dirección IP utilizados en la configuración de la tarea apunten siempre a un nodo de lectura y escritura (RW). Lo mismo aplica para su resolución DNS. De lo contrario, la sincronización podría fallar. Para una base de datos de origen ApsaraDB RDS for MySQL: Las instancias de solo lectura que no registran registros de transacciones no pueden funcionar como bases de datos de origen. Un ejemplo son las instancias de solo lectura de ApsaraDB RDS for MySQL 5.6. DTS ejecuta periódicamente el comando CREATE DATABASE IF NOT EXISTS `test` en la base de datos de origen para avanzar el desplazamiento del registro binario.

Facturación

Tipo de sincronización	Precio
Sincronización de esquemas y sincronización completa de datos	Sin costo.
Sincronización incremental de datos	Con costo. Para obtener más información, consulte Billing overview.

Comandos SQL para la sincronización incremental

Tipo de operación	Comandos SQL
DML	INSERT, UPDATE, DELETE

Permisos de las cuentas de base de datos

Base de datos	Permisos obligatorios	Método de creación y autorización
Origen: RDS for MySQL	Permisos de lectura sobre los objetos que se van a sincronizar.	Consulte Create a database account for an ApsaraDB RDS for MySQL instance y Modify the permissions of a database account for an ApsaraDB RDS for MySQL instance.
Destino: Tair (Redis OSS-compatible)	Permisos de lectura y escritura sobre la instancia.	Consulte Create and manage a database account.

Procedimiento

Vaya a la página de lista de tareas de sincronización de la región de destino. Para ello, utilice uno de los dos métodos siguientes:
Desde la consola de DTS
1. Inicie sesión en la consola de Data Transmission Service (DTS).
2. En el panel de navegación izquierdo, haga clic en Data Synchronization.
3. En la esquina superior izquierda de la página, seleccione la región donde se encuentra la instancia de sincronización.
Desde la consola de DMS

Nota
Las operaciones reales pueden variar según el modo y el diseño de la consola de DMS. Para obtener más información, consulte Simple mode y Customize the layout and style of the DMS interface.
1. Inicie sesión en Data Management (DMS).
2. En la barra de menú superior, elija Data + AI > Data Transmission (DTS) > Data Synchronization.
3. A la derecha de Data Synchronization Tasks, seleccione la región donde se encuentra la instancia de sincronización.
Haga clic en Create Task para abrir la página de configuración de la tarea.

Configure las bases de datos de origen y de destino.

Categoría	Configuración	Descripción
Ninguna	Task Name	DTS genera automáticamente un nombre de tarea. Se recomienda especificar un nombre descriptivo para identificarla fácilmente. El nombre no tiene que ser único.
Source Database	Select Existing Connection	Para usar una instancia de base de datos que sea added to the system (recién creada o guardada), selecciónela en la lista desplegable. La información de la base de datos se configura automáticamente. Nota En la consola de DMS, este elemento de configuración se denomina Select a DMS database instance.. Si no ha agregado la instancia de base de datos al sistema, o si no necesita usar una instancia ya agregada, configure manualmente la siguiente información de la base de datos.
	Database Type	Seleccione MySQL.
	Access Method	Seleccione Alibaba Cloud Instance.
	Instance Region	Seleccione la región de la instancia de origen RDS for MySQL.
	Replicate Data Across Alibaba Cloud Accounts	Este ejemplo utiliza una instancia de base de datos que pertenece a la cuenta actual de Alibaba Cloud. Seleccione No.
	RDS Instance ID	Seleccione el ID de la instancia de origen RDS for MySQL.
	Database Account	Introduzca la cuenta de la base de datos para la instancia de origen RDS for MySQL. Para conocer los requisitos de permisos, consulte Permissions for database accounts.
	Database Password	Introduzca la contraseña correspondiente a la cuenta de la base de datos.
	Encryption	Seleccione Non-encrypted o SSL-encrypted según sus necesidades. Si selecciona SSL-encrypted, debe habilitar previamente el cifrado SSL para la instancia de RDS for MySQL. Para obtener más información, consulte Use a cloud certificate to quickly enable SSL encryption.
Destination Database	Select Existing Connection	Para usar una instancia de base de datos que sea added to the system (recién creada o guardada), selecciónela en la lista desplegable. La información de la base de datos se configura automáticamente. Nota En la consola de DMS, este elemento de configuración se denomina Select a DMS database instance.. Si no ha agregado la instancia de base de datos al sistema, o si no necesita usar una instancia ya agregada, configure manualmente la siguiente información de la base de datos.
	Database Type	Seleccione Tair/Redis.
	Access Method	Seleccione Alibaba Cloud Instance.
	Instance Region	Seleccione la región de la instancia de destino Tair (Redis OSS-compatible).
	Replicate Data Across Alibaba Cloud Accounts	Este ejemplo utiliza una instancia de base de datos que pertenece a la cuenta actual de Alibaba Cloud. Seleccione No.
	Instance ID	Seleccione el ID de la instancia de destino Tair (Redis OSS-compatible).
	Authentication Method	Seleccione un método de autenticación según sus necesidades. En este ejemplo, se selecciona Password Login. Nota Solo Redis 6.0 y versiones posteriores son compatibles con Account + Password Login. Si selecciona Secret-free login, asegúrese de que el acceso sin contraseña esté habilitado para la base de datos de Redis. Para obtener información sobre cómo habilitar el acceso sin contraseña en una instancia Tair (Redis OSS-Compatible), consulte Enable password-free access over a VPC.
	Database Password	Introduzca la contraseña para conectarse a la instancia de destino Tair (Redis OSS-compatible). Nota El formato de la contraseña es <user>:<password>. Por ejemplo, si el nombre de usuario personalizado de la instancia de Redis es `admin` y la contraseña es `Rp829dlwa`, introduzca `admin:Rp829dlwa`.

Una vez completada la configuración, haga clic en Test Connectivity and Proceed en la parte inferior de la página.
Nota
- Asegúrese de que los bloques CIDR de direcciones IP de los servidores de DTS estén agregados a la configuración de seguridad de las bases de datos de origen y de destino para permitir el acceso desde dichos servidores. Este proceso se puede hacer de forma automática o manual. Para obtener más información, consulte Add the IP address CIDR blocks of DTS servers to a whitelist.
- Si la base de datos de origen o de destino es autogestionada (donde Access Method no es Alibaba Cloud Instance), también debe hacer clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers.

Configure los objetos de la tarea.

En la página Configure Objects, configure los objetos que desea sincronizar.

Configuración	Descripción
Synchronization Types	Incremental Data Synchronization está seleccionado de forma predeterminada. Para sincronizar datos históricos, seleccione también Full Data Synchronization.
Processing Mode of Conflicting Tables	Precheck and Report Errors: comprueba si el destino está vacío. La comprobación previa se aprueba si el destino está vacío. Si el destino no está vacío, la comprobación previa falla, se reporta un error y el trabajo de sincronización de datos no se inicia. Ignore Errors and Proceed: omite la comprobación previa Check the existence of objects in the destination database.. Aviso Si selecciona Ignore Errors and Proceed, los datos de origen sobrescriben los datos de destino durante la sincronización cuando las claves de origen y de destino tienen el mismo nombre. Esto puede provocar la pérdida de datos en el destino. Seleccione esta opción con precaución.
Source Objects	En el cuadro Source Objects, haga clic en un objeto para sincronizarlo y, a continuación, haga clic en para moverlo al cuadro Selected Objects. Nota Puede seleccionar objetos a nivel de base de datos, tabla y columna.
Selected Objects	Para especificar una base de datos de Redis de destino, haga clic con el botón derecho en el esquema que desea sincronizar dentro del cuadro Selected Objects. Utilice la función de asignación para establecer los siguientes parámetros y, a continuación, haga clic en OK. Mapping Name of Redis/Tair Database (0 to 255): la base de datos en Redis que recibe los datos. Introduzca únicamente un número. Cache Mapping Mode: el formato de los datos después de sincronizarse con Redis. Pase el cursor sobre el icono junto a la opción para consultar la información. Cuando Cache Mapping Mode se establece en Key-Value Model Based on Database, Table, and Primary Key, también debe configurar Value Separation Method. Nota La función de asignación no es compatible con nombres de esquemas ni nombres de tablas. Para seleccionar las operaciones SQL que desea sincronizar a nivel de base de datos o de tabla, haga clic con el botón derecho en el objeto dentro del cuadro Selected Objects y seleccione las operaciones SQL deseadas en el cuadro de diálogo que aparece. Para establecer una cláusula WHERE que filtre los datos, haga clic con el botón derecho en la tabla dentro del cuadro Selected Objects y configure la condición de filtro en el cuadro de diálogo que aparece. Para ver las instrucciones, consulte Filter data.

Haga clic en Next: Advanced Settings para configurar los parámetros avanzados.

Configuración	Descripción
Dedicated Cluster for Task Scheduling	De forma predeterminada, DTS programa las tareas en un clúster compartido, por lo que no necesita seleccionar un clúster. Para obtener un rendimiento más estable, puede adquirir un clúster dedicado donde ejecutar las tareas de sincronización de DTS. Para obtener más información, consulte What is a DTS dedicated cluster?.
Retry Time for Failed Connections	Después de que se inicia una tarea de sincronización, si la conexión con la base de datos de origen o de destino falla, DTS reporta un error y comienza inmediatamente a reintentar la conexión. La duración predeterminada de reintento es de 720 minutos. También puede especificar una duración personalizada de entre 10 y 1440 minutos. Se recomienda establecer una duración de 30 minutos o más. Si DTS se reconecta correctamente a la base de datos dentro del tiempo especificado, la tarea de sincronización se reanuda automáticamente. De lo contrario, la tarea falla. Nota Si tiene varias instancias de DTS (por ejemplo, la Instancia A y la Instancia B) que comparten el mismo origen o destino, y configura el tiempo de reintento de red en 30 minutos para la Instancia A y en 60 minutos para la Instancia B, se utilizará la duración más corta de 30 minutos para ambas. Dado que DTS cobra por el tiempo de ejecución de la tarea durante el período de reintento de conexión, se recomienda personalizar la duración de reintento según sus necesidades comerciales. También puede liberar la instancia de DTS tan pronto como se liberen las instancias de las bases de datos de origen y de destino.
Retry Time for Other Issues	Después de que se inicia la tarea de sincronización, si ocurren otros problemas no relacionados con la conectividad en la base de datos de origen o de destino (como excepciones en la ejecución de DDL o DML), DTS reporta un error e inicia inmediatamente operaciones de reintento continuas. La duración predeterminada de reintento es de 10 minutos. También puede personalizar esta duración dentro de un rango de 1 a 1440 minutos. Se recomienda establecerla en 10 minutos o más. Si las operaciones correspondientes se ejecutan correctamente dentro de la duración de reintento configurada, la tarea de sincronización se reanuda automáticamente. De lo contrario, la tarea falla. Importante El valor de Retry Time for Other Issues debe ser menor que el de Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Durante la fase de sincronización completa, DTS consume recursos de lectura y escritura de las bases de datos de origen y de destino, lo que puede aumentar la carga de la base de datos. Para reducir la carga en las bases de datos de origen y de destino, puede establecer un límite de velocidad para la tarea de sincronización completa mediante la configuración de los parámetros Queries per second (QPS) to the source database, RPS of Full Data Migration y Data migration speed for full migration (MB/s). Nota Este elemento de configuración solo está disponible cuando Synchronization Types se establece en Full Data Synchronization. También puede adjust the full synchronization rate después de que la instancia de sincronización se esté ejecutando.
Enable Throttling for Incremental Data Synchronization	También puede establecer un límite de velocidad para la tarea de sincronización incremental. Para aliviar la presión sobre la base de datos de destino, configure RPS of Incremental Data Synchronization y Data synchronization speed for incremental synchronization (MB/s).
Cache Expiration Time	Establezca el tiempo de vida (TTL) de las claves después de que los datos se sincronicen con Redis, según sus necesidades. Importante Un valor de -1 significa que la clave nunca expira. Esto puede provocar que Redis se quede sin memoria y que la tarea falle.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Elija si desea escribir la información SQL de latido en la base de datos de origen mientras la instancia de DTS se está ejecutando. Yes: la información SQL de latido no se escribe en la base de datos de origen. Esto puede provocar que la instancia de DTS reporte un retraso. No: escribe la información SQL de latido en la base de datos de origen. Esto puede interferir con funciones como la copia de seguridad física y la clonación de la base de datos de origen.
Environment Tag	Puede seleccionar una etiqueta de entorno para identificar la instancia según sus necesidades. Para este ejemplo, no es necesario seleccionar ninguna etiqueta.
Configure ETL	Elija si desea habilitar la función de extracción, transformación y carga (ETL). Para obtener más información, consulte What is ETL? Valores válidos: Yes: habilita la función ETL. Introduzca las instrucciones de procesamiento de datos en el editor de código. Para obtener más información, consulte Configure ETL in a data migration or data synchronization task. No: deshabilita la función ETL.
Monitoring and Alerting	Especifique si desea configurar alertas. Si la sincronización falla o la latencia supera el umbral especificado, se envía una notificación a un contacto de alerta. No: no se configuran alertas. Yes: configura alertas estableciendo un umbral de alerta y especificando un notificación de alerta. Para obtener más información, consulte Configure monitoring and alerting during task configuration.

Guarde la tarea y ejecute una comprobación previa.
- Para consultar los parámetros de la API necesarios para configurar esta instancia, pase el cursor sobre el botón Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters en la burbuja emergente.
- Cuando termine de revisar los parámetros de la API, haga clic en Next: Save Task Settings and Precheck en la parte inferior de la página.
Nota
- Antes de que comience el trabajo de sincronización, DTS ejecuta una comprobación previa. El trabajo solo puede iniciarse después de que todos los elementos de la comprobación previa se aprueben.
- Si la comprobación previa falla, haga clic en View Details junto al elemento que falló. Corrija el problema siguiendo las indicaciones y vuelva a ejecutar la comprobación previa.
- Si la comprobación previa devuelve una advertencia:
  
  Si un elemento de comprobación falla y no se puede ignorar, haga clic en View Details junto al elemento. Siga las instrucciones para corregir el problema y vuelva a ejecutar la comprobación previa.
  
  Para los elementos de comprobación que se pueden ignorar, haga clic secuencialmente en Confirm Alert Details, Ignore, OK y Precheck Again para omitir la advertencia y volver a ejecutar la comprobación previa. Si decide ocultar el elemento de advertencia, podrían surgir problemas como inconsistencias en los datos que representen riesgos para su negocio.

Adquiera la instancia.

Cuando Success Rate sea del 100 %, haga clic en Next: Purchase Instance.

En la página Purchase, seleccione el método de facturación y la especificación de enlace para la instancia de sincronización de datos. A continuación se describen estos parámetros en detalle.

Categoría	Parámetro	Descripción
New Instance Class	Método de facturación	Subscription: paga al crear la instancia. Es adecuado para necesidades a largo plazo y resulta más rentable que pay-as-you-go. Cuanto mayor sea la duración de la suscripción, mayor será el descuento. Pay-as-you-go: se le cobra por hora. Es adecuado para necesidades a corto plazo. Puede liberar la instancia inmediatamente después de usarla para ahorrar costos.
	Configuración del resource group	El resource group al que pertenece la instancia. El valor predeterminado es default resource group. Para obtener más información, consulte What is Resource Management?.
	Especificación de enlace	DTS ofrece especificaciones de sincronización con distintos niveles de rendimiento. La especificación del enlace de sincronización afecta la velocidad de sincronización. Puede elegir una especificación según su escenario comercial. Para obtener más información, consulte Data synchronization link specifications.
	Duración de la suscripción	En el modo de suscripción, seleccione la duración y la cantidad para la instancia de suscripción. Puede elegir una suscripción mensual de 1 a 9 meses, o una suscripción anual de 1, 2, 3 o 5 años. Nota Esta opción solo está disponible cuando el método de facturación es Subscription.

Una vez completada la configuración, lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms.
Haga clic en Buy and Start. En el cuadro de diálogo OK, haga clic en OK.

Puede consultar el progreso de la tarea en la página Data Synchronization.