Data Transmission Service (DTS) le permite ejecutar una migración completa única desde un proyecto de MaxCompute hacia una instancia de ApsaraDB RDS for MySQL. Este proceso abarca tanto la migración del esquema como la de los datos. DTS no admite la migración incremental desde MaxCompute; detenga todas las escrituras en el proyecto de origen antes de iniciar la tarea.
Tipos de migración compatibles
|
Tipo de migración |
Compatible |
|
Migración de esquemas |
Sí |
|
Migración completa de datos |
Sí |
|
Migración incremental de datos |
No |
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Un par de AccessKey creado en la cuenta de Alibaba Cloud propietaria del proyecto de MaxCompute. Consulte Create an AccessKey pair.
La lista blanca de direcciones IP de MaxCompute configurada para permitir el acceso de DTS. Consulte Configure an IP address whitelist to allow access from Alibaba Cloud services to MaxCompute.
Una instancia de destino de ApsaraDB RDS for MySQL con almacenamiento suficiente y una cuenta de base de datos que tenga permisos de lectura y escritura. Consulte Create an account y Modify account permissions.
Facturación
|
Tipo de migración |
Tarifa de configuración de la tarea |
Tarifa de transferencia de datos |
|
Migración de esquemas y migración completa de datos |
Gratuita |
Gratuita en este ejemplo. Las tarifas aplican únicamente cuando los datos se transfieren desde Alibaba Cloud a través de Internet. Consulte Billing overview. |
Límites
Sin migración incremental. DTS solo admite la migración completa de datos desde MaxCompute. No escriba datos nuevos en el proyecto de origen después de iniciar la tarea, ya que la información escrita posteriormente no se migrará y provocará inconsistencias.
Riesgo de registros duplicados. MaxCompute no admite restricciones de clave primaria. Si ocurren errores de red y DTS reintenta la tarea, es posible que se escriban registros duplicados en las tablas de destino que carezcan de claves primarias.
Riesgo por reanudación automática. Si una tarea de migración presenta errores, DTS la reanuda automáticamente. Detenga o libere la tarea antes de cambiar las cargas de trabajo a la base de datos de destino. De lo contrario, la tarea reanudada sobrescribirá los datos que ya existan en el destino.
Inconsistencia de esquemas. MaxCompute y ApsaraDB RDS for MySQL son bases de datos heterogéneas. Por ello, DTS no garantiza la consistencia del esquema tras finalizar la migración. Evalúe el impacto de la conversión de tipos de datos antes de iniciar el proceso. Consulte Data type mappings between heterogeneous databases.
-
Crecimiento del tablespace de destino. Las operaciones INSERT simultáneas durante la migración completa generan fragmentación en las tablas de destino. Al terminar la migración, el tablespace de destino será más grande que el de origen. Ejecute
ANALYZE TABLEuOPTIMIZE TABLEpara recuperar espacio.NotaOPTIMIZE TABLEbloquea la tabla durante su ejecución. Prográmelo fuera del horario de mayor actividad. Impacto en el rendimiento. Durante la migración, DTS consume recursos de lectura y escritura tanto en el origen como en el destino. Ejecute las migraciones fuera del horario de mayor actividad, cuando la utilización de CPU en ambas bases de datos sea inferior al 30 %.
Nombres en la base de datos de destino. DTS crea automáticamente la base de datos de destino. Si el nombre de la base de datos de origen no cumple con las convenciones de nomenclatura de ApsaraDB RDS for MySQL, cree la base de datos de destino manualmente antes de configurar la tarea de migración. Consulte Crear cuentas y bases de datos.
Migrar datos
Paso 1: Ir a la página Data Migration Tasks
Inicie sesión en la consola de Data Management (DMS).
En la barra de navegación superior, haga clic en DTS.
-
En el panel de navegación izquierdo, elija DTS (DTS) > Data Migration.
NotaLos pasos pueden variar según el modo y el diseño de la consola de DMS. Consulte Modo simple y Personalizar el diseño y el estilo de la consola de DMS. También puede ir directamente a la página Data Migration Tasks en la nueva consola de DTS.
Paso 2: Seleccionar la región
En la lista desplegable junto a Data Migration Tasks, seleccione la región donde reside la instancia de migración.
En la nueva consola de DTS, seleccione la región en la esquina superior izquierda.
Paso 3: Crear una tarea de migración
Haga clic en Create Task.
-
Opcional: En la esquina superior derecha, haga clic en New Configuration Page para cambiar a la nueva página de configuración.
NotaOmita este paso si en su lugar se muestra Back to Previous Version. Se recomienda usar la nueva página de configuración.
Paso 4: Configurar las bases de datos de origen y de destino
Configure a continuación los parámetros de las bases de datos de origen y de destino.
Base de datos de origen (MaxCompute)
|
Parámetro |
Descripción |
|
Task Name |
Nombre de la tarea. DTS asigna uno automáticamente. Especifique un nombre descriptivo para identificarla fácilmente. No es necesario que sea único. |
|
Select a DMS database instance |
Seleccione una instancia de base de datos de DMS existente o configure manualmente los parámetros de la base de datos de origen. Si elige una instancia existente, DTS completará automáticamente el resto de los parámetros. |
|
Database Type |
Seleccione MaxCompute. |
|
Access Method |
Seleccione Alibaba Cloud Instance. |
|
Instance Region |
Región donde reside el proyecto de MaxCompute de origen. |
|
Project |
Nombre del proyecto de MaxCompute de origen. |
|
AccessKey ID of Alibaba Cloud Account |
AccessKey ID de la cuenta de Alibaba Cloud propietaria del proyecto de MaxCompute. |
|
AccessKey Secret of Alibaba Cloud Account |
AccessKey secret de la cuenta de Alibaba Cloud propietaria del proyecto de MaxCompute. |
Base de datos de destino (ApsaraDB RDS for MySQL)
|
Parámetro |
Descripción |
|
Select a DMS database instance |
Seleccione una instancia de base de datos de DMS existente o configure manualmente los parámetros de la base de datos de destino. |
|
Database Type |
Seleccione MySQL. |
|
Access Method |
Seleccione Alibaba Cloud Instance. |
|
Instance Region |
Región donde reside la instancia de destino de ApsaraDB RDS for MySQL. |
|
Replicate Data Across Alibaba Cloud Accounts |
Seleccione No para usar una instancia de la cuenta actual de Alibaba Cloud. |
|
RDS Instance ID |
ID de la instancia de destino de ApsaraDB RDS for MySQL. |
|
Database Account |
Cuenta de base de datos con permisos de lectura y escritura sobre la base de datos de destino. |
|
Database Password |
Contraseña de la cuenta de base de datos. |
Para registrar una base de datos en DMS, haga clic en Create Template en la consola de DMS. Consulte Registrar una instancia de base de datos de Alibaba Cloud y Registrar una base de datos alojada en un servicio de nube de terceros o una base de datos autogestionada. Para registrar una base de datos directamente en DTS, use la página Database Connections o la nueva página de configuración. Consulte Manage database connections.
Paso 5: Probar la conectividad
Haga clic en Test Connectivity and Proceed en la parte inferior de la página.
Si la base de datos de origen o de destino es una instancia de Alibaba Cloud, DTS añade automáticamente sus bloques CIDR de servidor a la lista blanca de direcciones IP de dicha instancia. Cuando la base de datos es autogestionada y está alojada en una instancia de Elastic Compute Service (ECS), DTS agrega automáticamente los bloques CIDR de los servidores de DTS a las reglas del security group de la instancia de ECS. En este caso, debe asegurarse de que la instancia de ECS pueda acceder a la base de datos. Si la base de datos autogestionada se aloja en varias instancias de ECS, añada manualmente los bloques CIDR de los servidores de DTS a las reglas del security group de cada instancia. Para las bases de datos autogestionadas alojadas en un centro de datos o proporcionadas por un servicio de nube de terceros, agregue manualmente los bloques CIDR de los servidores de DTS a la lista blanca de la base de datos. Consulte Bloques CIDR de los servidores de DTS.
Añadir los bloques CIDR de los servidores de DTS a la lista blanca de una base de datos o a las reglas de un security group de ECS implica riesgos de seguridad. Antes de usar DTS, tome las siguientes precauciones: fortalezca su nombre de usuario y contraseña, limite los puertos expuestos, autentique las llamadas a la API, revise periódicamente las listas blancas y las reglas de los security groups, y elimine los bloques CIDR no autorizados. Para lograr un aislamiento a nivel de red, conecte la base de datos a DTS mediante Express Connect, VPN Gateway o Smart Access Gateway.
Paso 6: Otorgar permisos y comprobar la conectividad
Haga clic en OK para otorgar a la cuenta integrada de DTS acceso al proyecto de MaxCompute y, a continuación, haga clic en Test Connectivity.
Paso 7: Seleccionar los objetos de migración
En la página Select Objects, configure a continuación los siguientes parámetros.
|
Parámetro |
Descripción |
|
Migration Types |
Seleccione tanto Schema Migration como Full Data Migration. |
|
Processing Mode of Conflicting Tables |
Precheck and Report Errors (predeterminado): comprueba si existen tablas con nombres idénticos en el origen y el destino. La comprobación previa falla si detecta conflictos, lo que impide iniciar la tarea. Para resolverlos, utilice la asignación de nombres de objetos y cambie el nombre de las tablas migradas. Ignore Errors and Proceed: omite la comprobación de nombres idénticos. Si el origen y el destino tienen el mismo esquema, se omiten los registros cuyas claves primarias coincidan. Si los esquemas difieren, solo se migrarán algunas columnas o la tarea fallará por completo. Úselo con precaución. |
|
Capitalization of Object Names in Destination Instance |
Política de uso de mayúsculas y minúsculas para los nombres de bases de datos, tablas y columnas en el destino. Valor predeterminado: DTS default policy. Consulte Especificar el uso de mayúsculas y minúsculas en los nombres de objetos. |
|
Source Objects |
Seleccione los proyectos o tablas que desea migrar y haga clic en el ícono de flecha para añadirlos a Selected Objects. |
|
Selected Objects |
Para cambiar el nombre de un solo objeto, haga clic derecho sobre él. Consulte Asignar el nombre de un solo objeto. Para renombrar varios objetos a la vez, haga clic en Batch Edit. Consulte Asignar varios nombres de objetos. Para filtrar datos por condición, haga clic derecho en la tabla y especifique las condiciones de filtrado. Consulte Set filter conditions. |
Si cambia el nombre de un objeto mediante la asignación de nombres, otros objetos dependientes podrían presentar errores durante la migración.
Paso 8: Configurar los ajustes avanzados
Haga clic en Next: Advanced Settings y configure a continuación los siguientes parámetros.
|
Parámetro |
Descripción |
|
Select the dedicated cluster used to schedule the task |
DTS utiliza un clúster compartido de forma predeterminada. Para mejorar la estabilidad de la migración, adquiera un clúster dedicado. Consulte Qué es un clúster dedicado de DTS. |
|
Retry Time for Failed Connections |
Tiempo durante el cual DTS reintenta una conexión con errores después de iniciar la tarea. Valores válidos: de 10 a 1440 minutos. Valor predeterminado: 720 minutos. Se recomienda establecer este parámetro en un valor mayor a 30. Si DTS se reconecta dentro de este periodo, la tarea se reanuda; de lo contrario, presentará errores. Si varias tareas comparten el mismo origen o destino, prevalecerá el valor establecido más recientemente. |
|
The wait time before a retry when other issues occur in the source and destination databases |
Tiempo de espera antes de reintentar las operaciones DML o DDL con errores. Valores válidos: de 1 a 1440 minutos. Valor predeterminado: 10 minutos. Se recomienda establecer este parámetro en un valor mayor a 10 y siempre inferior al valor de Retry Time for Failed Connections. |
|
Enable Throttling for Full Data Migration |
Limita el uso de recursos de lectura y escritura de DTS durante la migración completa para reducir la carga en el destino. Cuando esta opción está habilitada, configure QPS (queries per second) to the source database, RPS of Full Data Migration y Data migration speed for full migration (MB/s). Solo está disponible cuando se selecciona Full Data Migration. |
|
Environment Tag |
Etiqueta opcional para identificar la instancia de DTS. |
|
Configure ETL |
Indica si se habilita la extracción, transformación y carga (ETL). Seleccione Yesconfiguración de notificaciones de alerta para introducir instrucciones de procesamiento de datos. Consulte Configurar ETL. Seleccione No para omitir este paso. Para obtener una descripción general, consulte ¿Qué es ETL? |
|
Monitoring and Alerting |
Indica si se configuran alertas para la tarea de migración. Seleccione Yes para definir los umbrales de alerta y los contactos de notificación. Consulte Configurar el monitoreo y las alertas. |
Paso 9: Ejecutar la comprobación previa
Haga clic en Next: Save Task Settings and Precheck.
Para ver los parámetros de API que DTS utilizaría con esta configuración, pase el cursor sobre Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters.
DTS ejecuta una comprobación previa antes de iniciar la tarea de migración. La tarea solo puede comenzar si dicha comprobación se supera correctamente.
Si la comprobación previa presenta errores, haga clic en View Details junto a cada elemento con errores, corrija los problemas y vuelva a ejecutar la comprobación.
Si la comprobación previa genera una alerta, revísela antes de continuar. Si la alerta se puede ignorar sin riesgo, haga clic en Confirm Alert Details y luego en Ignore en el cuadro de diálogo. Confirme la acción y haga clic en Precheck Again.
Espere hasta que la tasa de éxito alcance el 100 % y haga clic en Next: Purchase Instance.
Paso 10: Adquirir una instancia de migración e iniciar la tarea
-
En la página Purchase Instance, configure a continuación los siguientes parámetros.
Sección Parámetro Descripción New Instance Class Resource Group Settings El resource group de la instancia de migración. Valor predeterminado: default resource group. Consulte ¿Qué es Resource Management? Instance Class La clase de instancia determina la velocidad de migración. Seleccione una clase según el volumen de datos y sus requisitos de rendimiento. Consulte Especificaciones de las instancias de migración de datos. Lea y acepte los Data Transmission Service (Pay-as-you-go) Service Terms.
Haga clic en Buy and Start para iniciar la tarea de migración. Supervise el progreso en la lista de tareas.
Pasos siguientes
Una vez finalizada la migración:
Compruebe la consistencia de los datos entre el proyecto de MaxCompute de origen y la instancia de destino de ApsaraDB RDS for MySQL.
Detenga o libere la tarea de migración de DTS antes de cambiar las cargas de trabajo a la base de datos de destino.
Si el tablespace de destino es considerablemente más grande que el de origen, ejecute
ANALYZE TABLEuOPTIMIZE TABLEpara recuperar espacio. ProgrameOPTIMIZE TABLEfuera del horario de mayor actividad para evitar bloqueos de tabla.