Puede utilizar Data Transmission Service (DTS) para migrar datos desde una instancia de ApsaraDB RDS for MySQL hacia un clúster de Elasticsearch en Alibaba Cloud.
Requisitos previos
Debe contar con una instancia de Elasticsearch de destino creada. Para obtener más información, consulte Create an Alibaba Cloud Elasticsearch instance.
Para una migración completa de datos, la instancia de destino debe tener más espacio de almacenamiento del que utiliza la base de datos de origen.
Limitaciones
DTS migra las claves externas durante la migración del esquema.
Durante la migración completa e incremental de datos, DTS deshabilita temporalmente las verificaciones de restricciones y las cascadas de claves externas a nivel de sesión. Las actualizaciones o eliminaciones en cascada en la base de datos de origen mientras se ejecuta la tarea pueden provocar inconsistencia en los datos.
Tipo | Descripción |
Limitaciones de la base de datos de origen |
|
Otras limitaciones |
|
Casos especiales |
|
Si un objeto de sincronización de DTS es un alias de índice en la instancia de Elasticsearch de destino, puede producirse inconsistencia de datos cuando cambie el índice real al que apunta el alias. Por ejemplo, al escribir datos, el alias de índice apunta al Índice A. Si posteriormente el alias pasa a apuntar al Índice B durante una operación de eliminación síncrona, los datos del Índice A no podrán eliminarse. Como consecuencia, los datos eliminados del origen seguirán siendo consultables en el destino.
Facturación
|
Tipo de migración |
Cargo por configuración de instancia |
Cargo por tráfico de Internet |
|
Migración de esquema y migración completa de datos |
Sin costo. |
Cuando el parámetro Access Method de la base de datos de destino se establece en Public IP Address, se cobra el tráfico de Internet. Para obtener más información, consulte Billing overview. |
|
Migración incremental de datos |
Con costo. Para obtener más información, consulte Billing overview. |
Tipos de migración
-
Migración de esquema
DTS migra las definiciones de esquema de los objetos de migración desde la base de datos de origen hacia la base de datos de destino.
-
Migración completa
DTS migra todos los datos históricos de los objetos de migración especificados desde la base de datos de origen hacia la base de datos de destino.
-
Migración incremental
Una vez completada la migración completa, DTS migra las actualizaciones incrementales de datos desde la base de datos de origen hacia la base de datos de destino. La migración incremental permite migrar datos sin problemas y sin interrumpir sus aplicaciones autogestionadas.
Operaciones SQL compatibles para la migración incremental
Tipo | Sentencia SQL |
DML | INSERT, UPDATE y DELETE Nota El uso de una sentencia UPDATE para eliminar una columna no es una operación compatible. |
Permisos de cuentas de base de datos
Base de datos | Migración de esquema | Migración completa de datos | Migración incremental de datos | Acciones |
Instancia de ApsaraDB RDS for MySQL | Privilegio | Privilegio | Privilegios | |
Clúster de Elasticsearch | La cuenta de la base de datos (generalmente | |||
Asignación de tipos de datos
-
Una base de datos de origen y una instancia de Elasticsearch admiten distintos tipos de datos que no siempre pueden asignarse directamente. Durante la inicialización de la estructura, DTS asigna los tipos de datos según los admitidos por la instancia de Elasticsearch de destino. Para obtener más información, consulte Data type mapping for structure initialization.
NotaDurante el proceso de migración de esquema de DTS, este no establece el parámetro
dynamicenmapping. El comportamiento de este parámetro depende de la configuración de su instancia de Elasticsearch. Si sus datos de origen son de tipo JSON, debe asegurarse de que, para una clave específica, sus valores correspondientes tengan el mismo tipo de dato en todas las filas de una tabla. De lo contrario, DTS podría presentar problemas de sincronización. Para obtener más información, consulte dynamic. -
La asignación entre Elasticsearch y una base de datos relacional varía según la versión de Elasticsearch.
ImportanteA partir de Elasticsearch 7.0, un índice ya no admite múltiples tipos, y los tipos se eliminaron por completo en Elasticsearch 8.0. De forma predeterminada, cuando configura una tarea de sincronización o migración, DTS asigna una tabla de una base de datos relacional a un índice en Elasticsearch. Puede modificar esta asignación al configurar los objetos a sincronizar o migrar.
Elasticsearch 7.0 y posteriores
Elasticsearch
Base de datos relacional
index
table
document
row
field
column
mapping
schema
Versiones anteriores a Elasticsearch 7.0
Elasticsearch
Base de datos relacional
index
database
type
table
document
row
field
column
mapping
schema
Procedimiento
-
Vaya a la página de lista de tareas de migración de la región de destino mediante uno de los siguientes métodos.
Desde la consola de DTS
Inicie sesión en la consola de Data Transmission Service (DTS).
En el panel de navegación izquierdo, haga clic en Data Migration.
En la esquina superior izquierda de la página, seleccione la región donde se encuentra la instancia de migración.
Desde la consola de DMS
NotaLas operaciones reales pueden variar según el modo y el diseño de la consola de DMS. Para obtener más información, consulte Simple mode console y Customize the layout and style of the DMS console.
Inicie sesión en la consola de Data Management (DMS).
En la barra de menú superior, vaya a .
A la derecha de Data Migration Tasks, seleccione la región donde se encuentra la instancia de migración.
Haga clic en Create Task para ir a la página de configuración de la tarea.
-
Configure las bases de datos de origen y de destino.
Categoría
Parámetro
Descripción
N/A
Task Name
DTS genera automáticamente un nombre de tarea. Se recomienda especificar un nombre descriptivo para facilitar su identificación. El nombre no tiene que ser único.
Source Database
Select Existing Connection
Para usar una instancia de base de datos que ya ha sido added to the system (creada o guardada), seleccione la instancia deseada en la lista desplegable. La información de la base de datos se configurará automáticamente a continuación.
NotaEn la consola de DMS, este parámetro se denomina Select a DMS database instance..
Si no ha registrado la instancia de base de datos en el sistema, o si no necesita usar una instancia registrada, configure manualmente la información de la base de datos a continuación.
Database Type
Seleccione MySQL.
Connection Type
Seleccione Alibaba Cloud Instance.
Instance Region
Seleccione la región donde se encuentra la instancia de origen de ApsaraDB RDS for MySQL.
Replicate Data Across Alibaba Cloud Accounts
Para migrar datos dentro de la misma cuenta de Alibaba Cloud, seleccione No.
RDS Instance ID
Seleccione el ID de la instancia de origen de ApsaraDB RDS for MySQL.
Database Account
Introduzca la cuenta de la base de datos para la instancia de origen de ApsaraDB RDS for MySQL. Para obtener información sobre los permisos obligatorios, consulte Permissions required for database accounts.
Database Password
Introduzca la contraseña correspondiente a la cuenta de la base de datos.
Encryption
Seleccione Non-encrypted o SSL-encrypted según sea necesario. Si selecciona SSL-encrypted, debe habilitar previamente el cifrado SSL para la instancia de RDS for MySQL. Para obtener más información, consulte Use a cloud certificate to quickly enable SSL encryption.
Destination Database
Select Existing Connection
Para usar una instancia de base de datos que ya ha sido added to the system (creada o guardada), seleccione la instancia deseada en la lista desplegable. La información de la base de datos se configurará automáticamente a continuación.
NotaEn la consola de DMS, este parámetro se denomina Select a DMS database instance..
Si no ha registrado la instancia de base de datos en el sistema, o si no necesita usar una instancia registrada, configure manualmente la información de la base de datos a continuación.
Database Type
Seleccione Elasticsearch.
Connection Type
Seleccione Alibaba Cloud Instance.
Instance Region
Seleccione la región donde se encuentra la instancia de destino de Elasticsearch.
Type
Seleccione Cluster Edition o Serverless según sus requisitos.
Instance ID
Seleccione el ID de la instancia de destino de Elasticsearch.
Database Account
Introduzca la cuenta utilizada para conectarse a la instancia de Elasticsearch. Esta es la cuenta de Username que especificó al crear la instancia. La cuenta predeterminada es elastic.
Database Password
Introduzca la contraseña correspondiente a la cuenta de la base de datos.
Encryption
Seleccione HTTP o HTTPS según sea necesario.
-
Una vez completada la configuración, haga clic en Test Connectivity and Proceed en la parte inferior de la página.
NotaAsegúrese de que el segmento de dirección IP del servicio DTS se agregue automática o manualmente a la configuración de seguridad de las bases de datos de origen y de destino para permitir el acceso desde los servidores de DTS. Para obtener más información, consulte Add DTS server IP addresses to a whitelist.
Si la base de datos de origen o de destino es una base de datos autogestionada (el Access Method no es Alibaba Cloud Instance), también debe hacer clic en Test Connectivity en el cuadro de diálogo CIDR Blocks of DTS Servers que aparece.
-
Configure los objetos de la tarea.
-
En la página Configure Objects, configure los objetos que desea migrar.
Parámetro
Descripción
Migration Types
Si solo necesita realizar una migración completa, seleccione tanto Schema Migration como Full Data Migration.
Para realizar una migración sin tiempo de inactividad, seleccione Schema Migration, Full Data Migration y Incremental Data Migration.
NotaSi no selecciona Schema Migration, debe asegurarse de que existan una base de datos y tablas para recibir los datos en la base de datos de destino. También puede usar la función de asignación de nombres de objetos en el cuadro Selected Objects según sea necesario.
Si no selecciona Incremental Data Migration, no escriba nuevos datos en la instancia de origen durante la migración de datos para garantizar la coherencia de los datos.
Processing Mode for Existing Tables in Destination
Precheck and Report Errors: Comprueba si existen tablas con los mismos nombres en la base de datos de destino. Si no existen tablas con los mismos nombres, la comprobación previa se supera correctamente. Si existen tablas con los mismos nombres, se notifica un error durante la comprobación previa y la tarea de migración de datos no se inicia.
NotaSi una tabla en la base de datos de destino tiene el mismo nombre pero no se puede eliminar o renombrar fácilmente, puede cambiar el nombre de la tabla en la base de datos de destino. Para obtener más información, consulte Object name mapping.
Ignore Errors and Proceed: Omite la comprobación de tablas con los mismos nombres.
AvisoSeleccionar Ignore Errors and Proceed puede causar inconsistencia en los datos y riesgos operativos. Por ejemplo:
Si los esquemas de las tablas son consistentes y un registro en la base de datos de destino tiene el mismo valor de clave principal que un registro en la base de datos de origen:
Durante la migración completa, DTS conserva el registro en la base de datos de destino. El registro de la base de datos de origen no se migra.
Durante la migración incremental, DTS no conserva el registro en la base de datos de destino. El registro de la base de datos de origen sobrescribe el registro en la base de datos de destino.
Si los esquemas de las tablas son inconsistentes, es posible que solo se migren algunas columnas de datos o que la migración falle. Proceda con precaución.
Index Name
Si selecciona Table Name, el índice creado en la instancia de destino de Elasticsearch tendrá el mismo nombre que la tabla.
Si selecciona Database Name_Table Name, el nombre del índice en la instancia de destino de Elasticsearch será una concatenación del nombre de la base de datos, un guion bajo (_) y el nombre de la tabla.
NotaLa configuración de asignación de nombres de índice se aplica a todas las tablas.
Case Sensitivity Policy for Destination Object Names
Puede configurar la política de distinción entre mayúsculas y minúsculas para los nombres de los objetos migrados, como bases de datos, tablas y columnas, en la instancia de destino. De forma predeterminada, se selecciona DTS default policy. También puede optar por mantener la distinción entre mayúsculas y minúsculas consistente con la política predeterminada de la base de datos de origen o de destino. Para obtener más información, consulte Case sensitivity of object names in the destination database.
Source Objects
En el panel Source Objects, haga clic en el objeto que desea migrar y luego haga clic en el icono
para mover el objeto al panel Selected Objects.Selected Objects
Para modificar los nombres de los campos después de la migración, haga clic con el botón derecho en el nombre de la tabla correspondiente en el panel Selected Objects, establezca el nombre del índice y el nombre del tipo para la tabla en la instancia de destino de Elasticsearch, y luego haga clic en OK. Para obtener más información, consulte Map a single table and its columns.
NotaEl único carácter especial admitido para nombres de índice y nombres de tipo es el guion bajo (_).
Puede establecer condiciones de filtro SQL. Solo los datos que cumplan estas condiciones se migrarán a la instancia de destino. Para obtener más información, consulte Filter task data by using SQL conditions.
-
Haga clic en Next: Advanced Settings para configurar los parámetros avanzados.
Parámetro
Descripción
Dedicated Cluster for Task Scheduling
De forma predeterminada, DTS programa las tareas en un clúster compartido. No necesita seleccionar uno. Si desea tareas más estables, puede adquirir un dedicated cluster para ejecutar tareas de migración de DTS.
Retry Time for Failed Connections
Después de que se inicia la tarea de migración, si falla la conexión a la base de datos de origen o de destino, DTS notifica un error y comienza inmediatamente a reintentar la conexión. La duración predeterminada de reintento es de 720 minutos. Puede personalizar el tiempo de reintento a un valor de 10 a 1440 minutos. Se recomienda establecer la duración en más de 30 minutos. Si DTS se reconecta a las bases de datos de origen y de destino dentro de la duración especificada, la tarea de migración se reanuda automáticamente. De lo contrario, la tarea falla.
NotaPara varias instancias de DTS que comparten el mismo origen o destino, el tiempo de reintento de red se determina según la configuración de la última tarea creada.
Dado que se le cobra por la tarea durante el período de reintento de conexión, se recomienda personalizar el tiempo de reintento según sus necesidades comerciales, o liberar la instancia de DTS lo antes posible después de que se liberen las instancias de base de datos de origen y de destino.
Retry Time for Other Issues
Después de que se inicia la tarea de migración, si ocurre un problema que no sea de conectividad, como una excepción en la ejecución de DDL o DML, en la base de datos de origen o de destino, DTS notifica un error y comienza inmediatamente a reintentar la operación. La duración predeterminada de reintento es de 10 minutos. Puede personalizar el tiempo de reintento a un valor de 1 a 1440 minutos. Se recomienda establecer la duración en más de 10 minutos. Si las operaciones relacionadas se completan correctamente dentro de la duración de reintento especificada, la tarea de migración se reanuda automáticamente. De lo contrario, la tarea falla.
ImportanteEl valor de Retry Time for Other Issues debe ser menor que el valor de Retry Time for Failed Connections.
Shard Configuration
Establezca el número de shards principales y réplicas para el índice según la configuración máxima de shards de índices en la instancia de destino de Elasticsearch.
String Index
Especifica cómo se indexan las cadenas en la instancia de destino de Elasticsearch.
analyzed: La cadena se analiza primero y luego se indexa. También debe seleccionar un analizador específico. Para obtener información sobre los tipos de analizadores y sus funciones, consulte Analyzers.
not_analyzed: La cadena no se analiza y se indexa utilizando su valor original.
no: La cadena no se indexa.
Time Zone
Especifica la zona horaria que se aplica cuando DTS migra tipos de datos basados en tiempo (como DATETIME y TIMESTAMP) a la instancia de destino de Elasticsearch.
NotaSi los datos basados en tiempo en la instancia de destino no requieren una zona horaria, debe establecer previamente el tipo de documento (type) para estos tipos de datos en la instancia de destino.
DOCID
De forma predeterminada, el DOCID es la clave principal de la tabla. Si la tabla no tiene clave principal, el DOCID es una columna de ID generada automáticamente por Elasticsearch.
Environment Tag
Seleccione una etiqueta de entorno para identificar la instancia. Este parámetro es opcional para este ejemplo.
Configure ETL
Elija si desea habilitar la función de extracción, transformación y carga (ETL). Para obtener más información, consulte What is ETL? Valores válidos:
-
Yes: Habilita la función ETL. Introduzca sentencias de procesamiento de datos en el editor de código. Para obtener más información, consulte Configure ETL in a data migration or data synchronization task.
-
No: Deshabilita la función ETL.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Elija si desea escribir información SQL de latido en la base de datos de origen mientras se ejecuta la instancia de DTS.
-
Yes: La información SQL de latido no se escribe en la base de datos de origen. Esto puede provocar que la instancia de DTS reporte un retraso.
-
No: Escribe información SQL de latido en la base de datos de origen. Esto puede interferir con funciones como la copia de seguridad física y la clonación de la base de datos de origen.
Monitoring and Alerting
Seleccione si desea configurar alertas y recibir notificaciones de alerta según sus necesidades comerciales.
No: No configura ninguna alerta.
Yes: Configure alertas estableciendo un alert threshold y alert notifications. Si una migración falla o la latencia excede el umbral, el sistema envía una notificación de alerta.
-
Una vez completadas las configuraciones anteriores, haga clic en Next: Configure Database and Table Fields en la parte inferior de la página para establecer la
_routing policyy el valor de_idpara las tablas que se migrarán en la instancia de destino de Elasticsearch.Tipo
Descripción
Set _routing
Configura _routing para almacenar documentos en un shard específico en la instancia de destino de Elasticsearch. Para obtener más información, consulte _routing.
Seleccione Yes para usar una columna personalizada para el enrutamiento.
Seleccione No para usar el valor _id para el enrutamiento.
NotaSi la instancia de destino de Elasticsearch es versión 7.x, debe seleccionar No.
_routing Column
Seleccione la columna que se utilizará para el enrutamiento.
NotaEste parámetro es obligatorio solo si selecciona Yes para Set _routing.
Value of _id
Seleccione la columna que se utilizará como ID del documento.
-
-
Guarde la tarea y ejecute una comprobación previa.
Para ver los parámetros de configuración de esta instancia al llamar a la operación de API, pase el puntero sobre el botón Next: Save Task Settings and Precheck y haga clic en Preview OpenAPI parameters en la burbuja que aparece.
Si no necesita ver los parámetros de API o ya terminó de verlos, haga clic en Next: Save Task Settings and Precheck en la parte inferior de la página.
NotaAntes de que comience la tarea de migración, DTS realiza una comprobación previa. La tarea solo se inicia después de superar dicha comprobación.
Si la comprobación previa falla, haga clic en View Details junto al elemento fallido, solucione el problema según las indicaciones y vuelva a ejecutar la comprobación previa.
-
Si se reporta una advertencia durante la comprobación previa:
Para los elementos de comprobación que no se pueden ignorar, haga clic en View Details junto al elemento fallido, solucione el problema según las indicaciones y vuelva a ejecutar la comprobación previa.
Para los elementos de comprobación que se pueden ignorar, puede hacer clic en Confirm Alert Details, Ignore, OK y Precheck Again para omitir el elemento de advertencia y volver a ejecutar la comprobación previa. Si decide ignorar una advertencia, esto puede causar problemas como inconsistencia de datos y generar riesgos para su negocio.
-
Adquiera la instancia.
Cuando la Success Rate sea del 100 %, haga clic en Next: Purchase Instance.
-
En la página Purchase, seleccione la especificación de enlace para la instancia de migración de datos. Para obtener más información, consulte la siguiente tabla.
Categoría
Parámetro
Descripción
New Instance Class
Resource Group Settings
Seleccione el resource group al que pertenece la instancia. El valor predeterminado es default resource group. Para obtener más información, consulte What is resource management?
Instance Class
DTS ofrece especificaciones de migración con diferentes niveles de rendimiento. La especificación del enlace afecta la velocidad de migración. Puede seleccionar una especificación según su escenario comercial. Para obtener más información, consulte Data migration link specifications.
Una vez completada la configuración, lea y seleccione Data Transmission Service (Pay-as-you-go) Service Terms.
-
Haga clic en Buy and Start. En el cuadro de diálogo OK que aparece, haga clic en OK.
Puede consultar el progreso de la tarea de migración en la página de lista de Data Migration Tasks.
NotaSi la tarea de migración no incluye migración incremental, se detiene automáticamente después de completar la migración completa. Una vez detenida la tarea, su Status cambia a Completed.
Si la tarea de migración incluye migración incremental, no se detiene automáticamente. La tarea de migración incremental continúa ejecutándose. Mientras se ejecuta la tarea de migración incremental, el Status de la tarea es Running.