OpenSearch:Configuración de ApsaraDB RDS

Este tema describe cómo configurar un origen de datos de ApsaraDB RDS y detalla notas importantes sobre la configuración.

ApsaraDB RDS (Relational Database Service) es un servicio de base de datos en línea estable, confiable y escalable de Alibaba Cloud.

Antes de empezar

• OpenSearch es compatible con instancias de ApsaraDB RDS for MySQL que ejecutan MySQL 5.5, 5.6, 5.7 u 8.0.

• Debe adquirir una instancia regular de ApsaraDB RDS High-availability Edition. Las instancias de Basic Edition y Enterprise Edition de tres nodos no son instancias de High-availability Edition y no son compatibles.

• La instancia de ApsaraDB RDS debe pertenecer a la misma cuenta de Alibaba Cloud y encontrarse en la misma región que su aplicación de OpenSearch.

• Las instancias clonadas de ApsaraDB RDS solo son compatibles si la instancia de origen es una instancia de High-availability Edition.

• Si utiliza una instancia de ApsaraDB RDS no compatible o que no cumple con los requisitos, la reindexación fallará.

• Los orígenes de datos de ApsaraDB RDS deben estar en una Virtual Private Cloud (VPC).

Funciones compatibles

• Puede extraer datos completos de tablas de base de datos específicas mediante manual and scheduled reindexing.

• Puede combinar datos de varias tablas de origen. Las tablas de origen deben tener exactamente el mismo esquema y las mismas configuraciones de complementos de origen de datos. Los valores de clave principal en las tablas de origen deben ser únicos. Si hay valores de clave principal duplicados, los datos se sobrescriben. Esta función admite los siguientes dos escenarios:

  • Una tabla de aplicación configurada con un único origen de datos que contiene varias tablas de origen.

  • Una tabla de aplicación configurada con varios orígenes de datos, donde cada origen contiene una o más tablas de origen.

• Se admiten complementos de conversión de campos de origen de datos.

• Se admiten los siguientes métodos de sincronización de datos:

  • Sincronización automática.

  • Sincronización en tiempo real mediante una Data Transmission Service (DTS) instance que usted adquiera.

  • Sin sincronización automática.

• Puede especificar condiciones de filtro para la sincronización completa de datos.

• Puede utilizar un carácter comodín (*) para coincidir con nombres de tablas de base de datos.

Limitaciones

• El parámetro binlog_row_image de la instancia de ApsaraDB RDS debe establecerse en FULL.

• Solo se admiten instancias de ApsaraDB RDS High-availability Edition y Cluster Edition.

• Versiones compatibles de ApsaraDB RDS for MySQL: 5.5, 5.6, 5.7 y 8.0.

• Para instancias de ApsaraDB RDS que ejecutan MySQL 5.6, aumente los valores de los parámetros loose_max_execution_time y loose_max_statement_time. Esto evita errores como Query execution was interrupted, max_statement_time exceeded durante la reindexación.

• La instancia de ApsaraDB RDS debe pertenecer a la misma cuenta de Alibaba Cloud y encontrarse en la misma región que su aplicación de OpenSearch.

• Después de configurar un origen de datos de ApsaraDB RDS para una aplicación Standard Edition, no puede insertar datos incrementales mediante un SDK ni llamando a una API.

• Para aplicaciones Standard Edition en regiones fuera de China continental, no puede especificar condiciones de filtro para orígenes de datos de ApsaraDB RDS.

• La instrucción REPLACE INTO no es compatible.

• Las instrucciones TRUNCATE y DROP no son compatibles. Utilice la instrucción DELETE para eliminar datos.

• Las instancias clonadas de ApsaraDB RDS solo son compatibles si la instancia de origen es una instancia de High-availability Edition.

• La contraseña de la instancia de ApsaraDB RDS no puede contener el signo de porcentaje (%). De lo contrario, la tarea de reindexación fallará.

• No puede utilizar una cuenta con privilegios para acceder a la instancia de ApsaraDB RDS. De lo contrario, la conexión fallará.

• No puede combinar columnas de campos de tablas de origen con diferentes esquemas de base de datos.

• Los modos replica client y replica slave con el registro binario deshabilitado no son compatibles. Para saber cómo comprobar y habilitar el registro binario, consulte see the documentation.

Notas de uso

• Puede acceder a ApsaraDB RDS a través de una red interna o pública. Alibaba Cloud no cobra tarifas de transferencia de datos cuando OpenSearch recupera datos de ApsaraDB RDS.

• OpenSearch solo puede extraer datos completos de la base de datos principal. Realice la importación completa de datos y la reindexación durante horas de baja demanda.

• El sistema convierte automáticamente los valores datetime y timestamp de las tablas de ApsaraDB RDS a milisegundos. Debe establecer el tipo de campo correspondiente en el esquema de su aplicación como TIMESTAMP.

• Un endpoint interno para la instancia de ApsaraDB RDS está habilitado de forma predeterminada. Debe solicitar manualmente un endpoint público para acceder a la instancia a través de Internet.

• Los documentos que no cumplen con las condiciones de filtro del origen de datos se filtran durante la sincronización completa de datos. Si existen documentos con los mismos valores de clave principal en la tabla de aplicación de destino, también se eliminan.

• Si no se generan datos incrementales en el origen de datos durante un período prolongado (15 días o más), la sincronización de datos podría interrumpirse. Si esto ocurre, puede resolver el problema realizando manualmente reindexing o una offline change.

• Para sincronizar datos desde un origen de datos de ApsaraDB RDS, debe agregar los bloques CIDR de los servidores de OpenSearch a la lista de permitidos de direcciones IP de la instancia de ApsaraDB RDS. La siguiente tabla enumera los bloques CIDR para cada región.

  Región	Bloque CIDR
  China (Hangzhou)	100.104.190.128/26,100.104.241.128/26
  China (Beijing)	100.104.16.192/26,100.104.179.0/26
  China (Shanghai)	100.104.37.0/26,100.104.46.0/26
  China (Shenzhen)	100.104.87.192/26,100.104.132.192/26
  China (Qingdao)	100.104.240.128/26,100.104.111.128/26
  China (Zhangjiakou)	100.104.155.192/26,100.104.238.64/26
  Germany (Frankfurt)	100.104.127.0/26,100.104.35.192/26
  US (Silicon Valley) y US (Virginia)	100.104.193.128/26,100.104.119.128/26
  Singapore	100.104.58.192/26,100.104.74.192/26

Autorización de cuenta

Tenga en cuenta las siguientes recomendaciones para conectarse a MySQL 5.7 y 8.0:

• Al conectarse a una instancia de MySQL 5.7 o posterior, debe autorizar el acceso a la instancia de ApsaraDB RDS y proporcionar una cuenta y contraseña. Tenga precaución al introducir las credenciales por primera vez.

• Asegúrese de contar con los permisos de cuenta adecuados: La cuenta debe tener permisos para ver todas las tablas de la base de datos, lo cual es un requisito del servicio DTS ascendente. Compruebe que la instrucción show create table *.* pueda ejecutarse correctamente. De lo contrario, la sincronización de datos en tiempo real podría fallar.

• Minimice los cambios en los permisos de la cuenta: La tarea en tiempo real de OpenSearch actúa como un cliente de MySQL. Los cambios en la cuenta pueden interrumpir la tarea en tiempo real y afectar la creación de nuevas versiones de la aplicación. Si cambia la contraseña de la cuenta, debe actualizar la configuración del origen de datos volviéndose a conectar a la base de datos.

• OpenSearch requiere los siguientes permisos mínimos para acceder a su instancia de ApsaraDB RDS:

  1. Permiso show create table.

  2. Permiso REPLICATION SLAVE o REPLICATION CLIENT.

  3. binlog_row_image debe establecerse en FULL.

  4. binlog_format debe establecerse en ROW.

Preguntas frecuentes

• Si utiliza un usuario RAM para configurar un origen de datos de ApsaraDB RDS en la consola, debe otorgar los permisos necesarios a dicho usuario. De lo contrario, aparecerá el mensaje de error Failed to connect to RDS service. Try again later. Para obtener más información, consulte Create and authorize a RAM user. Asegúrese de que el rol AliyunServiceRoleForOpenSearch exista en su cuenta de Alibaba Cloud.

• La contraseña de la instancia de ApsaraDB RDS no puede contener el signo de porcentaje (%). De lo contrario, la tarea de reindexación fallará y devolverá el mensaje de error: Illegal hex characters in escape (%) pattern.

• Los valores de clave principal en una tabla de aplicación deben ser únicos. Si sincroniza datos de varias tablas, los valores de clave principal podrían duplicarse, lo que provoca que los datos se sobrescriban. Para evitar este problema, puede utilizar el complemento StringCatenateExtractor para combinar varios valores de campo. Establezca los campos de origen en pk,$table. Reemplace pk con el campo de clave principal de la tabla de ApsaraDB RDS. $table es una variable predeterminada del sistema que representa el nombre de la tabla. Solo puede utilizar $table cuando usa un comodín para coincidir con varias tablas. Establezca el delimitador en - o en un carácter personalizado. Por ejemplo, si la tabla de ApsaraDB RDS se llama my_table_0 y el valor de clave principal es 123456, el nuevo valor de clave principal después de la concatenación será 123456-my_table_0.

• Para filtrar datos según un campo de tipo date o datetime, debe utilizar el formato de hora correcto en la condición de filtro. Por ejemplo, si el campo de origen se llama createtime, la condición de filtro debe tener el formato createtime>'2018-03-01 00:00:00'. Se producirá un error si utiliza un formato como createtime>'2018-3-1 00:00:00'.

Proceso de configuración

• Puede configurar un origen de datos de ApsaraDB RDS cuando construye rápidamente una aplicación.

• Para una aplicación existente, vaya a la página de detalles de la aplicación y modifique la configuración realizando una offline change.