OpenSearch:PolarDB data source configuration

PolarDB es un servicio de base de datos en línea listo para usar, estable, confiable y escalable de Alibaba Cloud (Learn about PolarDB).

Antes de empezar

• OpenSearch admite PolarDB for MySQL 5.6, 5.7 y 8.0.

• El clúster de PolarDB debe pertenecer a la misma cuenta de Alibaba Cloud que utiliza para la consola de OpenSearch.

• El clúster de PolarDB debe encontrarse en la misma región que la aplicación de OpenSearch.

• Los nuevos clústeres de PolarDB tienen el registro binario (binlog) deshabilitado de forma predeterminada, lo que impide el registro del origen de datos. Debe habilitar binlog para continuar. Para ello, establezca el parámetro **loose_polar_log_bin en ON_WITH_GTID.** El parámetro binlog_row_image se establece en FULL de forma predeterminada y no es necesario modificarlo.

• OpenSearch admite instancias clonadas.

• El clúster de PolarDB debe ser un clúster de lectura/escritura.

Funciones

• Extraiga datos completos de tablas de bases de datos específicas, ya sea manualmente o mediante programación.

• Combine datos horizontalmente desde varias tablas de origen. Las tablas de origen deben tener esquemas idénticos y configuraciones de plugin de origen de datos iguales; además, sus valores de clave primaria deben ser únicos. Los valores duplicados de clave primaria sobrescriben los registros existentes. Esta función admite dos escenarios principales:

  • Una tabla de aplicación configurada con un solo origen de datos que contiene varias tablas de origen.

  • Una tabla de aplicación configurada con varios orígenes de datos, cada uno con una o más tablas de origen.

• OpenSearch admite plugins de transformación de campos de origen de datos.

• Métodos de sincronización de datos admitidos:

  • Sincronización automática

  • DTS real-time synchronization

  • Sin sincronización automática

• Es posible utilizar condiciones de filtro para la sincronización completa de datos.

• Utilice el carácter comodín (*) para coincidir con nombres de tablas de base de datos.

Limitaciones

• Los clústeres de PolarDB solo admiten el modo binlog **full. Para habilitar este modo, establezca loose_polar_log_bin en ON_WITH_GTID.** El parámetro binlog_row_image se establece en FULL de forma predeterminada y no es necesario modificarlo.

• Solo se admiten PolarDB for MySQL 5.6, 5.7 y 8.0.

• El clúster de PolarDB debe pertenecer a la cuenta de Alibaba Cloud que utiliza para iniciar sesión en la consola de OpenSearch.

• El clúster de PolarDB debe encontrarse en la misma región que la aplicación de OpenSearch.

• No es posible insertar datos incrementales mediante SDK o API en aplicaciones Standard Edition que utilicen un origen de datos PolarDB.

• En aplicaciones Standard Edition, no se admiten condiciones de filtro para orígenes de datos PolarDB.

• La sintaxis **REPLACE INTO** no es compatible.

• Los comandos **TRUNCATE y DROP no son compatibles. Utilice el comando DELETE** para eliminar datos.

• La contraseña de acceso a PolarDB no puede contener el carácter %. De lo contrario, la tarea de reindexación fallará.

• OpenSearch no admite la combinación de columnas provenientes de tablas de origen con esquemas diferentes.

• Establezca tanto loose_max_statement_time como connect_timeout en 0. Una vez completada la sincronización completa de datos activada por una reindexación o un cambio sin conexión, puede revertir los parámetros a sus valores anteriores.

Notas de uso

• Si un origen de datos, como una instancia RDS o PolarDB, está vinculado a una instancia de Distributed Relational Database Service (DRDS) que desea conectar a OpenSearch, debe especificar el nombre real de la base de datos fragmentada en la configuración del origen de datos. Una base de datos DRDS se divide en una base de datos sombra y ocho fragmentos, y los datos se escriben aleatoriamente entre dichos fragmentos.

• Los clústeres de PolarDB permiten alternar entre puntos de conexión internos y públicos. OpenSearch no cobra tarifas de tráfico por la recuperación de datos desde PolarDB.

• OpenSearch extrae datos completos únicamente de la base de datos principal. Le recomendamos programar la reindexación y las importaciones completas de datos durante horas de baja demanda.

• El sistema convierte automáticamente los valores de tipo **datetime y timestamp en las tablas de PolarDB a milisegundos. Establezca el tipo de campo correspondiente en la tabla de aplicación como TIMESTAMP**.

• El proceso de sincronización excluye los documentos que no cumplen con las condiciones de filtro de datos completos. Si existe un documento con el mismo valor de clave primaria en la tabla de aplicación, también se eliminará.

• Si no se generan datos incrementales desde el origen de datos durante 15 días consecutivos o más, la sincronización de datos podría fallar. Para resolver este problema, ejecute una reindex o offline change manual.

• Si el cifrado SSL está habilitado en el clúster de PolarDB, asegúrese de que el certificado SSL sea válido. Un certificado caducado provoca errores de conexión. Actualice el certificado antes de que caduque.

• No es posible configurar un origen de datos PolarDB en la región Qingdao.

• Para sincronizar datos desde un origen de datos PolarDB, debe agregar los bloques de direcciones IP del servidor de OpenSearch a la lista blanca de IP de su instancia RDS o PolarDB. La siguiente tabla muestra la lista blanca de IP para cada región.

  Región	Dirección IP
  Hangzhou	100.104.190.128/26,100.104.241.128/26
  Beijing	100.104.16.192/26,100.104.179.0/26
  Shanghai	100.104.37.0/26,100.104.46.0/26
  Shenzhen	100.104.87.192/26,100.104.132.192/26
  Zhangjiakou	100.104.155.192/26,100.104.238.64/26
  Germany	100.104.127.0/26,100.104.35.192/26
  United States	100.104.193.128/26,100.104.119.128/26
  Singapore	100.104.58.192/26,100.104.74.192/26

Autorización de cuenta

• Al conectarse a un origen de datos PolarDB, debe autorizar el acceso al clúster y proporcionar una cuenta y contraseña. Elija cuidadosamente sus credenciales de cuenta durante la configuración inicial.

• Asegure los permisos de la cuenta: La cuenta debe tener permiso para ver todas las tablas de la base de datos, requisito del servicio DTS ascendente. Esto garantiza que la cuenta pueda ejecutar show create table *.*. Permisos insuficientes pueden provocar fallos en la sincronización en tiempo real.

• Minimice los cambios en los permisos de la cuenta: Modificar las credenciales de la cuenta puede interrumpir tareas en tiempo real en curso y afectar la creación de nuevas versiones de la aplicación. Si cambia la contraseña de la cuenta, deberá eliminar la configuración del origen de datos y crear una nueva.

Preguntas frecuentes

• ¿Qué debo hacer si la reindexación se detiene tras configurar un origen de datos PolarDB? Cree una tabla de prueba en la misma base de datos que su tabla de origen. Escriba o actualice uno o dos registros por minuto para asegurar la generación continua de binlog durante el proceso de reindexación.

• Después de liquidar pagos pendientes de una aplicación Advanced Edition, puede activar una reindexación manual para reanudar la sincronización de datos.

• La contraseña de acceso al clúster de PolarDB no puede contener el carácter %. De lo contrario, la tarea de reindexación fallará con un error Illegal hex characters in escape (%) pattern.

• El sistema requiere que los valores de clave primaria en una tabla de aplicación sean únicos. Si hay valores de clave primaria duplicados en un escenario de fragmentación de tablas, los datos se sobrescribirán. Puede utilizar el plugin de origen de datos StringCatenateExtractor para combinar múltiples valores de campo. Los campos de origen son pk,$table, donde pk es el campo de clave primaria de la tabla del clúster PolarDB y $table es una variable predeterminada del sistema que representa el nombre de la tabla de base de datos correspondiente. El carácter de concatenación es -, el cual se puede personalizar.

Por ejemplo, si la tabla del clúster PolarDB es my_table_0 y el valor del campo de clave primaria es 123456, el nuevo valor de clave primaria tras la concatenación será 123456-my_table_0.

• Para filtrar datos basándose en un campo **date o datetime** de la tabla de base de datos, debe utilizar el formato completo de fecha y hora en las condiciones de filtro. Para un campo llamado createtime, una condición válida es createtime>'2018-03-01 00:00:00'. Usar un formato abreviado como createtime>'2018-3-1 00:00:00' provocará un error.

Configurar un origen de datos PolarDB****

• Puede configurar un origen de datos PolarDB cuando cree una aplicación.

• Para una aplicación existente, puede modificar el origen de datos realizando una offline change en la página de detalles de la aplicación.

Procedimiento

1. Al crear o modificar una aplicación, vaya al paso Data Source. Agregue o edite un origen de datos, seleccione PolarDB y luego haga clic en New Database.

2. Tras introducir la información del origen de datos PolarDB, haga clic en Connect.

   Parámetro	Descripción
   Cluster ID	El ID del clúster de PolarDB. Puede obtener el ID desde la consola de PolarDB. Este parámetro distingue entre mayúsculas y minúsculas. Ejemplo: pc-uf6c056ny9tiaj1l7
   Database name	El nombre de la base de datos a la que conectarse dentro de la instancia. Este parámetro no distingue entre mayúsculas y minúsculas.
   Username	La cuenta de base de datos utilizada para recuperar el esquema de la tabla y los datos completos. Este parámetro distingue entre mayúsculas y minúsculas.
   Password	La contraseña de la cuenta especificada.

OpenSearch intenta conectarse y proporciona retroalimentación según el resultado:

1. Después de conectarse al origen de datos PolarDB, seleccione las tablas de datos.

En la lista Data tables de la izquierda, seleccione la casilla de verificación de la tabla deseada y haga clic en el botón >> para agregarla a la lista Selected de la derecha.

• Seleccione o introduzca el nombre de la tabla a la que desea acceder en la base de datos. El nombre distingue entre mayúsculas y minúsculas.

• Se admite la coincidencia con comodines para tablas fragmentadas, como table_* para coincidir con table_a, table_b, etc.

1. Si la conexión es exitosa, configure los campos. OpenSearch recupera automáticamente los campos de la tabla. Para obtener información sobre los plugins de origen de datos, consulte Uso de plugins de procesamiento de datos.

Para agregar un plugin de origen de datos, haga clic en el botón + en la columna Content conversion correspondiente al mapeo de campos. Una vez finalizado el mapeo de campos, haga clic en OK.

1. Configure las condiciones de filtro para el origen de datos PolarDB (no compatible con Standard Edition), establezca el método de sincronización de datos y luego haga clic en Finish para completar la configuración de la estructura de la aplicación.

El método de sincronización de datos ofrece tres opciones: Automatic synchronization, DTS data subscription instance y No automatic synchronization.

• Una aplicación de OpenSearch puede configurarse con varios orígenes de datos, pero sus estructuras de tabla y configuraciones deben ser idénticas.

• Si la consola indica que la sincronización automática no es compatible, utilice DTS real-time synchronization.

• Las condiciones de filtro para un origen de datos PolarDB garantizan que solo se sincronicen los registros que cumplan con los criterios especificados. Para obtener información detallada sobre la configuración, consulte Filter conditions for a data source.