Al usar JOIN operations on multiple tables con orígenes de datos ApsaraDB RDS for MySQL o PolarDB for MySQL, Data Transmission Service (DTS) sincroniza tanto la tabla principal como las secundarias en OpenSearch. Las actualizaciones de las tablas secundarias pueden generar múltiples escrituras en cascada sobre la tabla principal, lo que podría superar el throughput máximo permitido para una sincronización en tiempo real.
Funcionamiento de la amplificación de escritura
Cuando se ejecuta un JOIN entre una tabla principal y una secundaria, OpenSearch genera una tabla ancha que combina los registros de ambas.
Las actualizaciones de la tabla principal tienen una relación uno a uno: cada ID de clave primaria corresponde a exactamente un registro en la tabla ancha; por lo tanto, actualizar un registro de la tabla principal implica actualizar un solo registro en la tabla ancha.
Las actualizaciones de la tabla secundaria pueden tener una relación uno a varios. Si la proporción de registros entre la tabla principal y la secundaria es N:1, un mismo ID de clave primaria en la tabla secundaria puede corresponder a N registros en la tabla principal. En consecuencia, actualizar un solo registro en la tabla secundaria puede desencadenar N actualizaciones en la tabla ancha.
La figura a continuación muestra cómo se unen una tabla principal y una secundaria:
La figura a continuación ilustra la relación N:1 y su efecto de actualización en cascada:
Límites de throughput
|
Límite |
Umbral |
Efecto al excederlo |
|
Actualizaciones combinadas en tablas principales y secundarias |
≤ 1,500 transacciones por segundo (TPS) |
No se garantiza la sincronización en tiempo real para ninguna tabla |
|
Actualizaciones de tablas secundarias que desencadenan actualizaciones en la tabla principal |
≤ 1,000 TPS |
La sincronización de datos desde la tabla principal y las secundarias puede sufrir retrasos |
|
Proporción de registros principal-secundaria (N:1) |
N ≤ 10 |
Un valor mayor de N amplifica la dispersión de escritura y aumenta el riesgo de superar los límites de TPS mencionados |
Reducción de la latencia de sincronización
Si experimenta retrasos en la sincronización, envíe un ticket para ajustar el límite de TPS en las actualizaciones de la tabla secundaria. Las dos opciones disponibles implican equilibrar la latencia de la tabla principal frente a la de la secundaria:
Opción 1: Aumentar el límite de TPS de la tabla secundaria
Envíe un ticket para incrementar el TPS máximo permitido en las actualizaciones de la tabla secundaria. Esto acelera la sincronización de las tablas secundarias, pero la mayor dispersión de escritura podría retrasar las actualizaciones de la tabla principal. Elija esta opción si la latencia en la tabla principal resulta aceptable.
Opción 2: Limitar el TPS de la tabla secundaria
Envíe un ticket para establecer un TPS máximo más bajo en las actualizaciones de la tabla secundaria. Esta medida protege la latencia de actualización de la tabla principal al ralentizar la sincronización de la secundaria. Elija esta opción cuando sea crítico mantener la frescura de los datos en la tabla principal.