PolarDB:Search views and ETL stored procedures

Crear una vista de búsqueda

Sintaxis

CREATE SEARCH VIEW view_name [(column_list, PRIMARY KEY (pk_column_list))]
 [WITH (option_list)]
 AS select_statement;

Parámetros

Límites de uso y notas

• La tabla de origen debe contener una clave primaria o una clave única.

• Debe contar con el permiso ALTER en todas las tablas de origen de la vista de búsqueda, así como con el permiso SELECT sobre las columnas relacionadas o sobre toda la tabla.

• Después de crear una vista de búsqueda, las nuevas columnas que se agreguen a la tabla de origen no se sincronizan automáticamente. Para sincronizar columnas nuevas, consulte Modify a search view.

• Para usar una configuración personalizada del índice de destino, cree primero el índice en el nodo PolarSearch y defina su configuración de forma manual. Luego, cree la vista de búsqueda. Si el índice de destino no existe al momento de la creación, el sistema lo crea automáticamente.

• Para configurar parámetros avanzados de sincronización en agregaciones de varias tablas o consultas complejas, como la conversión de campos JSON y los campos de enrutamiento, consulte AutoETL parameter configuration and best practices.

Preparación de datos

Cree los datos de prueba utilizados en los ejemplos siguientes mediante la ejecución de las instrucciones SQL que se muestran a continuación en PolarDB for MySQL.

CREATE DATABASE IF NOT EXISTS db1;
CREATE DATABASE IF NOT EXISTS db2;

USE db1;
CREATE TABLE IF NOT EXISTS t1 (
 id INT PRIMARY KEY,
 c1 VARCHAR(100),
 c2 VARCHAR(100)
);
INSERT INTO t1(id, c1, c2) VALUES
(1, 'apple', 'red'),
(2, 'banana', 'yellow'),
(3, 'grape', 'purple');

USE db2;
CREATE TABLE IF NOT EXISTS t2 (id INT PRIMARY KEY, c2 INT);
INSERT INTO t2(id, c2) VALUES (1, 111), (2, 222), (4, 444);

Ejemplos

• Sincronización completa de tabla: vincule db1.t1 a PolarSearch. El nombre de la vista view_test también corresponde al nombre del índice de destino en PolarSearch.

  CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1;

• Sincronización de columnas específicas: sincronice únicamente las columnas c1 y c2, y defina de forma manual los tipos de columna y la clave primaria.

  CREATE SEARCH VIEW view_test1 AS SELECT c1, c2 FROM db1.t1;

• Parámetros de sincronización específicos: especifique la configuración de sincronización mediante la cláusula WITH al crear una vista de búsqueda. El siguiente ejemplo sincroniza las columnas c1 y c2 de db1.t1 hacia PolarSearch y establece el paralelismo de sincronización en 2.

  CREATE SEARCH VIEW view_test6 WITH ('parallelism' = '2') AS SELECT c1, c2 FROM db1.t1;

• Sincronización con filtro condicional: sincronice solo los datos que cumplan con la condición WHERE.

  CREATE SEARCH VIEW view_test2 AS SELECT id, c1, c2 FROM db1.t1 WHERE c1 > 10;

• JOIN de varias tablas: vincule db1.t1 y db2.t2 mediante id y sincronice el resultado hacia PolarSearch.

  CREATE SEARCH VIEW view_test3(id, c1, c2) AS SELECT t1.id, t1.c1, t2.c2 FROM db1.t1 AS t1 LEFT JOIN db2.t2 AS t2 ON t1.id = t2.id;

• UNION de varias tablas: combine varias tablas con la misma estructura y sincronícelas. Cada instrucción SELECT debe tener la misma cantidad y los mismos tipos de columnas.

  CREATE SEARCH VIEW view_test4(id, c2) AS SELECT id, c2 FROM db1.t1 UNION ALL SELECT id, c2 FROM db2.t2;

• Agregación por grupos: sincronice los datos después de aplicar la agregación por grupos. Al usar GROUP BY, debe definir manualmente las columnas y la clave primaria.

  CREATE SEARCH VIEW view_test5 (id, max_c) AS SELECT t1.id, MAX(t1.c1) AS max_c FROM db1.t1 GROUP BY t1.id;

Comprobar los datos

Compruebe el estado de sincronización de la vista de búsqueda:

SHOW SEARCH VIEW STATUS;

Cuando el estado es active, la sincronización de datos de la vista de búsqueda funciona correctamente. Conéctese al nodo PolarSearch y use una API REST compatible con Elasticsearch para comprobar los datos:

# Replace <user>:<password> with the PolarSearch node credentials and <polarsearch_endpoint> with the PolarSearch node endpoint and port
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/view_test/_search"

Gestionar vistas de búsqueda

Use los siguientes comandos para consultar las vistas de búsqueda creadas, o bien para detener, reiniciar o reconstruir la sincronización de datos. Todos los comandos deben ejecutarse en un cliente de base de datos después de conectarse al clúster.

SHOW SEARCH VIEW STATUS;

+------------+--------+----------+---------+---------------------+---------------------+
| View Name | Type | Status | Message | Created_at | Updated_at |
+------------+--------+----------+---------+---------------------+---------------------+
| view_test | search | active | | 2026-03-18 18:44:12 | 2026-03-18 18:51:37 |
+------------+--------+----------+---------+---------------------+---------------------+

SHOW CREATE SEARCH VIEW view_test;

+-----------+------------------------------------------------------+
| View Name | Create Search View |
+-----------+------------------------------------------------------+
| view_test | CREATE SEARCH VIEW view_test AS SELECT * FROM db1.t1 |
+-----------+------------------------------------------------------+

ALTER SEARCH VIEW view_test STOP;

ALTER SEARCH VIEW view_test RESTART;

ALTER SEARCH VIEW view_test REBUILD;

Eliminar una vista de búsqueda

DROP SEARCH VIEW view_name;

El sistema gestiona la eliminación de manera distinta según el estado de la vista de búsqueda:

• Vista de búsqueda en estado active: el estado cambia primero a dropping. Después de que el sistema termina de limpiar los recursos y eliminar los datos del índice de destino, el estado cambia a dropped.

• Vista de búsqueda en estado dropped: el sistema elimina por completo la información de la vista de búsqueda.

• Vistas de búsqueda en otros estados: el sistema no admite la eliminación.

Modificar una vista de búsqueda

Después de crear una vista de búsqueda, ajuste sus parámetros de ejecución o modifique su lógica de sincronización, por ejemplo, para agregar campos de sincronización o cambiar condiciones de consulta. AutoETL ofrece tres métodos de modificación:

• Para ajustar únicamente parámetros de ejecución como el paralelismo y el uso de recursos de cómputo, use la modificación de parámetros. No se requieren cambios en el SQL de sincronización.

• Al modificar la lógica de sincronización, prefiera la modificación de SQL en el lugar. Si las definiciones SQL son compatibles, la sincronización continúa desde el punto de control original sin necesidad de resincronizar todo. Consulte DDL change rules and best practices para determinar si las definiciones SQL son compatibles.

• Si las definiciones SQL son incompatibles y no es posible la modificación en el lugar, use la modificación con "nuevo índice + nueva vista de búsqueda" para reconstruir.

ALTER SEARCH VIEW view_name UPDATE WITH (new_option_list);

ALTER SEARCH VIEW view_test UPDATE WITH ('parallelism' = '8', 'link.tm.cpu' = '4', 'link.tm.slots' = '8');

ALTER SEARCH VIEW view_name UPDATE
 [TO (column_list, PRIMARY KEY (pk_column_list))]
 AS new_select_statement;

Crear un vínculo de sincronización

Sintaxis

CALL dbms_etl.sync_by_sql("search", "<sync_sql>");

Ejemplos

CALL dbms_etl.sync_by_sql("search", "

-- Step 1: Define the PolarDB source table
CREATE TEMPORARY TABLE `db1`.`t1` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'mysql',
 'database-name' = 'db1',
 'table-name' = 't1'
);

-- Step 2: Define the PolarSearch destination table
CREATE TEMPORARY TABLE `dest` (
 `id` BIGINT,
 `max_c` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'opensearch',
 'index' = 'dest'
);

-- Step 3: Define the computation and insert logic
INSERT INTO `dest`
SELECT
 `t1`.`id`,
 MAX(`t1`.`c1`)
FROM `db1`.`t1` AS `t1`
GROUP BY `t1`.`id`;
");

Comprobar los datos

Conéctese al nodo PolarSearch y use una API REST compatible con Elasticsearch para consultar y comprobar que los datos se hayan sincronizado.

# Replace <polarsearch_endpoint> with the PolarSearch node endpoint
curl -u <user>:<password> -X GET "http://<polarsearch_endpoint>/dest/_search"

Gestionar vínculos de sincronización

Use los siguientes comandos para consultar los vínculos de sincronización creados, o bien para detener, reiniciar o reconstruir la sincronización de datos. Todos los comandos deben ejecutarse en un cliente de base de datos después de conectarse al clúster.

CALL dbms_etl.show_sync_link();

CALL dbms_etl.show_sync_link_by_id('<sync_id>')\G

*************************** 1. row ***************************
 SYNC_ID: crb5rmv8rttsg
 NAME: crb5rmv8rttsg
 SYSTEM: search
SYNC_DEFINITION: db1.t1 -> dest
 SOURCE_TABLES: db1.t1
 SINK_TABLES: dest
 STATUS: active -- Link status. active indicates normal operation
 MESSAGE: -- If an error occurs, the error message is displayed here
 CREATED_AT: 2024-05-20 11:55:06
 UPDATED_AT: 2024-05-20 17:28:04
 OPTIONS:...

CALL dbms_etl.stop_sync_link('<sync_id>');

CALL dbms_etl.restart_sync_link('<sync_id>');

CALL dbms_etl.rebuild_sync_link('<sync_id>');

Eliminar un vínculo de sincronización

Esta operación detiene la sincronización de datos y limpia los recursos relacionados.

CALL dbms_etl.drop_sync_link('<sync_id>');

El sistema gestiona la eliminación con drop_sync_link de manera distinta según el estado del vínculo:

• Vínculo en estado active: el estado cambia primero a dropping. Después de que el sistema termina de limpiar los recursos del vínculo y los datos del índice de destino, el estado cambia a dropped.

• Vínculo en estado dropped: el sistema elimina por completo la información del vínculo.

• Vínculos en otros estados: el sistema no admite la eliminación.

Modificar un vínculo de sincronización

Después de crear un vínculo de sincronización, ajuste sus parámetros de ejecución o modifique su SQL de sincronización. Al igual que con las vistas de búsqueda, AutoETL ofrece tres métodos de modificación:

• Para ajustar únicamente parámetros de ejecución como el paralelismo y el uso de recursos de cómputo, use la modificación de parámetros. No se requieren cambios en el SQL de sincronización.

• Al modificar el SQL de sincronización, prefiera la modificación de SQL en el lugar. Si las definiciones SQL son compatibles, la sincronización continúa desde el punto de control original sin necesidad de resincronizar todo. Consulte DDL change rules and best practices para determinar si las definiciones SQL son compatibles.

• Si las definiciones SQL son incompatibles y no es posible la modificación en el lugar, use la modificación con "nuevo índice + nuevo vínculo" para reconstruir.

SET esl_link_options = "<new_option_list>";
CALL dbms_etl.update_sync_link('<sync_id>', '');

SET esl_link_options = "'parallelism' = '8', 'link.tm.cpu' = '4', 'link.tm.slots' = '8'";
CALL dbms_etl.update_sync_link('8f4228x2uq12z', '');

CALL dbms_etl.update_sync_link('<sync_id>', '<new_sync_sql>');

CALL dbms_etl.update_sync_link('8f4228x2uq12z', "

CREATE TEMPORARY TABLE `db1`.`t1` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'mysql',
 'database-name' = 'db1',
 'table-name' = 't1'
);

CREATE TEMPORARY TABLE `dest` (
 `id` BIGINT,
 `c1` STRING,
 PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
 'connector' = 'opensearch',
 'index' = 'dest'
);

INSERT INTO `dest` SELECT `id`, `c1` FROM `db1`.`t1` WHERE `c1` > 20;
");