DataWorks:Uso de tablas dinámicas de Hologres

Paso 1: Preparación de los datos de origen

Prepare una tabla de origen en su base de datos de Hologres. Ejecute las siguientes sentencias SQL para crear una tabla de pedidos llamada orders e insertar datos iniciales:

-- Create the source table and enable Binlog to support incremental refresh
CREATE TABLE orders (
    order_id INT PRIMARY KEY,
    user_id INT,
    user_name TEXT,
    price FLOAT,
    order_time TIMESTAMPTZ
) WITH (
    binlog_level = 'replica', -- Key setting: enable Binlog
    binlog_ttl = '86400'      -- Binlog retention period in seconds, for example, one day
);
-- Insert initial data
INSERT INTO orders VALUES 
(1, 101, 'Alice', 99.9, NOW()),
(2, 102, 'Bob', 19.5, NOW()),
(3, 101, 'Alice', 25.0, NOW());

Paso 2: Apertura de la página de creación de tablas dinámicas

Abra la página de creación de tablas dinámicas para la base de datos de Hologres objetivo. Para obtener instrucciones, consulte Open the dynamic table creation page.

Paso 3: Definición de la lógica de consulta y ejecución de la precompilación

1. Introduzca la información básica:

   • Dynamic table name: Introduzca un nombre de tabla único, como dt_user_orders_agg.

   • Description: Introduzca el propósito de la tabla, por ejemplo, "Estadísticas de pedidos agregadas por usuario".

2. En la sección Field Information, en la pestaña Data Generation SQL, escriba la consulta SELECT que define la lógica de datos de la tabla dinámica:

   SELECT 
       user_id,
       user_name,
       COUNT(*) AS order_count,
       SUM(price) AS total_price
   FROM public.orders
   GROUP BY user_id, user_name;

   Nota

   Introduzca únicamente la sentencia SELECT. No es necesario incluir el comando DDL CREATE DYNAMIC TABLE. El sistema analiza la sentencia DDL completa a partir de su configuración y la muestra en el área DDL de la derecha.

3. Haga clic en Precompile encima del editor SQL.

   La precompilación es un paso obligatorio. Si la precompilación se realiza correctamente, el sistema enumera los modos de actualización compatibles y analiza las columnas de salida de la tabla dinámica. Si la precompilación falla, el sistema devuelve la causa específica. Modifique la sentencia SQL según el mensaje y vuelva a ejecutar la precompilación. Para saber qué verifica la precompilación y cómo interpretar su resultado, consulte Appendix: configuration reference.

4. (Opcional) Haga clic en la pestaña Field Details para ver todas las columnas, tipos de datos y propiedades de no nulo que analizó el sistema, y agregue un comentario para cada columna en la columna Description para facilitar la lectura de los metadatos.

Para este ejemplo, la pestaña Field Details muestra cuatro columnas: user_id (entero), user_name (texto), order_count (bigint) y total_price (precisión doble). Todas las columnas son no nulas.

Este ejemplo no utiliza la configuración de particiones ni la configuración avanzada de parámetros. Para ver las descripciones de los parámetros, consulte Appendix: configuration reference.

Paso 4: Configuración de la política de actualización de datos

Una vez que la precompilación se realiza correctamente, el panel Refresh Policy en el lado derecho de la página se vuelve editable.

Seleccione la política de actualización que se ajuste a su escenario. Auto-Refresh es la opción predeterminada recomendada cuando no necesita forzar un modo de actualización específico. Incremental Refresh fuerza únicamente la actualización incremental, y Full Refresh se aplica cuando la tabla de origen no tiene clave primaria ni Binlog. Este ejemplo utiliza Incremental Refresh porque el escenario requiere una sincronización de datos de baja latencia.

Para ver la descripción completa de cada parámetro, consulte Appendix: configuration reference y Hologres refresh modes and resources.

• Basic Parameters:

  • Table Type: Dado que no se seleccionó ninguna columna de partición, el sistema identifica la tabla como una Non-Partitioned Table.

  • Refresh Policy: Seleccione Incremental Refresh.

  • Refresh trigger method: Mantenga Hologres auto refresh, que es el único valor compatible.

  • Automatically Refresh Data: Mantenga el valor predeterminado Yes.

  • Data Freshness: Establezca este parámetro en 5 minutes. De este modo, la latencia de la tabla dinámica respecto a la tabla de origen se mantendrá siempre dentro de los 5 minutos.

  • Base Table Consumption Mode for Incremental Refresh: Seleccione stream.

  • Hologres computing resources: Seleccione Serverless resources para que las tareas de actualización no consuman los recursos de su propia instancia.

• Advanced Parameters (opcional): Mantenga los valores predeterminados en este ejemplo. Para establecer parámetros GUC especiales, consulte GUC parameters.

Paso 5: Publicación de la tabla dinámica

1. Tras confirmar que todas las configuraciones son correctas, haga clic en Publish en la parte superior de la página.

2. En el cuadro de diálogo de confirmación que aparece, haga clic nuevamente en Publish.

La tabla dinámica de Hologres se crea y se publica. Cuando se insertan o actualizan datos en la tabla de origen orders, la tabla dinámica dt_user_orders_agg actualiza sus resultados agregados en aproximadamente 5 minutos.

Paso 6: Verificación de la actualización

Inserte o actualice filas en la tabla de origen orders. Una vez transcurrida la ventana de frescura de datos configurada de 5 minutos, consulte dt_user_orders_agg. Los resultados agregados incluirán los nuevos datos. Para comprobar si las tareas de actualización se ejecutan según lo esperado, consulte View and monitor dynamic tables.

Paso 1: Preparación de los datos de origen

Cree una tabla de origen llamada users que registre la información de registro de usuarios. La tabla debe contener una columna de marca de tiempo que sirva como base para la creación de particiones.

-- Create the user registration table and enable Binlog
CREATE TABLE users (
    user_id INT PRIMARY KEY,
    user_name TEXT,
    region TEXT,
    registration_time TIMESTAMPTZ  -- User registration time, of the TIMESTAMPTZ type
) WITH (
    binlog_level = 'replica',
    binlog_ttl = '86400'
);
-- Insert test data. Replace the dates with the current data timestamp.
INSERT INTO users VALUES 
(1, 'Alice', 'CN-Hangzhou', '2026-02-27 10:00:00+08'),
(2, 'Bob', 'CN-Shanghai', '2026-02-27 14:30:00+08'),
(3, 'Charlie', 'CN-Beijing', (NOW() - INTERVAL '1 day')::TIMESTAMPTZ);

En estos datos de muestra, Alice y Bob se registraron en la fecha actual, mientras que Charlie se registró un día antes. Las dos fechas de registro muestran cómo se distribuyen los registros entre las particiones diarias.

Paso 2: Apertura de la página de creación de tablas dinámicas

Abra la página de creación de tablas dinámicas para la base de datos de Hologres objetivo. Para obtener instrucciones, consulte Open the dynamic table creation page.

Paso 3: Definición de la lógica de consulta y ejecución de la precompilación

1. Introduzca la información básica:

   • Dynamic table name: dwd_user_new_user_detail_di

   • Description: Estadísticas detalladas diarias de nuevos usuarios

2. Escriba una sentencia SQL que extraiga todos los registros de usuarios de la tabla users. No es necesario filtrar la hora manualmente en la cláusula WHERE, ya que el mecanismo de particiones de la tabla dinámica lo gestiona automáticamente.

   SELECT 
       user_id,
       user_name,
       region,
       registration_time, -- Keep the original precise time column for queries
       CAST(registration_time AS DATE) AS ds -- [Key] Cast the timestamp to the DATE type to use as the partition key
   FROM public.users;

3. Haga clic en Precompile. Una vez que la precompilación se realiza correctamente, el sistema analiza la información de las columnas.

Paso 4: Selección de la columna de partición

Seleccionar una columna de partición es el paso que convierte la tabla dinámica en una tabla con particiones.

1. En la sección Partition Field Information, haga clic en la lista desplegable Partition Column.

2. Seleccione la nueva columna ds como columna de partición.

Después de seleccionar la columna de partición, DataWorks identifica la tabla como una tabla con particiones y muestra los elementos de configuración relacionados con las particiones.

Paso 5: Configuración de las políticas de partición y actualización

Para ver la descripción completa de cada parámetro, consulte Appendix: configuration reference y Hologres partition properties.

• Partition Configurations:

  • Partition Properties: El sistema muestra Logical Partition automáticamente.

  • Partition Format: Seleccione yyyy-mm-dd para crear particiones por día, lo cual coincide con los valores DATE de la clave de partición ds.

  • Partition Refresh Scope: Establezca este parámetro en 7 days.

  • Partition Management > Partition Retention Period: Establezca este parámetro en 30 days.

• Refresh Policy Configurations:

  • Refresh Policy: Seleccione Auto-Refresh para permitir que Hologres decida entre la actualización incremental y la completa.

  • Refresh trigger method: Mantenga Hologres auto refresh, que es el único valor compatible.

  • Data Freshness: Establezca este parámetro en 10 minutes.

  • Hologres computing resources: Seleccione Serverless resources.

Paso 6: Publicación de la tabla dinámica

Haga clic en Publish en la parte superior de la página.

Paso 7: Visualización de las particiones y verificación de los datos

1. Expanda la tabla dwd_user_new_user_detail_di. Aparecerán las subtablas de partición creadas según la fecha, como 2026-02-27.

2. En un nodo SQL de Hologres, inserte nuevos datos correspondientes al día actual en la tabla users:

   INSERT INTO users VALUES (4, 'David', 'CN-Shenzhen', '2026-02-27 18:00:00+08');

3. Espere aproximadamente 10 minutos a que se ejecute la actualización automática. Para verificar el resultado de inmediato, actualice la partición manualmente:

   REFRESH DYNAMIC TABLE dwd_user_new_user_detail_di PARTITION (ds = '2026-02-27');

4. Consulte los datos mediante la nueva clave de partición ds, lo cual resulta más eficiente:

   -- Efficient query: filter directly on the partition key
   SELECT * FROM dwd_user_new_user_detail_di WHERE ds = '2026-02-27';

La consulta devuelve los registros cuya hora de registro corresponde a la fecha consultada, incluido el nuevo usuario David (user_id=4, CN-Shenzhen). Cada registro devuelto contiene las columnas user_id, user_name, region, registration_time y ds, y el valor ds de cada registro devuelto es la fecha consultada. Charlie (user_id=3, CN-Beijing) se registró un día antes, por lo que ese registro pertenece a la partición del día anterior y la consulta no lo devuelve.

Visualización de la información estática

Los siguientes elementos de la página de detalles describen cómo se define la tabla dinámica:

• Details: La información del esquema de la tabla, como la lista de columnas, los tipos de datos y la clave primaria.

• Basic information: Las configuraciones principales de la tabla, como el propietario, la lógica de actualización de datos (SQL) y la política de actualización.

• DDL: La sentencia DDL completa que crea la tabla dinámica. Puede copiar la sentencia para migrar o reproducir la tabla.

Supervisión de las tareas de actualización

Haga clic en la pestaña Output information para supervisar el estado de actualización de la tabla dinámica.

• Data refresh: Si hay una tarea de actualización en ejecución, esta área muestra información en tiempo real sobre la tarea, como el PID, el ID de consulta, el estado y la duración de ejecución.

• Output History: Esta área registra el historial de cada tarea de actualización. La siguiente tabla describe los campos de cada registro.

Control de la actualización de una tabla dinámica

Los siguientes botones de acción están disponibles en la pestaña Output information:

• Pause Refresh / Recovery Refresh: Detiene temporalmente o reanuda la actualización automática de Hologres.

• Manual Refresh: Desencadena una tarea de actualización manualmente para actualizar los datos de inmediato.

• Convert to Full Table: Cambia el modo de actualización de la tabla dinámica a Full Refresh y detiene la actualización automática. Este botón solo aparece cuando la política de actualización de la tabla dinámica es Auto-Refresh o Incremental Refresh.

Modificación de una tabla dinámica

Busque la tabla dinámica en el módulo Data Directory y luego haga clic en Edit en la esquina superior derecha de la página de detalles para abrir la página de edición. La mayoría de los elementos de configuración admiten modificaciones. Para conocer los parámetros que puede modificar, consulte la documentación de Hologres: Modify a dynamic table.

Eliminación de una tabla dinámica

En la lista de tablas dinámicas del módulo Data Directory, haga clic con el botón derecho en la tabla objetivo y seleccione Delete.

Información de columnas y columna de partición

• Información de columnas (SQL): La consulta SELECT que define el origen de datos de la tabla dinámica. La precompilación es un paso obligatorio.

• Columna de partición

  • No seleccionada: Crea una tabla sin particiones.

  • Columna de hora o fecha seleccionada: Crea una tabla con particiones. El sistema cambia automáticamente al modo de configuración de tabla con particiones.

Configuraciones de actualización de datos

Configuraciones de partición

Los siguientes elementos de configuración solo aparecen después de seleccionar una columna de partición. Las tablas dinámicas de la nueva versión utilizan todas particiones lógicas.

• Formato de partición: (Obligatorio) Define cómo se generan las particiones a partir de los valores de la columna de partición. Por ejemplo, si el tipo de columna es TIMESTAMPTZ y selecciona el formato yyyy-mm-dd, las particiones se crean por día.

• Alcance de actualización de particiones: Define el rango de particiones activas para la actualización automática. Por ejemplo, si establece el rango en los últimos 7 días, Hologres actualizará automáticamente solo las particiones de los últimos 7 días. Las particiones anteriores dejan de actualizarse automáticamente, lo que ahorra recursos.

• Gestión de particiones (contraído de forma predeterminada)

  • Periodo de retención de particiones: Establece el tiempo de vida (TTL) de una partición. Las particiones caducadas se eliminan automáticamente.

  • Periodo de retención de almacenamiento caliente para datos de partición: Funciona con el almacenamiento escalonado en caliente y frío para definir cuánto tiempo permanecen los datos de la partición en el almacenamiento caliente (SSD).

Configuración avanzada (propiedades de la tabla)

Las siguientes propiedades físicas se aplican a la tabla dinámica en sí y son similares a la configuración de una tabla regular de Hologres.