Delegación de la compactación a recursos serverless - Hologres - Centro de documentación de Alibaba Cloud

Históricamente, la compactación que se activa por cargas masivas de datos consumía los recursos dedicados de la instancia. Esto competía con las consultas y reducía la estabilidad de la instancia. A partir de Hologres V3.1.11, puede delegar la compactación a recursos serverless para que se ejecute de forma concurrente con la importación, sin afectar el virtual warehouse de su instancia.

Cómo funciona

Cuando esta función está habilitada, la compactación que activa una carga masiva se ejecuta en recursos serverless en lugar de usar los recursos dedicados de la instancia. De este modo, se protege el rendimiento de las demás operaciones.

Habilitar la delegación de la compactación

Establezca hg_serverless_computing_run_compaction_before_commit_bulk_load en on. La configuración surte efecto en el nivel donde se aplica.

Comandos de configuración

Level	Command
Sesión	`SET hg_serverless_computing_run_compaction_before_commit_bulk_load = on;`
Usuario	`ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_serverless_computing_run_compaction_before_commit_bulk_load = on;`
Base de datos	`ALTER DATABASE <db_name> SET hg_serverless_computing_run_compaction_before_commit_bulk_load = on;`

Referencia de parámetros

Attribute	Value
Tipo	Booleano
Valores	`on`: la compactación se ejecuta en recursos serverless; `off`: la compactación usa los recursos dedicados de la instancia
Alcance	Sesión, usuario o base de datos

Limitaciones

Tiempo de importación: habilitar esta opción aumenta ligeramente el tiempo de importación de datos, pero mejora de forma significativa la estabilidad de la instancia bajo carga concurrente.
Alcance: la compactación concurrente solo aplica a las importaciones masivas de datos. La limpieza de datos obsoletos durante la compactación sigue utilizando los recursos dedicados de la instancia.
Nivel de almacenamiento: la compactación concurrente solo aplica a los datos importados al almacenamiento activo (nivel Standard). Los datos importados al almacenamiento inactivo (nivel Infrequent Access) no se ven afectados.

Ejemplo

En este ejemplo se utiliza la función public dataset import de HoloWeb para importar el conjunto de datos TPC-H de 100 GB. Al ejecutar la misma importación con y sin compactación concurrente, podrá comparar el efecto sobre el consumo de recursos de la instancia.

Deshabilite la compactación concurrente en la base de datos y ejecute una tarea de importación de datos.
```
 ALTER DATABASE <db_name> SET hg_serverless_computing_run_compaction_before_commit_bulk_load = off;
```
Habilite la compactación concurrente en la base de datos y vuelva a ejecutar la tarea de importación de datos.
```
 ALTER DATABASE <db_name> SET hg_serverless_computing_run_compaction_before_commit_bulk_load = on;
```
Una vez que ambas importaciones finalicen, compruebe las métricas de monitoreo de la instancia. Las siguientes gráficas confirman que, con la compactación concurrente habilitada, la tarea de importación utiliza los recursos serverless como se espera. Además, la tarea de compactación no consume recursos dedicados del virtual warehouse.
- Uso de CPU del virtual warehouse
- QPS de las tareas de importación
- Uso de recursos serverless