A medida que se acumulan datos en una instancia Enterprise Edition, los archivos pequeños y las instantáneas caducadas degradan el rendimiento de las consultas y desperdician almacenamiento. La optimización del almacenamiento de lake compacta archivos pequeños, limpia archivos huérfanos y gestiona el ciclo de vida de las instantáneas para mantener un diseño de almacenamiento óptimo.
Esta función se encuentra en fase de prueba por invitación. Para solicitar acceso, envíe un ticket.
Alcance
|
Condición |
Requisito |
|
Edición de la instancia |
Enterprise Edition. |
|
Tipo de base de datos |
Solo bases de datos y tablas en el almacenamiento de lake de AnalyticDB for MySQL. |
|
Visibilidad |
Solo se pueden configurar las bases de datos visibles en Data Catalog. |
Herencia de tres niveles
La configuración se aplica en cascada a través de Instance > Database > Table. Cada nivel hereda la configuración de su nivel superior de forma predeterminada, pero puede anularla con valores personalizados.
Instance-level settings (global defaults)
├── Database A (inherits instance settings)
│ ├── Table 1 (inherits Database A settings)
│ └── Table 2 (custom: compaction frequency = high)
└── Database B (custom: lake storage optimization disabled)
└── Table 3 (inherits Database B → disabled)|
Política |
Comportamiento |
Caso de uso |
|
Inherit |
Sigue automáticamente los cambios del nivel superior. |
Bases de datos y tablas que requieren configuraciones uniformes. |
|
Custom |
Utiliza configuraciones independientes y no se ve afectado por cambios en el nivel superior. |
Objetos con necesidades específicas de rendimiento o que requieren deshabilitar la optimización. |
Prioridad: nivel de tabla > nivel de base de datos > nivel de instancia. Después de seleccionar Custom, ese nivel y sus elementos secundarios dejan de verse afectados por los cambios realizados en el nivel superior.
Si desactiva el interruptor Enable Lake Storage Optimization en el nivel de instancia, se desactivarán todas las configuraciones de nivel de base de datos y de tabla, y se detendrá la optimización en toda la instancia. Los parámetros configurados se conservan y se restauran automáticamente al volver a habilitar la optimización.
Acceso a la configuración
En la página de detalles de la instancia, elija en el panel de navegación izquierdo.
|
Nivel |
Punto de entrada |
|
Instancia |
Haga clic en Edit en la sección Lake Storage Optimization, situada encima de la lista de bases de datos. |
|
Base de datos |
Haga clic en la base de datos objetivo y vaya a la pestaña Lake Storage Optimization. |
|
Tabla |
Haga clic en la tabla objetivo y vaya a la pestaña Lake Storage Optimization. |
Parámetros
|
Parámetro |
Descripción |
Valores válidos |
Predeterminado |
Instancia |
Base de datos |
Tabla |
|
Enable Lake Storage Optimization |
Interruptor global para la instancia. |
On / Off |
Off |
✓ |
— |
— |
|
Política |
Hereda la configuración del nivel superior o utiliza valores personalizados. |
Inherit / Custom |
Inherit |
— |
✓ |
✓ |
|
Estado |
Habilita o deshabilita la optimización en este nivel. |
On / Off |
— |
— |
✓ |
✓ |
|
Resource Group |
Recursos de cómputo para ejecutar tareas de optimización. |
Resource groups existentes. |
— |
✓ |
✓ |
✓ |
|
Small File Merge Frequency |
Frecuencia con la que se compactan los archivos pequeños. |
low / normal / high |
normal |
✓ |
✓ |
✓ |
|
Snapshot Retention Period |
Tiempo durante el cual se conservan las instantáneas históricas. |
1 a 7 días |
7 días |
✓ |
✓ |
✓ |
|
Orphan File Retention Period |
Tiempo durante el cual se conservan los archivos huérfanos antes de su limpieza. |
3 / 5 / 7 / 10 / 14 días |
3 días |
✓ |
✓ |
✓ |
Cuando el interruptor a nivel de instancia está desactivado, solo dicho interruptor es visible. Los demás parámetros aparecen después de activarlo. En los niveles de base de datos y tabla, los parámetros se muestran tras seleccionar Custom y habilitar el estado.
Frecuencia de compactación de archivos pequeños
La compactación de archivos pequeños fusiona archivos de datos reducidos en otros más grandes para disminuir la cantidad total de archivos y mejorar la eficiencia de las consultas.
|
Nivel |
Caso de uso |
|
low |
Tablas de datos fríos con bajo volumen de escritura y cambios poco frecuentes. |
|
normal (predeterminado) |
Cargas de trabajo de propósito general. |
|
high |
Tablas de datos calientes con alto rendimiento de escritura y consultas frecuentes. |
Una mayor frecuencia de compactación consume más recursos de cómputo. Asigne un resource group dedicado a las tareas de optimización para evitar contención de E/S con las cargas de trabajo de consulta.
Periodo de retención de instantáneas
Las instantáneas capturan el estado completo de una tabla en un momento específico para permitir la reversión de datos y consultas de viaje en el tiempo. El exceso de instantáneas incrementa el uso de almacenamiento y la sobrecarga de metadatos. El periodo de retención predeterminado es de 7 días; el mínimo es de 1 día.
Periodo de retención de archivos huérfanos
Los archivos huérfanos son archivos de datos generados por escrituras, actualizaciones o compactaciones que ninguna instantánea válida referencia. Se limpian automáticamente después del periodo de retención para recuperar espacio de almacenamiento.
Reducir el periodo de retención ahorra almacenamiento, pero puede afectar a las consultas de larga duración que se encuentren en curso. El mínimo es de 3 días.
Historial de ejecución
En la pestaña Lake Storage Optimization a nivel de tabla, consulte el historial de ejecución de las tareas de compactación, incluidos los archivos de datos leídos, archivos de datos agregados, bytes leídos, archivos de datos con errores, hora de inicio y estado.
Configuraciones recomendadas
|
Escenario |
Configuración recomendada |
Razón |
|
Tablas analíticas de alta frecuencia. |
Frecuencia de compactación = high, Retención de archivos huérfanos = 3 días. |
Elimina rápidamente los archivos pequeños y mantiene el rendimiento de las consultas. |
|
Tablas de archivo de baja frecuencia. |
Frecuencia de compactación = low, Retención de archivos huérfanos = 14 días. |
Reduce el consumo de recursos y amplía la ventana de recuperación de datos. |
|
Bases de datos con cargas de trabajo mixtas. |
Nivel de base de datos = inherit, Tablas calientes = custom con high, Tablas frías = custom con low. |
Permite una optimización por tabla adaptada a los patrones de carga de trabajo. |
|
Entornos de desarrollo y pruebas. |
Deshabilite la optimización del almacenamiento de lake a nivel de instancia. |
Conserva los recursos de cómputo. |