Todos los productos
Search

Este producto

    Data Lake Formation:Optimización automática del almacenamiento de tablas Paimon

    Centro de documentos

    Data Lake Formation:Optimización automática del almacenamiento de tablas Paimon

    Última actualización: Sep 17, 2026

    La optimización de almacenamiento de DLF simplifica el mantenimiento de las tablas Paimon mediante la compactación adaptativa, la limpieza de instantáneas caducadas, la gestión del ciclo de vida de las particiones y la eliminación de archivos huérfanos. Esta guía describe las estrategias de optimización disponibles y cómo las ejecuta DLF.

    Estrategias de optimización de almacenamiento

    Tipo de estrategia

    Descripción

    Mecanismo de ejecución de DLF

    Compaction

    Fusiona archivos pequeños en otros más grandes. Esto reduce la cantidad de archivos, la sobrecarga de metadatos y los costos de búsqueda durante las consultas, lo que mejora el rendimiento de las consultas en las tablas Paimon.

    DLF activa automáticamente la compactación cuando se confirman las escrituras de datos.

    Expired snapshot cleanup

    Las instantáneas protegen los archivos de datos referenciados para evitar su eliminación y conservan los estados históricos. A medida que se acumulan, aumenta el consumo de almacenamiento. La caducidad de las instantáneas innecesarias libera espacio.

    DLF activa la limpieza de instantáneas caducadas de forma automática durante los trabajos de optimización de almacenamiento. El tiempo de caducidad predeterminado es de una hora, pero se ajusta mediante los parámetros de la tabla Paimon. Para obtener más información, consulte Clean up expired data.

    Partition lifecycle management

    Muchos escenarios requieren únicamente datos recientes. Particione los datos por tiempo y establezca reglas de caducidad para eliminar automáticamente las particiones antiguas y liberar espacio. Configure niveles de almacenamiento inteligente para mover los datos con acceso poco frecuente desde Standard hacia clases de almacenamiento de menor costo (Infrequent Access, Archive o Cold Archive).

    Configure el tiempo de caducidad mediante los parámetros de la tabla Paimon en Set partition expiration time. Después de la configuración, la limpieza se activa automáticamente durante los trabajos de optimización de almacenamiento de DLF. Utilice intelligent storage tiering para mover los datos de partición elegibles a clases de almacenamiento de menor costo, o bien manually change the storage class en la página Table Details. La página Storage Overview muestra la distribución de niveles entre catálogos, bases de datos y tablas.

    Orphan file cleanup

    Los archivos huérfanos existen en la ruta de almacenamiento de la tabla, pero ninguna instantánea los referencia. Por lo general, son resultado de trabajos de escritura interrumpidos, confirmaciones con errores o residuos de procesos de limpieza anómalos. Como ninguna instantánea los referencia, la caducidad no puede eliminarlos, por lo que requieren una limpieza periódica.

    Puede activar la limpieza de archivos huérfanos manualmente desde la consola o habilitar la limpieza automática. Los archivos huérfanos limpiados se mueven temporalmente a la papelera de reciclaje (system.trash) y se eliminan después del periodo de retención.

    Habilitar o deshabilitar la optimización inteligente de almacenamiento

    Nota

    La pestaña Storage Optimization aparece solo para las tablas Paimon.

    1. Inicie sesión en la consola de DLF

    2. En la página Catalogs, haga clic en el nombre del catálogo.

    3. En la pestaña Database, haga clic en el nombre de la base de datos de destino para consultar sus tablas.

    4. En la lista Tables, haga clic en el nombre de la tabla de destino para consultar la información de su esquema.

    5. Haga clic en la pestaña Storage Optimization. El interruptor de optimización inteligente de almacenamiento está habilitado de forma predeterminada. Para deshabilitarlo, haga clic en el interruptor image.

    Consultar y configurar estrategias de optimización de almacenamiento

    Compactación

    En la pestaña Storage Optimization, haga clic en Compaction para consultar el estado de ejecución, los registros de reescalado y el historial de ejecución.

    Edite el modo de política según sus necesidades:

    Modo de recursos dinámicos (recomendado)

    El sistema escala automáticamente los recursos de cómputo según la carga de trabajo en tiempo real, lo que elimina la planificación manual de capacidad. Es adecuado para tráfico fluctuante. Hay tres preferencias de configuración disponibles:

    • Balanced: equilibra la velocidad de compactación y el consumo de recursos (predeterminado).

    • Low latency: asigna más recursos para lograr una compactación más rápida y reducir el retraso en la visibilidad de los datos.

    • Low resource usage: limita el uso de recursos para reducir los costos de cómputo, a cambio de un mayor tiempo de compactación.

      Asignación y escalado dinámico de recursos

      En el modo de recursos dinámicos, el sistema asigna recursos de cómputo según la carga de trabajo en tiempo real y las características de los datos. Los siguientes factores determinan la asignación de recursos y el escalado automático.

      Rendimiento de escrituraEl tráfico de escritura es el factor principal. Un mayor volumen de escritura activa más recursos de cómputo para mantener una ingesta de datos estable.

      Concurrencia activaLa cantidad de particiones y buckets activos determina los recursos necesarios. A mayor número de particiones y buckets activos, se destinan más recursos de procesamiento paralelo.

      Escala de datos para funciones avanzadasLas tablas con funciones avanzadas, como deletion vectors o un lookup changelog producer, aumentan la complejidad computacional. Los tamaños totales de archivo más grandes dentro de las particiones activas requieren más recursos.

      Características de las filas de datosLos tamaños extremos de fila incrementan la sobrecarga de procesamiento. Ya sea que las filas sean demasiado pequeñas (con muchos valores nulos) o demasiado grandes (campos de cadena largos), el sistema aumenta la asignación de recursos para mantener el rendimiento.

      Optimización de recursos para tablas pequeñas

      Para las tablas pequeñas, el sistema utiliza un mecanismo de uso compartido que reduce la sobrecarga de recursos:

      Cuando una tabla usa postponed bucketing (bucket = -2) y el modo "Prioritize Latency" no está habilitado, el sistema combina las tareas de optimización de varias tablas pequeñas en un solo trabajo. De esta manera, disminuye el consumo general de recursos.

      Monitoreo de recursos y solución de problemas

      Para analizar el consumo de recursos, vaya a Catalogs > Resource Overview > Resource Requests y consulte la lista Top Tables by CU-Hours.

      Nota

      Un uso de recursos anormalmente alto en una sola tabla suele deberse a una estrategia de particionamiento demasiado detallada. Esto aumenta las particiones activas simultáneamente y obliga al sistema a asignar recursos excesivos. Revise y optimice su estrategia de particionamiento.

    Modo de recursos fijos

    Especifique manualmente los recursos de cómputo para la compactación. Este método es adecuado para tráfico estable o cuando se requiere un control estricto de costos.

    • Requisitos de configuración: mínimo 2 CU.

    • Configuración de parámetros: personalice el intervalo de activación de la compactación y la cantidad de buckets.

    Consultar el estado de ejecución

    Consulte el estado de ejecución de la optimización para la tabla actual y configure las suscripciones de alertas de CloudMonitor mediante Monitor lakehouse optimization.

    Consultar los registros de reescalado

    Registra los eventos de reescalado de buckets para una tabla o particiones específicas, lo que refleja los cambios en la estructura física de almacenamiento. El reescalado resuelve los problemas de rendimiento derivados de variaciones en el volumen de datos. Utilice estos registros para comprobar si una tabla está en proceso de reescalado, ya que esto impide la compactación.

    Consultar el historial de ejecución

    Consulte el historial de ejecución de compactación de la tabla actual. Estos registros le permiten:

    1. Confirmar la ejecución de tareas: compruebe que las tareas de compactación en segundo plano se ejecuten correctamente para evitar la acumulación de archivos pequeños.

    2. Evaluar la eficiencia de la compactación: compare la cantidad y el tamaño de los archivos antes y después de la compactación para determinar la eficacia de la estrategia.

    Limpieza de instantáneas caducadas

    En la pestaña Storage Optimization, haga clic en Expired Snapshot Cleanup para configurar las reglas de limpieza y consultar los resultados.

    • Configure las reglas de limpieza de instantáneas

      Haga clic en Modify, establezca el Snapshot Retention Period (el valor predeterminado es 1 hora) y haga clic en Save.

    • Consulte los resultados de la limpieza de instantáneas

      • Cantidad actual de instantáneas: el número de instantáneas restantes.

      • Información de la instantánea más antigua: detalles de la primera instantánea, incluido su ID, la hora de confirmación, el tipo de confirmación, la cantidad total de filas y las filas agregadas en dicha confirmación.

    Gestión del ciclo de vida de las particiones

    En la pestaña Storage Optimization, haga clic en Partition Lifecycle para configurar las reglas de limpieza, consultar los resultados y establecer los niveles de almacenamiento.

    Reglas de limpieza de particiones

    1. Haga clic en el interruptor image junto a Expired Partition Cleanup para habilitarlo.

    2. Configure a continuación las reglas de limpieza y haga clic en Save.

      También puede configurar estos ajustes mediante pares clave-valor en las opciones de la tabla.

      Parámetro

      Descripción

      Expiration Policy

      (partition.expiration-strategy)

      Puede seleccionar una de las siguientes estrategias de caducidad:

      • Based on last access time (access-time): hace caducar las particiones según su última hora de acceso.

      • Based on partition value (values-time): permite configurar el formato y el patrón de la marca de tiempo de la partición.

        • Timestamp format (partition.timestamp-formatter): puede configurar formatos como yyyy-MM-dd, yyyyMdd, dd/MM/yyyy y dd.MM.yyyy.

        • Timestamp pattern (partition.timestamp-pattern): de forma predeterminada, se utiliza el primer campo de partición. Puede configurar patrones como $dt o $year-$month-$day.

      • Based on last update time (update-time): hace caducar las particiones según su última hora de actualización.

      Partition Retention Period

      (partition.expiration-time)

      Unidad: días. Ejemplo: 30d. El valor máximo es 999,999 días. El periodo de retención comienza según la estrategia de caducidad seleccionada.

    3. (Opcional) Después de guardar, haga clic en Cleanup Rule Settings junto a Modify para modificar la configuración.

    Nota

    Para conservar las particiones de forma permanente, no configure reglas de caducidad. De manera predeterminada, el sistema no limpia los datos de las particiones.

    Resultados de la limpieza de particiones

    Haga clic en View Partitions para consultar la lista de particiones. Esta incluye el nombre de la partición, la cantidad de filas, los archivos referenciados, el tamaño del archivo, el creador, la clase de almacenamiento, el último usuario que la modificó, las marcas de tiempo y las acciones.

    Niveles de almacenamiento

    Parámetro

    Descripción

    Intelligent Tiering

    imageCuando está habilitado, el sistema aplica niveles de almacenamiento automáticamente a todas las tablas del catálogo según las reglas de ciclo de vida configuradas. Especifique la estrategia y las reglas según sea necesario.

    Nota

    • Si se habilita a nivel de catálogo, las tablas heredan la configuración de forma predeterminada. Las modificaciones a nivel de tabla anulan la configuración del catálogo y eliminan el indicador de herencia.

    • Si no se habilita a nivel de catálogo, aún puede habilitarlo a nivel de tabla.

    Tiering Strategy

    • Last access time: evalúa las reglas según la última hora de acceso de los datos de la tabla o la partición.

    • Last update time: evalúa las reglas según la última hora de actualización de los datos de la tabla o la partición.

    Tiering Rule

    Los requisitos de duración mínima de almacenamiento varían según la clase de almacenamiento.

    Configure las reglas de niveles:

    • Transition to Infrequent Access

      • Inactivity threshold: personalizado. El valor predeterminado es 30 días.

        Los datos pasan al almacenamiento Infrequent Access después de este periodo de inactividad. Los motores de cómputo aún pueden acceder a ellos, aunque con un rendimiento reducido.

      • Automatically convert to Standard storage upon access: convierte una tabla o partición de nuevo al almacenamiento Standard cuando se accede a ella.

        Nota

        Esta función solo es compatible cuando la estrategia de niveles se establece en "Last access time".

    • Transition to Archive

      • Inactivity threshold: personalizado. El valor predeterminado es 60 días.

        Los datos pasan al almacenamiento Archive después de este periodo de inactividad. Los motores de cómputo no pueden acceder a los datos archivados.

      • Automatically Convert to Standard Storage upon Access: convierte una tabla o partición de nuevo al almacenamiento Standard cuando se accede a ella.

        Nota

        Esta función solo es compatible cuando la estrategia de niveles se establece en "Last access time".

    • Transition to Cold Archive

      • Inactivity threshold: personalizado. El valor predeterminado es 180 días.

        Los datos pasan al almacenamiento Cold Archive después de este periodo de inactividad. Los motores de cómputo no pueden acceder a los datos en Cold Archive.
    Nota

    Además de intelligent storage tiering, puede manually change the storage class en la página de detalles de la tabla. La página Storage Overview muestra la distribución de niveles entre catálogos, bases de datos y tablas.

    Limpieza de archivos huérfanos

    En la pestaña Storage Optimization, haga clic en Orphan file cleanup para activar manualmente la limpieza de archivos huérfanos.

    Para habilitar la limpieza automática, agregue auto-orphan-files-clean.enabled = true a la configuración del catálogo. Los archivos huérfanos limpiados se mueven temporalmente a la papelera de reciclaje (system.trash). Ajuste el tiempo que permanecen allí mediante la configuración de catálogo dlf.trashed-file-retained-days.

    Cambiar manualmente la clase de almacenamiento

    1. En la lista Database, haga clic en el nombre de una base de datos para consultar la lista de tablas.

    2. En la lista Tables, haga clic en el nombre de una tabla para consultar su esquema.

    3. Haga clic en la pestaña Table Details para cambiar manualmente la clase de almacenamiento de las tablas particionadas y no particionadas.

      Tablas particionadas

      En la pestaña Partitions, puede cambiar la clase de almacenamiento de las particiones.

      • Para las particiones en la clase de almacenamiento Standard, Infrequent Access o Archive:

        En la columna Actions, haga clic en Modify Storage Class para cambiarla a cualquier otra clase de almacenamiento.

      • Para las particiones en la clase de almacenamiento Cold Archive:

        Restaure primero los datos y luego cambie la clase de almacenamiento:

        1. Haga clic en Restore y configure Restored Copy Availability Duration. Puede seleccionar varias particiones para una restauración por lotes.

          • Rango de valores: un número entero del 1 al 365 (unidad: días).

          • Valor predeterminado: 1 día.

        2. Cuando los datos entren en el estado restaurado, haga clic en Modify Storage Class en la columna Actions para cambiar la clase de almacenamiento.

      Tablas no particionadas

      En la sección Basic Information de la tabla, puede modificar Storage Class.

      • Para las clases de almacenamiento Standard, Infrequent Access o Archive:

        Haga clic en Edit junto a Storage Class para cambiarla a cualquier otra clase de almacenamiento.

      • Para la clase de almacenamiento Cold Archive:

        Restaure primero los datos y luego cambie la clase de almacenamiento:

        1. Haga clic en Restore junto a Storage Class y configure Restored Copy Availability Duration.

          • Rango de valores: un número entero del 1 al 365 (unidad: días).

          • Valor predeterminado: 1 día.

        2. Cuando Storage Class cambie a Cold Archive (Restored), haga clic en Edit junto a Storage Class. Después podrá cambiarla a cualquier otra clase de almacenamiento.

      Nota

      • Tiempo de restauración: Cold Archive solo admite la prioridad de restauración estándar, que tarda de 2 a 5 horas.

      • Hora de inicio del estado restaurado: corresponde al momento en que el primer objeto de Cold Archive de una partición entra en el estado restaurado después de completar la restauración.

      • Duración de disponibilidad de la copia restaurada: indica cuánto tiempo permanecen accesibles los datos después de restaurarse desde Cold Archive. Una vez transcurrido ese plazo, la partición vuelve al estado congelado. Envíe una nueva solicitud de restauración para acceder a ella nuevamente.

      Procedimiento de restauración

      1. El objeto comienza en el estado congelado.

      2. Después de enviar una solicitud de restauración, el objeto entra en el estado de restauración. El tiempo de restauración varía.

      3. Una vez completada la restauración, el objeto entra en el estado restaurado. En los niveles de almacenamiento a nivel de tabla, la partición queda accesible después de que se restauren todos los objetos.

        Prolongue el estado restaurado ajustando la duración de disponibilidad de la copia restaurada, hasta el máximo permitido para la clase de almacenamiento.

      4. Cuando expira la duración de disponibilidad de la copia restaurada, el objeto vuelve al estado congelado. Envíe una nueva solicitud de restauración para acceder a él nuevamente.