Realtime Compute for Apache Flink:Clean up expired data

Funcionamiento de la caducidad de instantáneas

Tres parámetros controlan cuándo caducan las instantáneas:

La caducidad se activa cuando se cumple alguna de las siguientes condiciones:

• El recuento de instantáneas supera snapshot.num-retained.min y la instantánea más antigua tiene una antigüedad mayor que snapshot.time-retained

• El recuento de instantáneas supera snapshot.num-retained.max

El siguiente ejemplo muestra cómo interactúan estas reglas con snapshot.num-retained.min = 2 y snapshot.time-retained = 1h:

Configuración de parámetros de retención de instantáneas

Para modificar la retención de instantáneas, ejecute una instrucción ALTER TABLE o use sugerencias SQL en un borrador para la escritura de datos. Para obtener pasos detallados, consulte la sección "Modificar el esquema de una tabla de Apache Paimon" en Manage Apache Paimon catalogs.

Funcionamiento de la caducidad de particiones

Tres parámetros controlan la caducidad de las particiones:

Una partición se elimina cuando la diferencia entre la hora actual del sistema y la marca de tiempo convertida a partir del valor de la partición supera el valor de partition.expiration-time.

Conversión de valores de partición a marcas de tiempo

El sistema convierte los valores de partición a marcas de tiempo mediante un proceso de dos pasos:

1. partition.timestamp-pattern convierte un valor de partición en una cadena de tiempo, donde se hace referencia a cada columna de clave de partición como $<column-name>.

2. partition.timestamp-formatter convierte la cadena de tiempo en una marca de tiempo.

Ejemplos:

Clave de partición única dt con valores como dt=20240308:

'partition.timestamp-pattern' = '$dt',
'partition.timestamp-formatter' = 'yyyyMMdd'

Tres claves de partición year, month, day con valores como year=2023,month=04,day=21:

'partition.timestamp-pattern' = '$year-$month-$day'
-- No formatter needed: the default pattern yyyy-MM-dd matches the resulting string 2023-04-21

Cuatro claves de partición year, month, day, hour con valores como year=2023,month=04,day=21,hour=17:

'partition.timestamp-pattern' = '$year-$month-$day $hour:00:00'
-- No formatter needed: the default pattern yyyy-MM-dd HH:mm:ss matches the resulting string 2023-04-21 17:00:00

Configuración de parámetros de caducidad de particiones

Para configurar la caducidad de particiones, ejecute una instrucción ALTER TABLE o use sugerencias SQL en un borrador para la escritura de datos. Para obtener pasos detallados, consulte la sección "Modificar el esquema de una tabla de Apache Paimon" en Manage Apache Paimon catalogs.

Eliminación de archivos huérfanos

1. Inicie sesión en la consola de Realtime Compute for Apache Flink y cree un script. Para obtener más información, consulte Create a script.

2. En el editor de scripts, introduzca la siguiente instrucción SQL. Reemplace los marcadores de posición con sus valores reales.

   Marcador de posición	Descripción
   <catalog-name>	Nombre del catálogo de Apache Paimon
   <database-name>	Nombre de la base de datos donde reside la tabla
   <table-name>	Nombre de la tabla de Apache Paimon

   CALL `<catalog-name>`.sys.remove_orphan_files('<database-name>.<table-name>');

   Para eliminar archivos huérfanos creados antes de una hora específica, agregue una marca de tiempo como segundo argumento:

   CALL `mycat`.sys.remove_orphan_files('mydb.mytbl', '2023-10-31 12:00:00');

   Este ejemplo elimina los archivos huérfanos en mycat.mydb.mytbl que se crearon a más tardar a las 12:00:00 del 31 de octubre de 2023.

3. Seleccione la instrucción SQL que introdujo y luego haga clic en Run en la esquina superior izquierda del editor de scripts. Una vez completada la operación, la pestaña Results muestra el número total de archivos eliminados.