Realtime Compute for Apache Flink:Clean up expired data

Mécanisme d'expiration des snapshots

Trois paramètres déterminent le moment où les snapshots expirent :

L'expiration se déclenche lorsque l'une des conditions suivantes est remplie :

• Le nombre de snapshots dépasse snapshot.num-retained.min et le snapshot le plus ancien est antérieur à la durée définie par snapshot.time-retained

• Le nombre de snapshots dépasse snapshot.num-retained.max

L'exemple suivant illustre l'interaction de ces règles, avec snapshot.num-retained.min = 2 et snapshot.time-retained = 1h :

Définir les paramètres de rétention des snapshots

Pour modifier la rétention des snapshots, exécutez une instruction ALTER TABLE ou utilisez des indices SQL dans un brouillon d'écriture de données. Pour obtenir la procédure détaillée, consultez la section « Modifier le schéma d'une table Apache Paimon » dans la rubrique Gérer les catalogues Apache Paimon.

Mécanisme d'expiration des partitions

Trois paramètres contrôlent l'expiration des partitions :

Une partition est supprimée lorsque la différence entre l'heure système actuelle et l'horodatage converti à partir de la valeur de partition dépasse la valeur de partition.expiration-time.

Convertir les valeurs de partition en horodatages

Le système convertit les valeurs de partition en horodatages selon un processus en deux étapes :

1. partition.timestamp-pattern convertit une valeur de partition en chaîne horaire, chaque colonne de clé de partition étant référencée sous la forme $<column-name>.

2. partition.timestamp-formatter convertit la chaîne horaire en horodatage.

Exemples :

Clé de partition unique dt avec des valeurs telles que dt=20240308 :

'partition.timestamp-pattern' = '$dt',
'partition.timestamp-formatter' = 'yyyyMMdd'

Trois clés de partition year, month, day avec des valeurs telles que year=2023,month=04,day=21 :

'partition.timestamp-pattern' = '$year-$month-$day'
-- No formatter needed: the default pattern yyyy-MM-dd matches the resulting string 2023-04-21

Quatre clés de partition year, month, day, hour avec des valeurs telles que year=2023,month=04,day=21,hour=17 :

'partition.timestamp-pattern' = '$year-$month-$day $hour:00:00'
-- No formatter needed: the default pattern yyyy-MM-dd HH:mm:ss matches the resulting string 2023-04-21 17:00:00

Définir les paramètres d'expiration des partitions

Pour configurer l'expiration des partitions, exécutez une instruction ALTER TABLE ou utilisez des indices SQL dans un brouillon d'écriture de données. Pour obtenir la procédure détaillée, consultez la section « Modifier le schéma d'une table Apache Paimon » dans la rubrique Gérer les catalogues Apache Paimon.

Supprimer les fichiers orphelins

1. Connectez-vous à la console Realtime Compute for Apache Flink et créez un script. Pour plus d'informations, consultez la rubrique Créer un script.

2. Dans l'éditeur de script, saisissez l'instruction SQL suivante. Remplacez les espaces réservés par vos valeurs réelles.

   Espace réservé	Description
   <catalog-name>	Nom du catalogue Apache Paimon
   <database-name>	Nom de la base de données contenant la table
   <table-name>	Nom de la table Apache Paimon

   CALL `<catalog-name>`.sys.remove_orphan_files('<database-name>.<table-name>');

   Pour supprimer les fichiers orphelins créés avant une heure spécifique, ajoutez un horodatage comme second argument :

   CALL `mycat`.sys.remove_orphan_files('mydb.mytbl', '2023-10-31 12:00:00');

   Cet exemple supprime les fichiers orphelins dans mycat.mydb.mytbl qui ont été créés au plus tard le 31 octobre 2023 à 12:00:00.

3. Sélectionnez l'instruction SQL saisie, puis cliquez sur Run dans le coin supérieur gauche de l'éditeur de script. Une fois l'opération terminée, l'onglet Results affiche le nombre total de fichiers supprimés.