Realtime Compute for Apache Flink:Paimon system tables

Table snapshots

La table snapshots ($snapshots) enregistre les informations relatives à chaque snapshot, notamment son ID, sa date de création et le nombre d'enregistrements.

SELECT * FROM mycatalog.mydb.`mytbl$snapshots`;

total_record_count ne reflète pas le nombre logique d'enregistrements dans la table Paimon. Les fichiers de données sont compactés en mémoire avant d'être capturés dans un snapshot.

Table schemas

La table schemas ($schemas) enregistre chaque version de schéma d'une table Paimon. Chaque fois que vous modifiez le schéma à l'aide de ALTER TABLE, de CREATE TABLE AS ou de CREATE DATABASE AS, un nouvel enregistrement est écrit dans cette table.

SELECT * FROM mycatalog.mydb.`mytbl$schemas`;

Table options

La table options ($options) affiche la configuration actuelle de toutes les options de table explicitement définies.

SELECT * FROM mycatalog.mydb.`mytbl$options`;

Les options non répertoriées dans cette table utilisent leurs valeurs par défaut.

Table partitions

La table partitions ($partitions) affiche les partitions d'une table Paimon ainsi que leur nombre d'enregistrements et la taille totale des fichiers.

SELECT * FROM mycatalog.mydb.`mytbl$partitions`;

record_count ne reflète pas le nombre logique d'enregistrements. Les fichiers de données sont compactés en mémoire avant d'être capturés dans un snapshot.

Table files

La table files ($files) répertorie tous les fichiers de données vers lesquels pointe le snapshot actuel, y compris leur format, leur nombre d'enregistrements et leur taille.

Interrogez les fichiers du snapshot le plus récent :

SELECT * FROM mycatalog.mydb.`mytbl$files`;

Interrogez les fichiers d'un snapshot spécifique (par exemple, l'ID de snapshot 5) :

SELECT * FROM mycatalog.mydb.`mytbl$files` /*+ OPTIONS('scan.snapshot-id'='5') */;

La table files couvre uniquement les fichiers de données du snapshot interrogé. Les fichiers de données historiques non référencés par ce snapshot ne sont pas inclus.

Table tags

La table tags ($tags) enregistre les informations relatives aux tags, y compris le snapshot auquel chaque tag est associé.

SELECT * FROM mycatalog.mydb.`mytbl$tags`;

Table optimisée pour la lecture

Si vous utilisez une table à clé primaire et souhaitez améliorer l'efficacité des lectures par lots ou des requêtes OLAP ad hoc, vous pouvez consommer les données depuis la table optimisée pour la lecture ($ro). Contrairement à une requête directe sur la table, qui compacte les fichiers de données en mémoire avant de renvoyer les résultats, $ro évite cette étape en analysant uniquement les fichiers déjà compactés. Cela élimine la surcharge liée à la compaction et accélère les lectures, mais les résultats peuvent ne pas inclure les derniers petits fichiers non compactés.

Pour compacter les petits fichiers à intervalles réguliers et équilibrer le débit d'écriture, les performances de lecture et la latence des données, définissez le paramètre suivant :

SELECT * FROM mycatalog.mydb.`mytbl$ro`;

Table d'audit

Utilisez la table d'audit ($audit_log) lorsque vous devez tracer le type exact d'opération derrière chaque enregistrement, par exemple pour déboguer des modifications de données inattendues ou créer des pipelines de données de modification (change-data) en aval.

Par rapport à la table d'origine, la table d'audit insère une colonne rowkind au début de chaque enregistrement pour indiquer le type d'opération :

Tous les enregistrements renvoyés par la table d'audit ont un rowkind de type +I (insertion), car la table elle-même ne fait qu'ajouter des enregistrements.

SELECT * FROM mycatalog.mydb.`mytbl$audit_log`;