Data Lake Formation:Paimon tables

CREATE TABLE orders (
  order_id BIGINT,
  price    BIGINT,
  customer STRING,
  PRIMARY KEY NOT ENFORCED(order_id)
);

CREATE TABLE orders (
  order_id BIGINT,
  price    BIGINT,
  customer STRING
) TBLPROPERTIES (
  'primary-key' = 'order_id'
);

Allocation des buckets (mode Postpone Bucket)

DLF utilise le mode Postpone Bucket par défaut. Cette stratégie adaptative ajuste dynamiquement le nombre de buckets en fonction du volume de données de la partition, évitant ainsi la dégradation des performances en lecture due à un nombre excessif de buckets et les goulets d'étranglement en écriture liés à un nombre insuffisant de buckets.

Visibilité des données en mode Postpone : Les données nouvellement écrites ne sont visibles qu'une fois le compactage terminé. Pour éliminer cette latence :

• Utilisez Flink (VVR 11.4 ou version ultérieure) ou Spark (esr-4.5 ou version ultérieure). Ces versions écrivent les lots directement dans les buckets, supprimant ainsi la latence.

• Pour les tables sensibles à la latence, définissez explicitement le nombre de buckets. Exemple : 'bucket' = '5'. Visez un bucket pour 1 Go de données de partition.

Configuration avancée

Configurez les options Paimon suivantes pour un ajustement supplémentaire des tables avec clé primaire :

• moteur de fusion : Définissez une logique de fusion personnalisée pour les calculs complexes lors du compactage.

• Deletion Vectors (deletion-vectors.enabled = true) : Améliore considérablement les performances des requêtes. Après activation, toutes les données nouvellement écrites ne sont visibles qu'après compactage, quel que soit le mode de bucket. Cela nécessite davantage de ressources de compactage, mais offre des performances de requête plus stables.

• changelog-producer (changelog-producer = 'lookup') : Génère des journaux de modifications complets pour les lectures de flux en aval.

• sequence.field : Gère les données désordonnées et garantit la séquence correcte des mises à jour.

Si vos données en amont sont des données Change Data Capture (CDC), utilisez Flink CDC ou un produit d'intégration de données pour charger les données dans DLF. Ces outils prennent en charge la synchronisation complète de la base de données, la création automatique de tables et la synchronisation du schéma.

CREATE TABLE orders (
  order_id BIGINT,
  price    BIGINT,
  customer STRING
);

CREATE TABLE orders (
  order_id BIGINT,
  price    BIGINT,
  customer STRING
);