Data Lake Formation:Accéder à DLF depuis Hologres

Prérequis

Avant de commencer, vérifiez que :

• Le service DLF est actif et comporte au moins un catalogue. Consultez les rubriques Accorder des autorisations et activer DLF et Data Catalog.

• Une instance Hologres dispose du service d'accélération de lac de données activé. L'instance doit se trouver dans la même région que DLF. Consultez la section Configuration de l'environnement.

Limitations

• L'écriture dans les tables Paimon n'est pas prise en charge. Les opérations INSERT, UPDATE, DELETE et TRUNCATE sont indisponibles.

• Les requêtes de voyage dans le temps, les requêtes par branche et la mise en miroir des données sont uniquement disponibles pour les tables Paimon mappées via une base de données externe, et non via un serveur distant.

• Le voyage dans le temps n'est pas pris en charge sur les tables ayant subi une évolution de schéma ni sur les tables dynamiques.

• La mise en miroir des données ne prend pas en charge les tables Paimon dotées de clés primaires.

• La lecture depuis les partitions par défaut où la clé de partition est NULL ou vide n'est pas prise en charge.

• La fonctionnalité d'accélération de lac de données OSS dans HoloWeb ne permet pas de créer visuellement un catalogue DLF.

• La fonctionnalité d'accélération de lac de données ne peut pas être activée pour les instances secondaires en lecture seule.

Choisir un mode d'authentification

Hologres propose deux modes d'authentification pour accéder à un catalogue DLF :

Privilégiez le mode SLR, sauf si un accès intercomptes ou la prise en charge des comptes BASIC est requise.

Mapper un catalogue à l'aide d'une base de données externe

Accélérer les requêtes grâce à la mise en miroir des tables de lac

Hologres V3.2 et versions ultérieures prennent en charge la mise en miroir des tables de lac, qui synchronise les métadonnées et les données d'une source de données externe vers Hologres, soit en quasi-temps réel, soit à intervalles planifiés. La mise en miroir prend en charge les tables complètes et des partitions spécifiques des tables partitionnées. Consultez la rubrique Mise en miroir des tables de lac.

Opérations sur les schémas externes

CREATE EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

REFRESH CACHE FOR EXTERNAL SCHEMA <ext_database_name>.<ext_schema_name> WITH (cache_level = 'metadata');

DROP EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

SELECT * FROM hologres.hg_external_tables('<ext_database_name>', '<ext_schema_name>');

Opérations sur les tables externes

-- Non-partitioned table
CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,
    created_at BIGINT,
    type TEXT,
    actor_id TEXT,
    actor_login TEXT,
    repo_id TEXT,
    repo_name TEXT,
    org TEXT,
    org_login TEXT,
    PRIMARY KEY(id)
) WITH (
  "changelog-producer"='input',
  "bucket"=6,
  "bucket-key"='id'
);

-- Partitioned table
CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,
    created_at BIGINT,
    type TEXT,
    actor_id TEXT,
    actor_login TEXT,
    repo_id TEXT,
    repo_name TEXT,
    org TEXT,
    org_login TEXT
)
LOGICAL PARTITION BY LIST(created_at)
WITH (
  "file_format" = 'orc',
  "bucket"=6,
  "bucket-key"='id'
);

REFRESH CACHE FOR EXTERNAL TABLE <ext_db_name>.<ext_schema_name>.<ext_table_name> WITH (cache_level = 'metadata');

DROP EXTERNAL TABLE IF EXISTS <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Collect statistics for all columns
ANALYZE <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Collect statistics for specific columns (higher sample rate — use for columns with conditional filters)
ANALYZE <ext_database_name>.<ext_schema_name>.<ext_table_name>(<colname>, <colname>);

-- Enable auto-analyze for the external database
ALTER EXTERNAL DATABASE <ext_database_name> WITH enable_auto_analyze 'true';

Requêtes de voyage dans le temps

Hologres V3.2 et versions ultérieures permettent d'interroger les snapshots historiques des tables Paimon. Les trois approches utilisent la syntaxe FOR ... AS OF :

-- Query by timestamp
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TIMESTAMP AS OF '<timestamp>';

-- Query by version (version = snapshot ID for Paimon tables)
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR VERSION AS OF '<version>';

-- Query by tag
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TAG AS OF '<tag>';

Pour identifier les snapshots ou tags disponibles, interrogez d'abord les tables système Paimon.

SELECT * FROM hologres.hg_list_snapshots('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

SELECT * FROM hologres.hg_list_versions('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

SELECT * FROM hologres.hg_list_tags('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

Requêtes par branche

Hologres V3.2 et versions ultérieures permettent d'interroger les données d'une branche spécifique dans une table Paimon.

SELECT * FROM hologres.hg_list_branches('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

-- Query the current state of a branch
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>';

-- Query a historical snapshot of a branch by timestamp
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TIMESTAMP AS OF '<timestamp>';

-- Query a historical snapshot of a branch by tag
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TAG AS OF '<tag_name>';

Accéder aux tables Paimon via un serveur distant

En alternative aux bases de données externes, vous pouvez utiliser un serveur distant et des tables distantes pour accéder aux données Paimon. Cette approche utilise l'interface standard PostgreSQL Foreign Data Wrapper (FDW).

Les requêtes de voyage dans le temps, les requêtes par branche et la mise en miroir des données ne sont pas disponibles via les tables distantes. Utilisez des bases de données externes pour bénéficier de ces fonctionnalités.

1. Créez un serveur distant.

   CREATE SERVER IF NOT EXISTS <server_name> FOREIGN DATA WRAPPER dlf_fdw OPTIONS (
       catalog_type 'paimon',
       metastore_type 'dlf-rest',
       dlf_catalog '<dlf_catalog_name>'
   );

   Pour connaître les autres options de serveur, consultez la rubrique Autres opérations sur les serveurs distants (SQL).

2. Créez des tables distantes en utilisant l'une des méthodes suivantes. Option 1 : Importer un schéma entier en une seule fois

   IMPORT FOREIGN SCHEMA <dlf_db_name>
   FROM SERVER <server_name>
   INTO <holo_schema_name>
   OPTIONS (if_table_exist 'update');

   Consultez la rubrique IMPORT FOREIGN SCHEMA. Option 2 : Créer des tables individuelles

   CREATE FOREIGN TABLE <foreign_table_name>
   (
     { column_name data_type }
     [, ... ]
   )
   SERVER <server_name>
   OPTIONS
   (
     schema_name '<dlf_db_name>',
     table_name '<dlf_table_name>'
   );

   Consultez la rubrique CREATE FOREIGN TABLE.

Lire les données Paimon à l'aide de tables dynamiques

Une table dynamique actualise automatiquement son contenu à partir d'une ou plusieurs tables de base selon une planification configurable. Hologres V3.0 et versions ultérieures prennent en charge les tables distantes MaxCompute et les tables distantes DLF en tant que tables de base pour les tables dynamiques. Consultez la rubrique Table dynamique.

Les trois modes d'actualisation utilisent la même structure CREATE DYNAMIC TABLE . Le paramètre auto_refresh_mode contrôle la manière dont les données sont lues depuis la source Paimon.

-- Full refresh: re-reads all data on each cycle
CREATE DYNAMIC TABLE paimon_dt_full
WITH (
    auto_refresh_mode = 'full',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Incremental refresh: reads only new or changed data
CREATE DYNAMIC TABLE paimon_dt_incremental
WITH (
    auto_refresh_mode = 'incremental',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Auto mode: Hologres selects full or incremental refresh based on data characteristics
CREATE DYNAMIC TABLE paimon_dt_auto
WITH (
    auto_refresh_mode = 'auto',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

Étapes suivantes

• EXTERNAL DATABASE

• CREATE DYNAMIC TABLE

• ANALYZE et AUTO ANALYZE

• Mise en miroir des tables de lac

• Manage Branch