Data Lake Formation:Access DLF from Hologres

Prérequis

Avant de commencer, assurez-vous de disposer des éléments suivants :

• Un service DLF actif avec au moins un catalogue. Consultez les rubriques Accorder des autorisations et activer DLF et Data Catalog.

• Une instance Hologres avec le service d'accélération du lac de données activé. L'instance doit se trouver dans la même région que DLF. Reportez-vous à la section Configuration de l'environnement.

Limites

• L'écriture dans les tables Paimon n'est pas prise en charge. Les opérations INSERT, UPDATE, DELETE et TRUNCATE ne sont pas disponibles.

• Les requêtes de voyage dans le temps, les requêtes par branche et la mise en miroir des données sont uniquement disponibles pour les tables Paimon mappées via une base de données externe, et non via un serveur distant.

• Le voyage dans le temps n'est pas pris en charge sur les tables ayant subi une évolution de schéma ni sur les tables dynamiques.

• La mise en miroir des données ne prend pas en charge les tables Paimon dotées de clés primaires.

• La lecture des partitions par défaut où la clé de partition est NULL ou vide n'est pas prise en charge.

• La fonctionnalité d'accélération du lac de données OSS dans HoloWeb ne permet pas de créer visuellement un catalogue DLF.

• La fonctionnalité d'accélération du lac de données ne peut pas être activée pour les instances secondaires en lecture seule.

Choisir un mode d'authentification

Hologres prend en charge deux modes pour authentifier l'accès à un catalogue DLF :

Privilégiez le mode SLR sauf si un accès intercomptes ou la prise en charge des comptes BASIC est nécessaire.

Mapper un catalogue à l'aide d'une base de données externe

Accélérer les requêtes grâce à la mise en miroir des tables de lac

Hologres V3.2 et versions ultérieures prennent en charge la mise en miroir des tables de lac, qui synchronise les métadonnées et les données d'une source de données externe vers Hologres, soit en temps quasi réel, soit à intervalles réguliers. La mise en miroir prend en charge les tables complètes et des partitions spécifiques des tables partitionnées. Consultez la rubrique Mise en miroir des tables de lac.

Opérations sur les schémas externes

CREATE EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

REFRESH CACHE FOR EXTERNAL SCHEMA <ext_database_name>.<ext_schema_name> WITH (cache_level = 'metadata');

DROP EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

SELECT * FROM hologres.hg_external_tables('<ext_database_name>', '<ext_schema_name>');

Opérations sur les tables externes

-- Non-partitioned table
CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,
    created_at BIGINT,
    type TEXT,
    actor_id TEXT,
    actor_login TEXT,
    repo_id TEXT,
    repo_name TEXT,
    org TEXT,
    org_login TEXT,
    PRIMARY KEY(id)
) WITH (
  "changelog-producer"='input',
  "bucket"=6,
  "bucket-key"='id'
);

-- Partitioned table
CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,
    created_at BIGINT,
    type TEXT,
    actor_id TEXT,
    actor_login TEXT,
    repo_id TEXT,
    repo_name TEXT,
    org TEXT,
    org_login TEXT
)
LOGICAL PARTITION BY LIST(created_at)
WITH (
  "file_format" = 'orc',
  "bucket"=6,
  "bucket-key"='id'
);

REFRESH CACHE FOR EXTERNAL TABLE <ext_db_name>.<ext_schema_name>.<ext_table_name> WITH (cache_level = 'metadata');

DROP EXTERNAL TABLE IF EXISTS <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Collect statistics for all columns
ANALYZE <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Collect statistics for specific columns (higher sample rate — use for columns with conditional filters)
ANALYZE <ext_database_name>.<ext_schema_name>.<ext_table_name>(<colname>, <colname>);

-- Enable auto-analyze for the external database
ALTER EXTERNAL DATABASE <ext_database_name> WITH enable_auto_analyze 'true';

Requêtes de voyage dans le temps

Hologres V3.2 et versions ultérieures permettent d'interroger des snapshots historiques de tables Paimon. Les trois approches utilisent la syntaxe FOR ... AS OF :

-- Query by timestamp
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TIMESTAMP AS OF '<timestamp>';

-- Query by version (version = snapshot ID for Paimon tables)
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR VERSION AS OF '<version>';

-- Query by tag
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TAG AS OF '<tag>';

Pour identifier les snapshots ou les tags disponibles, interrogez d'abord les tables système Paimon.

SELECT * FROM hologres.hg_list_snapshots('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

SELECT * FROM hologres.hg_list_versions('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

SELECT * FROM hologres.hg_list_tags('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

Requêtes par branche

Hologres V3.2 et versions ultérieures permettent d'interroger les données d'une branche spécifique d'une table Paimon.

SELECT * FROM hologres.hg_list_branches('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

-- Query the current state of a branch
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>';

-- Query a historical snapshot of a branch by timestamp
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TIMESTAMP AS OF '<timestamp>';

-- Query a historical snapshot of a branch by tag
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TAG AS OF '<tag_name>';

Accéder aux tables Paimon via un serveur distant

En alternative aux bases de données externes, vous pouvez utiliser un serveur distant et des tables distantes pour accéder aux données Paimon. Cette approche s'appuie sur l'interface standard PostgreSQL Foreign Data Wrapper (FDW).

Les requêtes de voyage dans le temps, les requêtes par branche et la mise en miroir des données ne sont pas disponibles via les tables distantes. Utilisez les bases de données externes pour bénéficier de ces fonctionnalités.

1. Créez un serveur distant.

   CREATE SERVER IF NOT EXISTS <server_name> FOREIGN DATA WRAPPER dlf_fdw OPTIONS (
       catalog_type 'paimon',
       metastore_type 'dlf-rest',
       dlf_catalog '<dlf_catalog_name>'
   );

   Pour connaître les autres options de serveur, consultez la rubrique Autres opérations sur les serveurs distants (SQL).

2. Créez des tables distantes en utilisant l'une des méthodes suivantes. Option 1 : Importer un schéma entier en une seule fois

   IMPORT FOREIGN SCHEMA <dlf_db_name>
   FROM SERVER <server_name>
   INTO <holo_schema_name>
   OPTIONS (if_table_exist 'update');

   Consultez la rubrique IMPORT FOREIGN SCHEMA. Option 2 : Créer des tables individuelles

   CREATE FOREIGN TABLE <foreign_table_name>
   (
     { column_name data_type }
     [, ... ]
   )
   SERVER <server_name>
   OPTIONS
   (
     schema_name '<dlf_db_name>',
     table_name '<dlf_table_name>'
   );

   Consultez la rubrique CREATE FOREIGN TABLE.

Lire les données Paimon à l'aide de tables dynamiques

Une table dynamique actualise automatiquement son contenu à partir d'une ou plusieurs tables de base selon un planning configurable. Hologres V3.0 et versions ultérieures prennent en charge les tables distantes MaxCompute et les tables distantes DLF comme tables de base pour les tables dynamiques. Consultez la rubrique Table dynamique.

Les trois modes d'actualisation utilisent la même structure CREATE DYNAMIC TABLE . Le paramètre auto_refresh_mode contrôle la manière dont les données sont lues depuis la source Paimon.

-- Full refresh: re-reads all data on each cycle
CREATE DYNAMIC TABLE paimon_dt_full
WITH (
    auto_refresh_mode = 'full',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Incremental refresh: reads only new or changed data
CREATE DYNAMIC TABLE paimon_dt_incremental
WITH (
    auto_refresh_mode = 'incremental',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Auto mode: Hologres selects full or incremental refresh based on data characteristics
CREATE DYNAMIC TABLE paimon_dt_auto
WITH (
    auto_refresh_mode = 'auto',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

Étapes suivantes

• EXTERNAL DATABASE

• CREATE DYNAMIC TABLE

• ANALYZE et AUTO ANALYZE

• Mise en miroir des tables de lac

• Manage Branch