Data Lake Formation:Access DLF from Hologres

Pré-requisitos

Antes de começar, verifique se você tem:

• Um service DLF ativo com pelo menos um catalog. Consulte Grant permissions and activate DLF e Data Catalog

• Uma Hologres instance com o service de aceleração do data lake ativado. A instância deve estar na mesma região que o DLF. Consulte Environment configuration

Limitações

• Não há suporte para gravação em tabelas Paimon. As operações INSERT, UPDATE, DELETE e TRUNCATE não estão disponíveis.

• Consultas de time travel, consultas de branch e espelhamento de dados estão disponíveis apenas para tabelas Paimon mapeadas por meio de um external database — não por meio de um foreign server.

• O time travel não tem suporte em tabelas que passaram por evolução de schema, nem em tabelas dinâmicas.

• O espelhamento de dados não tem suporte para tabelas Paimon com chaves primárias.

• Não há suporte para leitura de partições padrão em que a chave de partição seja NULL ou vazia.

• O recurso de aceleração do data lake do OSS no HoloWeb não permite criar visualmente um DLF Catalog.

• O recurso de aceleração do data lake não pode ser ativado para instâncias secundárias somente leitura.

Escolha um modo de autenticação

O Hologres suporta dois modos para autenticar o acesso a um DLF Catalog:

Comece com o modo SLR, a menos que seja necessário acesso entre contas ou suporte a conta BASIC.

Mapeie um catalog usando um external database

Acelere consultas com espelhamento de tabelas do lake

O Hologres V3.2 e versões posteriores suportam o espelhamento de tabelas do lake, que sincroniza metadados e dados de uma fonte de dados externa para o Hologres — em tempo quase real ou em intervalos agendados. O espelhamento suporta tabelas completas e partições específicas de tabelas particionadas. Consulte Lake table mirroring.

Operações de external schema

CREATE EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

REFRESH CACHE FOR EXTERNAL SCHEMA <ext_database_name>.<ext_schema_name> WITH (cache_level = 'metadata');

DROP EXTERNAL SCHEMA [IF NOT EXISTS] <ext_database_name>.<ext_schema_name>;

SELECT * FROM hologres.hg_external_tables('<ext_database_name>', '<ext_schema_name>');

Operações de external table

-- Non-partitioned table
CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,
    created_at BIGINT,
    type TEXT,
    actor_id TEXT,
    actor_login TEXT,
    repo_id TEXT,
    repo_name TEXT,
    org TEXT,
    org_login TEXT,
    PRIMARY KEY(id)
) WITH (
  "changelog-producer"='input',
  "bucket"=6,
  "bucket-key"='id'
);

-- Partitioned table
CREATE EXTERNAL TABLE <ext_database_name>.<ext_schema_name>.<ext_table_name>(
    id TEXT,
    created_at BIGINT,
    type TEXT,
    actor_id TEXT,
    actor_login TEXT,
    repo_id TEXT,
    repo_name TEXT,
    org TEXT,
    org_login TEXT
)
LOGICAL PARTITION BY LIST(created_at)
WITH (
  "file_format" = 'orc',
  "bucket"=6,
  "bucket-key"='id'
);

REFRESH CACHE FOR EXTERNAL TABLE <ext_db_name>.<ext_schema_name>.<ext_table_name> WITH (cache_level = 'metadata');

DROP EXTERNAL TABLE IF EXISTS <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Collect statistics for all columns
ANALYZE <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Collect statistics for specific columns (higher sample rate — use for columns with conditional filters)
ANALYZE <ext_database_name>.<ext_schema_name>.<ext_table_name>(<colname>, <colname>);

-- Enable auto-analyze for the external database
ALTER EXTERNAL DATABASE <ext_database_name> WITH enable_auto_analyze 'true';

Consultas de time travel

O Hologres V3.2 e versões posteriores suportam a consulta de snapshots históricos de tabelas Paimon. As três abordagens utilizam a sintaxe FOR ... AS OF:

-- Query by timestamp
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TIMESTAMP AS OF '<timestamp>';

-- Query by version (version = snapshot ID for Paimon tables)
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR VERSION AS OF '<version>';

-- Query by tag
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR TAG AS OF '<tag>';

Para localizar snapshots ou tags disponíveis, consulte primeiro as tabelas de sistema do Paimon.

SELECT * FROM hologres.hg_list_snapshots('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

SELECT * FROM hologres.hg_list_versions('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

SELECT * FROM hologres.hg_list_tags('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

Consultas de branch

O Hologres V3.2 e versões posteriores suportam a consulta de dados de uma branch específica em uma tabela Paimon.

SELECT * FROM hologres.hg_list_branches('<ext_database_name>.<ext_schema_name>.<ext_table_name>');

-- Query the current state of a branch
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>';

-- Query a historical snapshot of a branch by timestamp
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TIMESTAMP AS OF '<timestamp>';

-- Query a historical snapshot of a branch by tag
SELECT * FROM '<ext_database_name>.<ext_schema_name>.<ext_table_name>' FOR branch AS OF '<branch_name>' TAG AS OF '<tag_name>';

Acesse tabelas Paimon por meio de um foreign server

Como alternativa aos external databases, você pode usar um foreign server e foreign tables para acessar dados Paimon. Essa abordagem utiliza a interface padrão PostgreSQL foreign data wrapper (FDW).

Consultas de time travel, consultas de branch e espelhamento de dados não estão disponíveis por meio de foreign tables. Para esses recursos, utilize external databases.

1. Crie um foreign server.

   CREATE SERVER IF NOT EXISTS <server_name> FOREIGN DATA WRAPPER dlf_fdw OPTIONS (
       catalog_type 'paimon',
       metastore_type 'dlf-rest',
       dlf_catalog '<dlf_catalog_name>'
   );

   Para opções adicionais de server, consulte More operations on foreign servers (SQL).

2. Crie foreign tables usando um dos métodos a seguir. Opção 1: importe um schema inteiro de uma vez

   IMPORT FOREIGN SCHEMA <dlf_db_name>
   FROM SERVER <server_name>
   INTO <holo_schema_name>
   OPTIONS (if_table_exist 'update');

   Consulte IMPORT FOREIGN SCHEMA. Opção 2: crie tabelas individualmente

   CREATE FOREIGN TABLE <foreign_table_name>
   (
     { column_name data_type }
     [, ... ]
   )
   SERVER <server_name>
   OPTIONS
   (
     schema_name '<dlf_db_name>',
     table_name '<dlf_table_name>'
   );

   Consulte CREATE FOREIGN TABLE.

Leia dados Paimon com tabelas dinâmicas

Uma tabela dinâmica atualiza automaticamente seu conteúdo a partir de uma ou mais tabelas base em um agendamento configurável. O Hologres V3,0 e versões posteriores suportam foreign tables do MaxCompute e foreign tables do DLF como tabelas base para tabelas dinâmicas. Consulte Dynamic table.

Os três modos de atualização utilizam a mesma estrutura CREATE DYNAMIC TABLE. O parâmetro auto_refresh_mode controla como os dados são lidos da source Paimon.

-- Full refresh: re-reads all data on each cycle
CREATE DYNAMIC TABLE paimon_dt_full
WITH (
    auto_refresh_mode = 'full',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Incremental refresh: reads only new or changed data
CREATE DYNAMIC TABLE paimon_dt_incremental
WITH (
    auto_refresh_mode = 'incremental',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

-- Auto mode: Hologres selects full or incremental refresh based on data characteristics
CREATE DYNAMIC TABLE paimon_dt_auto
WITH (
    auto_refresh_mode = 'auto',
    freshness = '3 minutes'
) AS SELECT * FROM <ext_database_name>.<ext_schema_name>.<ext_table_name>;

Próximos passos

• EXTERNAL DATABASE

• CREATE DYNAMIC TABLE

• ANALYZE and AUTO ANALYZE

• Lake table mirroring

• Manage Branch