Data Lake Formation:Access Iceberg catalogs in DLF using Flink SQL

Pré-requisitos

Antes de começar, certifique-se de ter:

• Um workspace do Realtime Compute for Apache Flink. Consulte Activate Realtime Compute for Apache Flink.

• Um cluster de sessão executando o Ververica Runtime (VVR) 11.2.0 ou posterior. Consulte Crie um cluster de sessão.

Registre o catálogo do DLF no Flink

Registrar um catálogo no Flink cria um mapeamento para o seu catálogo do DLF. Criar ou excluir o catálogo no Flink não afeta os dados reais no DLF. Todas as tabelas criadas no catálogo do DLF por meio do protocolo REST do Iceberg são tabelas do Iceberg.

1. Acesse o Realtime Compute for Apache Flink Management Console.

2. Na coluna Actions do seu workspace, clique em Console.

3. No painel de navegação à esquerda, clique em Development > Scripts.

4. Crie um novo script e cole a seguinte instrução SQL no editor SQL.

   CREATE CATALOG `catalog_name`
    WITH (
       'type' = 'iceberg',
       'catalog-type' = 'rest',
       'uri' = 'http://{region-id}-vpc.dlf.aliyuncs.com/iceberg',
       'warehouse' = 'iceberg_test',
       'rest.signing-region' = '{region-id}',
       'io-impl' = 'org.apache.iceberg.rest.DlfFileIO'
   );

   Substitua {region-id} pelo ID da região do seu catálogo do DLF, por exemplo, cn-hangzhou ou ap-southeast-1. Para todas as regiões com suporte e seus respectivos valores de endpoint, consulte Regions and endpoints.

5. No canto inferior direito, clique em Environment, selecione um cluster de sessão executando o VVR 11.2.0 ou posterior e execute a instrução SQL.

A tabela a seguir descreve as opções de configuração.

Consulte dados no catálogo

Depois de registrar o catálogo, execute a seguinte instrução SQL em Scripts:

SELECT * FROM catalog_name.database_name.table_name;

Substitua catalog_name, database_name e table_name pelos nomes reais do seu catálogo do DLF.