Data Lake Formation:Acesse o DLF com Flink SQL

Pré-requisitos

• Você deve ter um workspace totalmente gerenciado do Realtime Compute for Apache Flink. Se ainda não criou um, consulte Ativar o Realtime Compute for Apache Flink.

• Verifique se o workspace do Realtime Compute for Apache Flink e o DLF estão na mesma região. Adicione também a VPC do workspace à lista de permissões do DLF. Para mais informações, consulte Configurar uma lista de permissões de VPC.

Limitações

Somente o Ververica Runtime (VVR) 11.1.0 ou posterior oferece suporte à conexão com um catálogo DLF.

Crie um catálogo DLF

Para mais informações, consulte Introdução ao DLF.

Registrar o catálogo no Flink

1. Faça login no console do Realtime Compute.

2. Na lista de workspaces totalmente gerenciados, clique em nome do workspace desejado para abrir o console correspondente.

3. Registre o catálogo pela interface ou execute comandos SQL.

   Interface

   1. No painel de navegação à esquerda, clique em Catalogs.

   2. Na página Catalog List, clique em Create Catalog.

   3. Selecione Apache Paimon e clique em Next.

   4. Defina metastore como dlf. Em catalog name, selecione o catálogo DLF desejado. Clique em OK para criar o catálogo.

   Comandos SQL

   No editor de Scripts, insira e execute a seguinte instrução SQL para criar o catálogo.

   CREATE CATALOG `flink_catalog_name` 
   WITH (
     'type' = 'paimon',
     'metastore' = 'rest',
     'token.provider' = 'dlf',
     'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
     'warehouse' = 'dlf_test'
   );

   A tabela a seguir descreve os parâmetros.

   Parâmetro	Descrição	Obrigatório	Exemplo
   type	Tipo do catálogo. Valor fixo: paimon.	Sim	paimon
   metastore	Tipo do metastore. Valor fixo: rest.	Sim	rest
   token.provider	Provedor de token. Valor fixo: dlf.	Sim	dlf
   uri	URI de acesso ao DLF REST Catalog Server. Formato: http://[region-id]-vpc.dlf.aliyuncs.com. Para mais informações sobre IDs de região, consulte Endpoints.	Sim	http://cn-hangzhou-vpc.dlf.aliyuncs.com
   warehouse	Nome do catálogo DLF subjacente usado como warehouse.	Sim	dlf_test

Erros comuns