Realtime Compute for Apache Flink:Gerenciar catálogos Paimon

Criar um catálogo Filesystem

Opção 1: Usar o console (Recomendado)

1. Acesse a página Catalogs.

   1. Faça login no Management Portal. Localize o workspace desejado e clique em Console na coluna Actions.

   2. No painel de navegação à esquerda, clique em Catalogs.

2. Clique em Create Catalog, selecione Apache Paimon e clique em Next.

3. Defina metastore como filesystem e configure as demais opções do catálogo.

Opção 2: Usar SQL

Execute o comando a seguir no editor SQL em Development > Scripts:

CREATE CATALOG `my-catalog` WITH (
  'type' = 'paimon',
  'metastore' = 'filesystem',
  'warehouse' = '<warehouse>',
  'fs.oss.endpoint' = '<fs.oss.endpoint>',
  'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
  'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
);

• Parâmetros gerais

  Item de configuração	Descrição	Obrigatório	Observações
  my-catalog	Nome do catálogo Paimon.	Sim	Insira um nome personalizado.
  type	Tipo do catálogo.	Sim	Defina como paimon.
  metastore	Tipo do metastore.	Sim	Valores válidos: filesystem: Armazena metadados no OSS. dlf: Armazena metadados no DLF.

• Parâmetros do OSS

  Item de configuração	Descrição	Obrigatório	Observações
  warehouse	Diretório do data warehouse no OSS.	Sim	Formato: oss://<bucket>/<object>, onde: bucket: nome do bucket do OSS. object: caminho onde os dados estão armazenados. Visualize os nomes do bucket e do objeto no console do OSS.
  fs.oss.endpoint	Endpoint do service OSS.	Sim	Se o Flink e o DLF estiverem na mesma região, use o endpoint de VPC. Caso contrário, use o endpoint de rede pública. Parâmetro obrigatório se o bucket do OSS especificado para warehouse não estiver na mesma região do workspace do Flink ou se você usar um bucket do OSS pertencente a outra conta Alibaba Cloud. Regions and Endpoints e Create an AccessKey.
  fs.oss.accessKeyId	AccessKey ID da conta Alibaba Cloud ou usuário RAM com permissões de leitura e gravação no OSS.	Sim
  fs.oss.accessKeySecret	AccessKey Secret da conta Alibaba Cloud ou usuário RAM com permissões de leitura e gravação no OSS.	Sim

• OSS-HDFS (VVR 11.8 ou posterior)

  Para usar o OSS-HDFS como armazenamento do Catálogo Filesystem do Paimon, utilize o exemplo SQL a seguir:

  CREATE CATALOG `my_catalog` WITH (
    'type' = 'paimon',
    'metastore' = 'filesystem',
    'warehouse' = 'dls://<bucket>.<dls-endpoint>/<warehouse-path>',
    'fs.oss.endpoint' = '<dls-endpoint>',
    'fs.oss.accessKeyId' = '<access-key-id>',
    'fs.oss.accessKeySecret' = '<access-key-secret>',
    'fs.dls.client.mode.enabled' = 'false',
    'fs.dls.data.endpoint' = '<oss-data-endpoint>'
  );

  A tabela a seguir descreve os parâmetros.

  Parâmetro	Descrição	Obrigatório	Observações
  warehouse	Diretório do warehouse no OSS-HDFS.	Sim	Formato: dls://<bucket>.<dls-endpoint>/<warehouse-path>. O <dls-endpoint> é o mesmo que fs.oss.endpoint.
  fs.oss.endpoint	Endpoint do service OSS-HDFS.	Sim	No console do OSS, acesse a seção "Overview > Access Ports" do bucket desejado e verifique o HDFS Service Endpoint.
  fs.oss.accessKeyId	AccessKey ID da conta Alibaba Cloud ou usuário RAM com permissões de leitura e gravação no OSS-HDFS.	Sim	—
  fs.oss.accessKeySecret	AccessKey Secret correspondente ao AccessKey ID.	Sim	—
  fs.dls.client.mode.enabled	Especifica se o DLS Client Mode deve ser ativado.	Sim	Defina como false.
  fs.dls.data.endpoint	Endpoint de dados usado pelo DLS para acessar os dados subjacentes do OSS.	Sim	No console do OSS, acesse a seção "Overview > Access Ports" do bucket desejado e verifique o OSS internal Endpoint. Consulte também a documentação "Regions and endpoints".

Criar um catálogo DLF

Gerenciar bancos de dados

Execute os comandos a seguir no editor SQL em Development > Scripts.

• Criar um banco de dados

  Um banco de dados default é criado automaticamente. Para criar outros bancos de dados:

  -- Replace my-catalog with the name of your Paimon catalog.
  USE CATALOG `my-catalog`;
  
  -- Replace my_db with a custom database name in English.
  CREATE DATABASE `my_db`;

• Excluir um banco de dados

  Importante

  O banco de dados default não pode ser excluído de um catálogo DLF. No entanto, é possível excluí-lo de um catálogo Filesystem.

  -- Replace my-catalog with the name of your Paimon catalog.
  USE CATALOG `my-catalog`;
  
  -- Replace my_db with the name of the database that you want to delete.
  DROP DATABASE `my_db`; -- Deletes a database only if it contains no tables.
  DROP DATABASE `my_db` CASCADE; -- Deletes the database and all tables in it.
  

Visualizar ou excluir um catálogo

1. No Management Portal, clique em Console na coluna Actions do workspace desejado.

2. Na página Catalogs, visualize ou exclua um catálogo Apache Paimon.

   • Na página Catalog List, visualize o nome e o tipo do catálogo. Para visualizar os bancos de dados e tabelas em um catálogo, clique em View na coluna Actions.

   • Na página Catalog List, clique em Delete na coluna Actions do catálogo a ser excluído.

     Nota

     Excluir um catálogo remove apenas seu registro no Flink. Os arquivos de dados subjacentes não são afetados. Registre o catálogo novamente para restaurar o acesso.

     Alternativamente, no editor SQL em Development > Scripts, insira DROP CATALOG <catalog name>;, selecione o código e clique em Run.