O catálogo é o contêiner de metadados de nível superior no DLF. Use catálogos para organizar bancos de dados e tabelas hierarquicamente, isolar metadados entre equipes, gerencie o armazenamento de dados e simplificar a governança.
Pré-requisitos
Antes de começar, verifique se você tem:
Configurado o DLF (ativação e autorização únicas)
(Usuários RAM) A política de permissões
AliyunDLFFullAccessou uma política personalizada com ações relacionadas a catálogos. Para mais informações, consulte Gerenciar permissões de API.(Usuários RAM) A função de sistema
super_administratorouadmin, ou uma função personalizada com permissões de dados relacionadas a catálogos. Para mais informações, consulte Conceder permissões de dados a um usuário.
Usuários RAM precisam de permissões de API e de dados para gerenciar catálogos.
Limitações
Cada conta pode crie no máximo 10 catálogos por região. Para solicitar um aumento, envie um ticket.
Criar um catálogo
Faça login no console DLF.
Na página Catalogs, clique em Create Catalog.
-
Configure os seguintes parâmetros.
Parâmetro
Obrigatório
Padrão
Descrição
Catalog Name
Sim
--
Nome exclusivo do catálogo.
Description
Não
--
Descrição do catálogo.
Storage Type
Sim
Standard Storage
Fixado como Standard Storage.
Storage Redundancy Type
Sim
LRS
Política de redundância de dados. Valores válidos: LRS e ZRS.
Opções de Storage Redundancy Type:
LRS (Locally Redundant Storage): Armazena dados em uma única zona. Se a zona ficar indisponível, os dados ficarão inacessíveis. Opção padrão.
ZRS (Zone-Redundant Storage): Replica dados em várias zonas dentro de uma região para garantir maior disponibilidade.
ImportanteApós a criação do catálogo, não é possível alterar o tipo de redundância de ZRS para LRS.
O ZRS oferece maior disponibilidade de dados, mas gera custos mais elevados que o LRS.
Leia e selecione Terms of Service e clique em Create Catalog.
Visualizar um catálogo
No painel de navegação à esquerda, clique em Catalogs.
Clique em no nome de um catálogo para visualize seus detalhes.
Na aba Details, visualize as informações básicas do catálogo.
Clique em na aba Permissions para conceder permissões no nível do catálogo a usuários ou funções do DLF. Consulte Gerenciar autorizações de dados.
Clique em na aba Storage Optimization para configure camadas de armazenamento. Para mais informações, consulte Configurar otimização de armazenamento.
Clique em na aba Catalog Configuration para configure o ciclo de vida de fragmentos de arquivo e as propriedades padrão das tabelas Paimon. Para mais informações, consulte Configurar definições do catálogo.
Excluir um catálogo
Antes de exclua um catálogo, certifique-se de atender às seguintes condições. Caso contrário, a exclusão falhará.
Exclua todas as tabelas e todos os bancos de dados que não sejam
defaultno catálogo.Aguarde 24 horas após a exclusão de todas as tabelas antes de exclua o catálogo.
Na página Catalogs, localize o catálogo desejado e clique em Delete na coluna Actions.
Na caixa de diálogo, clique em OK.
Configurar otimização de armazenamento
Na aba Storage Optimization, use o recurso Intelligent Tiering para mover automaticamente dados quentes e frios entre as tabelas do catálogo com base em regras de ciclo de vida.
Comportamento no nível do catálogo e da tabela
Nível do catálogo: Quando ativado, o Intelligent Tiering aplica-se a todas as tabelas e herda as configurações do catálogo. Substituições no nível da tabela removem o status "Inherited from Catalog".
Nível da tabela: Ative o Intelligent Tiering para tabelas individuais, mesmo que o tiering no nível do catálogo esteja desativado.
Estratégia de tiering
|
Estratégia |
Descrição |
|
Last Access Time |
Aciona regras com base no último acesso aos dados da tabela ou partição. |
|
Last Update Time |
Aciona regras com base na última atualização dos dados da tabela ou partição. |
Regras de tiering
Configure regras para fazer a transição de dados entre classes de armazenamento. A duração mínima de armazenamento varia conforme a classe.
|
Regra |
Padrão (dias) |
Descrição |
|
Transition to Infrequent Access |
30 |
Move dados para o armazenamento Infrequent Access (IA) após o número especificado de dias. Dados em IA permanecem acessíveis pelos mecanismos de computação, porém com desempenho reduzido. |
|
Transition to Archive |
60 |
Move dados para o armazenamento Archive após o número especificado de dias. Dados arquivados ficam inacessíveis pelos mecanismos de computação. |
|
Transition to Cold Archive |
180 |
Move dados para o armazenamento Cold Archive após o número especificado de dias. Dados em Cold Archive ficam inacessíveis pelos mecanismos de computação. |
As regras Transition to Infrequent Access e Transition to Archive oferecem uma opção adicional:
Convert to Standard Storage Upon Access: Restaura automaticamente a partição ou tabela não particionada para o armazenamento Standard quando acessada.
A opção Convert to Standard Storage Upon Access está disponível apenas quando a Tiering Strategy está defina como Last Access Time.
Configurar definições do catálogo
Na aba Catalog Configuration, configure estas definições no nível do catálogo.
File Fragment Lifecycle
Defina o tempo de expiração para fragmentos de arquivo (mínimo: 1 dia). Fragmentos expirados são excluídos automaticamente e não podem ser recuperados.
Advanced Settings
Substitua as propriedades padrão para tabelas Paimon. Consulte Tabela Paimon.
Próximos passos
Gerenciar autorizações de dados: Conceda permissões no nível do catálogo a usuários e funções.
Tabela Paimon: Crie e gerencie tabelas Paimon dentro de um catálogo.