Um catálogo é o contêiner de metadados de nível superior no DLF. É recomendável que você gerencie, crie, visualize, configure, atualize e exclua catálogos conforme necessário.
Pré-requisitos
Antes de começar, verifique se você possui:
Set up DLF (ativação e autorização de uma única vez)
(Usuários do ram) A política de permissão
AliyunDLFFullAccessou uma política personalizada com ações relacionadas a catálogos. Para obter mais informações, consulte Manage API permissions.(Usuários do ram) A função de sistema
super_administratorouadmin, ou uma função personalizada com permissões de dados relacionadas a catálogos. Para obter mais informações, consulte Grant data permissions to a user.
Os usuários do ram precisam de permissões de API e de dados para gerenciar catálogos.
Limitações
O limite máximo é de 10 catálogos por conta em cada região. Para solicitar um aumento, envie um ticket.
Criar um catálogo
Faça login no console do DLF
Na página Catalogs, clique em Create Catalog.
-
Configure os seguintes parâmetros.
Parâmetro
Obrigatório
Padrão
Descrição
Catalog Name
Sim
--
Um nome exclusivo para o catálogo.
Description
Não
--
Descrição do catálogo.
Storage Type
Sim
Standard Storage
Fixo como Standard Storage.
Storage Redundancy Type
Sim
LRS
Política de redundância de dados. Valores válidos: LRS e ZRS.
Opções de Storage Redundancy Type:
LRS (Locally Redundant Storage): Armazena dados em uma única zona. Se a zona ficar indisponível, os dados ficarão inacessíveis. Opção padrão.
ZRS (Zone-Redundant Storage): Replica dados em várias zonas de uma região para maior disponibilidade.
ImportanteApós criar o catálogo, não é possível alterar o tipo de redundância de ZRS para LRS.
O ZRS oferece maior disponibilidade de dados, mas gera custos mais altos que o LRS.
Leia e selecione Terms of Service e, em seguida, clique em Create Catalog.
Visualizar um catálogo
No painel de navegação à esquerda, clique em Catalogs.
Clique no nome de um catálogo para visualizar seus detalhes.
Na guia Details, visualize as informações básicas do catálogo.
Clique na guia Permissions para conceder permissões no nível do catálogo a usuários ou funções do DLF. Manage data authorizations.
Clique na guia Storage Optimization para configurar as camadas de armazenamento. Para obter mais informações, consulte Configure storage tiering.
Clique na guia Catalog Configuration para configurar o ciclo de vida de fragmentos de arquivo e as propriedades padrão das tabelas Paimon. Para obter mais informações, consulte Configure a catalog.
Configurar um catálogo
Configurar camadas de armazenamento
Na guia Storage Optimization, use o Intelligent Tiering para distribuir automaticamente dados quentes e frios em camadas nas tabelas do catálogo, com base nas regras de ciclo de vida.
Comportamento no nível do catálogo e da tabela
Nível do catálogo: Quando ativado, o Intelligent Tiering aplica-se a todas as tabelas e herda as configurações do catálogo. As substituições no nível da tabela removem o status "Inherited from Catalog".
Nível da tabela: Para tabelas individuais, ative o Intelligent Tiering mesmo que a distribuição em camadas no nível do catálogo esteja desativada.
Estratégia de camadas
|
Estratégia |
Descrição |
|
Last Access Time |
Aciona regras com base no momento do último acesso aos dados da tabela ou partição. |
|
Last Update Time |
Aciona regras com base no momento da última atualização dos dados da tabela ou partição. |
Regras de camadas
Configure regras para mover dados entre classes de armazenamento. A duração mínima de armazenamento varia de acordo com a classe.
|
Regra |
Padrão (dias) |
Descrição |
|
Transition to Infrequent Access |
30 |
Move os dados para o armazenamento de Acesso Infrequente (IA) após os dias especificados. Os dados de IA continuam acessíveis aos mecanismos de computação, mas com desempenho reduzido. |
|
Transition to Archive |
60 |
Move os dados para o armazenamento de Arquivo após os dias especificados. Os dados arquivados ficam inacessíveis aos mecanismos de computação. |
|
Transition to Cold Archive |
180 |
Move os dados para o armazenamento de Arquivo Frio após os dias especificados. Os dados em arquivo frio ficam inacessíveis aos mecanismos de computação. |
As regras Transition to Infrequent Access e Transition to Archive oferecem uma opção adicional:
Convert to Standard Storage Upon Access: Restaura automaticamente a partição ou a tabela não particionada para o armazenamento Standard quando acessada.
A opção Convert to Standard Storage Upon Access está disponível apenas quando a Tiering Strategy está definida como Last Access Time.
Configurar o ciclo de vida de fragmentos de arquivo
Na guia Catalog Configuration, defina estas configurações no nível do catálogo.
File Fragment Lifecycle
Defina o tempo de expiração para fragmentos de arquivo (mínimo: 1 dia). O sistema exclui automaticamente os fragmentos expirados, e eles não podem ser recuperados.
Configurar propriedades padrão da tabela Paimon
Advanced Settings
Defina propriedades padrão para tabelas Paimon recém-criadas. Formato da chave de configuração: table-default.<Paimon table property>. Para obter detalhes das propriedades, consulte a documentação de configuração do Apache Paimon.
Por exemplo, para ativar os Deletion Vectors por padrão, configure table-default.deletion-vectors.enabled=true. Ao criar uma tabela, o sistema remove o prefixo table-default. e aplica deletion-vectors.enabled=true como uma propriedade da tabela.
As propriedades especificadas explicitamente durante a criação da tabela têm precedência e não são substituídas por esta configuração.
Excluir um catálogo
Antes de excluir um catálogo, certifique-se de atender às seguintes condições. Caso contrário, a exclusão falhará.
Exclua todas as tabelas e todos os bancos de dados diferentes de
defaultno catálogo.Aguarde 24 horas após a exclusão de todas as tabelas antes de excluir o catálogo.
Na página Catalogs, localize o catálogo de destino e clique em Delete na coluna Actions.
Na caixa de diálogo, clique em OK.
Próximas etapas
Manage data authorizations: Conceda permissões no nível do catálogo a usuários e funções.
Paimon Table: Crie e gerencie tabelas Paimon em um catálogo.