O Data Lake Formation (DLF) oferece uma lixeira para reduzir o risco de exclusão acidental de bancos de dados, tabelas e arquivos. Ao excluir um banco de dados ou tabela, os dados e metadados associados permanecem na lixeira durante um período de retenção configurável, no qual podem ser consultados e restaurados. Para catálogos Paimon, a lixeira também permite visualizar arquivos órfãos removidos pela limpeza de otimização de tabelas.
Cenários
Restaure um banco de dados ou tabela excluído acidentalmente, desde que ainda esteja dentro do período de retenção de metadados.
Arquivos sem referência, removidos pela limpeza de arquivos órfãos durante a otimização da tabela, são movidos para a lixeira de arquivos, onde podem ser inspecionados para solução de problemas. Para mais informações, consulte Orphan file cleanup.
Pré-requisitos
Permissão: Sua conta deve ter permissões para acessar o console do Data Lake Formation, visualizar a lixeira e restaurar recursos. Usuários RAM também precisam das permissões necessárias de API e dados do DLF. Para mais informações, consulte Configure permissions.
Status do catálogo: O catálogo deve estar acessível. Se o catálogo não existir, tiver sido excluído, estiver inacessível devido a permissões insuficientes ou em estado indisponível, a operação de restauração falhará. Os dados e metadados na lixeira permanecerão inalterados.
Limitações
Escopo de reciclagem de arquivos: A reciclagem de arquivos tem suporte apenas para catálogos do tipo Paimon, e o catálogo deve ter concluído a inicialização do sistema. Outros tipos de catálogo não oferecem suporte à reciclagem de arquivos.
Período de retenção: Após a expiração do período de retenção de metadados, os dados e metadados não podem ser recuperados. Mesmo que a página ainda mostre brevemente Purging, não é possível realizar a operação de restauração.
Conflitos de nomes: Ao restaurar um banco de dados ou tabela, a restauração falhará se já existir um banco de dados ou tabela com o mesmo nome no local de destino e em estado normal. Resolva o conflito de nomes antes de tentar a restauração novamente.
Banco de dados pai: A restauração de uma tabela exige que seu banco de dados pai esteja em estado normal. Caso o banco de dados pai esteja na lixeira, restaure-o primeiro.
Status de limpeza: Não é possível executar operações de restauração quando o status for Purging. Aguarde a conclusão da limpeza em segundo plano antes de tentar novamente (geralmente cerca de 30 minutos).
Procedimento
Etapa 1: Configure o período de retenção da lixeira
Faça login no console do DLF
No painel de navegação à esquerda, escolha Catalogs.
Na lista de catálogos, clique em catálogo desejado.
Na página de detalhes do catálogo, clique em Catalog Configuration.
Na seção Advanced Settings, clique em Modify.
Na seção Catalog Properties, adicione ou modifique os itens de configuração da lixeira.
Clique em OK.
A tabela a seguir descreve os itens de configuração da lixeira.
|
Item de configuração |
Tipo |
Padrão |
Descrição |
|
|
Inteiro |
|
Número de dias em que os metadados de bancos de dados e tabelas são retidos na lixeira. Deve ser um número inteiro maior ou igual a |
|
|
Inteiro |
|
Quantidade de dias que os arquivos órfãos permanecem na lixeira do sistema ( |
Etapa 2: Acessar a página da lixeira
Faça login no console do DLF
No painel de navegação à esquerda, escolha System & Security.
Na página System & Security, clique em Recycle Bin.
Selecione a aba Databases, Tables ou Files conforme necessário.
Etapa 3: Restaurar um banco de dados ou tabela
Na página Recycle Bin, clique em aba Databases ou Tables.
Selecione o catálogo desejado e insira o nome do banco de dados ou tabela para filtrar os resultados, se necessário.
Localize o banco de dados ou tabela que deseja restaurar.
Verifique se o status é Deletion Protected.
Na coluna Actions, clique em Restore.
Etapa 4: Visualize arquivos reciclados
Na página Recycle Bin, clique em aba Files.
Selecione o catálogo de destino e insira o nome do arquivo ou palavra-chave do caminho para filtrar os resultados, se necessário.
Visualize as informações sobre os arquivos excluídos.
A aba Files exibe arquivos órfãos na lixeira do sistema (system.trash). Esses arquivos podem apenas ser visualizados; não há suporte para restauração.
Observações
Períodos de retenção: O período de retenção de metadados (
dlf.trashed-meta-retained-days) e o período de retenção de arquivos (dlf.trashed-file-retained-days) são itens de configuração independentes. O primeiro controla por quanto tempo os metadados e dados de bancos de dados e tabelas podem ser restaurados. O segundo define a duração da retenção de arquivos órfãos na lixeira do sistema.Comportamento da restauração: Ao restaurar um banco de dados, todas as tabelas excluídas juntamente com ele também são restauradas. Tabelas excluídas separadamente devem ser restauradas individualmente pela aba Tables.
Limpeza em segundo plano: Após a exclusão de um banco de dados ou tabela, os dados e metadados associados são primeiramente movidos para a lixeira. Uma tarefa de limpeza em segundo plano executa a exclusão permanente. O tempo exato de conclusão depende do período de retenção configurado e do cronograma de limpeza em segundo plano.