O gerenciamento de ciclo de vida oferece suporte a diversos tipos de regras que permitem gerenciar o ciclo de vida dos dados em seu data lake e reduzir custos de armazenamento. Este tópico descreve como gerenciar regras de ciclo de vida.
Como funciona
Use o gerenciamento de ciclo de vida para configurar regras de gerenciamento de dados para bancos de dados e tabelas no seu data lake. Com base em quatro tipos de regras — último acesso aos dados, valor da partição por tempo, hora de criação da partição/tabela e última atualização da partição/tabela —, você pode fazer a transição periódica dos dados para diferentes classes de armazenamento e reduzir custos. Data lakes frequentemente contêm grandes volumes de dados históricos sem acesso ativo. Transfira esses dados para classes de armazenamento mais econômicas, como Infrequent Access, Archive ou Cold Archive. Por exemplo:
Em uma tabela de pedidos particionada por data (por exemplo,
pt=20220101), talvez seja necessário analisar apenas os dados dos últimos três anos. Configure uma regra baseada no valor da partição para mover automaticamente as partições mais antigas para o Cold Archive e reduzir os custos de armazenamento.Se um banco de dados pertencer a uma linha de negócios descontinuada, configure uma regra para transferir todo o banco de dados para o Cold Archive e garantir o armazenamento de longo prazo.
Configure as regras com cuidado, considerando suas necessidades reais de negócios.
Os dados transferidos para Archive ou Cold Archive ficam inacessíveis aos mecanismos de computação. Para reutilizá-los, restaure-os manualmente, o que gera cobranças. Para mais informações, consulte OSS storage classes e Convert storage classes.
A transferência de dados para Infrequent Access reduz o desempenho de acesso pelos mecanismos de computação.
Limitações
O gerenciamento de ciclo de vida requer o Data Lake Formation (DLF 1.0) e os dados devem estar armazenados no Object Storage Service (OSS).
O gerenciamento de ciclo de vida não oferece suporte a dados não estruturados. Para gerenciar esse tipo de dado, use o recurso de gerenciamento de ciclo de vida do OSS.
Faturamento
O gerenciamento de ciclo de vida envolve dois tipos de taxas:
Atualmente, o recurso de gerenciamento de ciclo de vida está em preview público e é gratuito.
Para obter informações sobre as taxas de ciclo de vida do OSS, consulte Fees related to lifecycle rules.
Procedimento
Pré-requisitos
Ative o Object Storage Service (OSS). Para isso, acesse o OSS console.
As permissões de dados do DLF controlam o acesso a bancos de dados e tabelas para gerenciamento de ciclo de vida. Configure regras de ciclo de vida apenas para bancos de dados e tabelas aos quais você tenha permissão de acesso.
Criar uma regra de ciclo de vida
Siga estas etapas para criar uma regra de ciclo de vida.
Faça login no Data Lake Formation console.
No painel de navegação à esquerda, escolha Lake Management > Lifecycle Management.
-
Clique em Create Rule para configurar a regra.
-
Especifique as informações básicas: Name, Description, Catalog List e Resource Type.
Em Resource Type, selecione Database ou Table para configurar regras de ciclo de vida para bancos de dados ou tabelas, respectivamente.
-
Selecione um tipo de regra. O DLF atualmente oferece suporte aos quatro tipos seguintes:
Último acesso aos dados: define o ciclo de vida com base na última vez que os dados foram acessados. Para tabelas particionadas, usa-se o último acesso da partição de granularidade mais fina. Para tabelas não particionadas, considera-se o último acesso da tabela.
Valor da partição por tempo: define o ciclo de vida com base no valor da partição. Esta regra aplica-se apenas a tabelas cuja partição de nível um contém um formato de tempo.
Última atualização da partição/tabela: define o ciclo de vida com base na última atualização de uma partição ou tabela. Em tabelas particionadas, usa-se a última atualização da partição de granularidade mais fina. Para tabelas não particionadas, usa-se a última atualização da tabela.
Hora de criação da partição/tabela: define o ciclo de vida com base na hora de criação de uma partição ou tabela. Para tabelas particionadas, usa-se a hora de criação da partição de granularidade mais fina. Em tabelas não particionadas, usa-se a hora de criação da tabela.
Selecione o intervalo de tempo para a transição dos dados para Infrequent Access, Archive ou Cold Archive.
-
Configure o mecanismo de execução da regra.
Ative o Execution Scheduling para executar a regra automaticamente todos os dias. Se o agendamento estiver desativado, execute a regra manualmente após sua criação. As execuções agendadas são concluídas diariamente antes das 08:00.
-
Clique em Next para selecionar os bancos de dados ou tabelas aos quais a regra se aplica.
Clique em Add Database Resources, selecione os recursos a serem vinculados (há suporte para pesquisa e seleção entre páginas) e clique em Add.
-
Após adicionar os recursos, clique em OK para visualizar o resultado da vinculação.
Se a vinculação for bem-sucedida, uma mensagem exibirá o número de recursos vinculados com êxito. Em caso de falha, uma mensagem mostrará o motivo.
NotaSe o tipo de recurso for Database, vincule recursos de banco de dados. Se for Table, vincule recursos de tabela.
As regras de tabela têm prioridade maior que as regras de banco de dados. Caso uma tabela já esteja vinculada por uma regra de banco de dados, esta operação substituirá a regra existente para essa tabela.
Cada banco de dados ou tabela pode ser vinculado a apenas uma regra por vez.
Cada regra pode ser vinculada a, no máximo, 1.000 recursos.
Crie uma regra sem vincular recursos e vincule-os posteriormente. Para isso, clique em Save.
Editar uma regra de ciclo de vida
Para editar uma regra de ciclo de vida, localize-a na lista e clique em Edit à direita.
Após modificar uma regra, se o Execution Scheduling estiver ativado, as alterações entrarão em vigor na execução do dia seguinte.
-
Quando uma regra modificada é executada novamente, ela afeta todos os seus recursos vinculados da seguinte forma:
Os dados já transferidos para Infrequent Access, Archive ou Cold Archive permanecem em seu estado atual.
Os dados ainda não transferidos são processados pela nova regra.
Visualizar detalhes da regra
No painel de navegação à esquerda, escolha Lake Management > Lifecycle Management.
-
Selecione uma regra e clique em seu ID para visualizar seus detalhes.
Basic Information: exibe os detalhes da regra e o mecanismo de execução.
Resource Information: lista os bancos de dados ou tabelas vinculados à regra.
Execution History: lista as execuções manuais e agendadas da regra.
Excluir uma regra de ciclo de vida
No painel de navegação à esquerda, escolha Lake Management > Lifecycle Management.
Localize a regra de ciclo de vida que deseja excluir, clique em Delete à direita e clique em OK na caixa de diálogo de confirmação.
Após a exclusão de uma regra de ciclo de vida, ela não poderá mais ser executada manualmente ou pelo agendador.
Os dados afetados anteriormente pela regra permanecem em seu estado atual após a exclusão da regra.
Executar uma regra manualmente
No painel de navegação à esquerda, escolha Lake Management > Lifecycle Management.
Localize a regra de ciclo de vida que deseja executar manualmente, clique em Manual Execution à direita, leia atentamente o aviso e clique em OK para iniciar a tarefa.
Uma execução manual ocorre imediatamente e afeta todos os recursos vinculados no momento. Isso pode impactar suas aplicações de negócios. Avalie cuidadosamente os riscos antes de prosseguir.
Visualizar registros de execução
No painel de navegação à esquerda, escolha Lake Management > Lifecycle Management.
Clique na aba Execution History para visualizar todas as tarefas históricas de ciclo de vida e seus logs de execução.
Clique no nome de uma tarefa para visualizar suas informações de execução e logs.
Restaurar uma tabela
No painel de navegação à esquerda, escolha Metadata > Metadata.
Clique na aba Data Table e clique no nome da tabela.
Clique na aba Storage Rule. No DLF, clique em Restore Table para transferir a classe de armazenamento da tabela para Standard Storage.
-
Para opções avançadas de restauração, consulte os seguintes documentos: