Data Lake Formation:Gerenciamento de ciclo de vida

Como funciona

As regras de ciclo de vida definem quando ocorre uma transição. O DLF avalia cada regra com base em um dos quatro gatilhos temporais e transiciona os dados correspondentes para a classe de armazenamento de destino.

• Regras agendadas: executadas todas as noites, entram em vigor antes das 08:00 do dia seguinte.

• Regras acionadas manualmente: entram em vigor imediatamente.

O gerenciamento de ciclo de vida aplica-se apenas a dados estruturados. Para dados não estruturados, utilize o gerenciamento de ciclo de vida no OSS.

Tipos de regra

O DLF oferece suporte a quatro tipos de regra. Cada um utiliza uma referência temporal diferente como gatilho:

Para tabelas sem partições, o DLF utiliza o carimbo de data/hora correspondente no nível da tabela.

Casos de uso

• Arquivamento de dados de pedidos: Tabelas de pedidos são particionadas por data (por exemplo, 20220101). Apenas os dados dos últimos três anos são analisados ativamente. Utilize a regra Partition Value By Time para transicionar automaticamente partições mais antigas para o Cold Archive.

• Arquivamento de banco de dados inativo: Um banco de dados de uma linha de negócios descontinuada precisa ser arquivado. Use uma regra de ciclo de vida no nível do banco de dados para transicionar todos os dados de Standard ou IA para Cold Archive.

Após o arquivamento: acesso e recuperação

Para restaurar dados arquivados:

• Consulte Classes de armazenamento do OSS e Converter classes de armazenamento para obter as etapas de restauração no nível do OSS.

• Para restaurar uma tabela do DLF diretamente, consulte Restaurar uma tabela.

Configure as regras de ciclo de vida com base nos seus padrões reais de acesso. Evite transicionar dados que ainda possam exigir acesso frequente.

Limites

• Não há suporte para gerenciamento de dados não estruturados. Utilize o gerenciamento de ciclo de vida no OSS.

• Cada banco de dados ou tabela pode ser associado a apenas uma regra de ciclo de vida por vez.

• Cada regra de ciclo de vida pode ser associada a, no máximo, 1.000 recursos.

• As regras de tabela têm prioridade sobre as regras de banco de dados. Se uma tabela já estiver vinculada a uma regra de banco de dados, essa regra será substituída para a tabela em questão.

• As permissões para bancos de dados e tabelas estão sujeitas ao controle de permissões de dados do DLF. Configure regras apenas para recursos dentro das suas permissões autorizadas.

Crie uma regra de ciclo de vida

Antes de começar, certifique-se de ter:

• Uma instância ativa do OSS. Caso o OSS não esteja ativado, acesse o console do OSS para ativá-lo.

• As permissões necessárias do DLF para os bancos de dados ou tabelas que deseja gerenciar.

Etapas:

1. Faça logon no console do DLF.

2. No painel de navegação à esquerda, escolha Lake Management > Lifecycle Management.

3. Clique em Create Rule e preencha as informações básicas:

   • Name: Um nome exclusivo para a regra.

   • Description: (Opcional) Uma breve descrição.

   • Catalog List: O catálogo ao qual a regra será aplicada.

   • Resource Type: Selecione Database ou Table.

4. Selecione um tipo de regra entre as quatro opções descritas em Tipos de regra.

5. Defina o intervalo de transição — quanto tempo após o atendimento da condição de gatilho os dados serão transicionados para IA, Archive ou Cold Archive.

6. Configure o mecanismo de execução:

   • Ative Execution Scheduling para executar a regra automaticamente todas as noites. As regras entram em vigor antes das 08:00 do dia seguinte.

   • Mantenha desativado para executar a regra manualmente na página Lifecycle Management quando necessário.

7. Clique em Next para selecionar os bancos de dados ou tabelas a serem vinculados a esta regra.

8. Clique em Add Database Resource, selecione os recursos (há suporte para pesquisa e seleção entre páginas) e clique em Add.

9. Clique em OK para confirmar o vínculo. Se o vínculo for bem-sucedido, o console exibirá o número de recursos vinculados com êxito. Em caso de falha, o console mostrará o motivo.

Se Resource Type estiver definido como Database , apenas recursos de banco de dados poderão ser adicionados. Se definido como Table , apenas recursos de tabela poderão ser adicionados.

Cada recurso pode ser vinculado a apenas uma regra de ciclo de vida por vez. Vincular um recurso a uma nova regra substitui a regra existente.

Após adicionar recursos, clique em Save para finalizar.

Edite uma regra de ciclo de vida

1. Acesse Lake Management > Lifecycle Management.

2. Localize a regra e clique em Edit na coluna Actions.

Visualize uma regra de ciclo de vida

1. Acesse Lake Management > Lifecycle Management.

2. Clique no ID da regra para visualizar seus detalhes, organizados em três abas:

   • Basic Information: Configuração da regra, detalhes e mecanismo de execução.

   • Resource Information: Bancos de dados ou tabelas associados.

   • Execution History: Registros de execuções manuais e agendadas.

Exclua uma regra de ciclo de vida

1. Acesse Lake Management > Lifecycle Management.

2. Localize a regra, clique em Delete na coluna Actions e confirme clicando em Delete na caixa de diálogo.

Após a exclusão, a regra não poderá mais ser executada, seja manual ou agendada. Os dados já transicionados pela regra permanecem na classe de armazenamento atual.

Execute uma regra de ciclo de vida manualmente

1. Acesse Lake Management > Lifecycle Management.

2. Localize a regra e clique em Manual Execution na coluna Actions.

3. Leia o aviso com atenção e clique em OK para iniciar a tarefa.

Visualize histórico de execução

1. Acesse Lake Management > Lifecycle Management.

2. Clique na aba Execution History para visualizar todos os registros anteriores de execuções agendadas e manuais.

3. Clique no nome de uma tarefa para visualizar seus detalhes de execução e logs.

Restaurar uma tabela

Se uma tabela foi transicionada para Archive ou Cold Archive, restaure-a para Standard Storage antes que os mecanismos de computação possam acessá-la.

1. No painel de navegação à esquerda, escolha Metadata > Metadata.

2. Clique na aba Table e clique no nome da tabela.

3. Clique na aba Storage Rule e clique em Restore Table. Isso transiciona a classe de armazenamento de volta para Standard Storage.

Para restaurar dados frios no nível do OSS (por exemplo, usando o tiering automático de armazenamento do OSS-HDFS), consulte:

• Converter classes de armazenamento

• Como usar o tiering automático de armazenamento do OSS-HDFS