Configurar otimização de armazenamento lake - AnalyticDB: Central de Documentação do Alibaba Cloud

À medida que os dados se acumulam em uma instância Enterprise Edition, arquivos pequenos e snapshots expirados degradam o desempenho das consultas e desperdiçam armazenamento. A otimização de armazenamento lake compacta arquivos pequenos, limpa arquivos órfãos e gerencia o ciclo de vida dos snapshots para manter um layout de armazenamento ideal.

Nota

Este recurso está na fase de testes por convite. Para solicitar acesso, envie um ticket.

Escopo

Condição	Requisito
Edição da instância	Enterprise Edition.
Tipo de banco de dados	Apenas bancos de dados e tabelas no armazenamento lake do AnalyticDB for MySQL.
Visibilidade	Somente bancos de dados visíveis no Data Catalog podem ser configurados.

Herança em três níveis

A configuração segue a hierarquia Instância > Banco de dados > Tabela. Cada nível herda as configurações do pai por padrão, mas pode substituí-las por valores personalizados.

Instance-level settings (global defaults)
  ├── Database A (inherits instance settings)
  │     ├── Table 1 (inherits Database A settings)
  │     └── Table 2 (custom: compaction frequency = high)
  └── Database B (custom: lake storage optimization disabled)
        └── Table 3 (inherits Database B → disabled)

Política	Comportamento	Caso de uso
Inherit	Segue automaticamente as alterações do nível superior.	Bancos de dados e tabelas que exigem configurações uniformes.
Custom	Utiliza configurações independentes, sem impacto de alterações no nível superior.	Objetos com necessidades específicas de desempenho ou que requerem desativação da otimização.

Prioridade: Nível de tabela > Nível de banco de dados > Nível de instância. Após selecione Custom, esse nível e seus filhos deixam de ser afetados por alterações no nível pai.

Importante

Desativar o controle Enable Lake Storage Optimization no nível da instância desativa todas as configurações nos níveis de banco de dados e tabela, interrompendo a otimização em toda a instância. Os parâmetros configurados são preservados e restaurados automaticamente quando você reativa a otimização.

Acessar as configurações

Na página de detalhes da instância, escolha Data Management > Data Catalog no painel de navegação à esquerda.

Nível	Ponto de entrada
Instância	Clique em Edit na seção Lake Storage Optimization acima da lista de bancos de dados.
Banco de dados	Clique em no banco de dados desejado e acesse a aba Lake Storage Optimization.
Tabela	Clique em na tabela desejada e acesse a aba Lake Storage Optimization.

Parâmetros

Parâmetro	Descrição	Valores válidos	Padrão	Instância	Banco de dados	Tabela
Enable Lake Storage Optimization	Controle global para a instância.	On / Off	Off	✓	—	—
Política	Herda configurações do nível superior ou usa valores personalizados.	Inherit / Custom	Inherit	—	✓	✓
Status	Ativa ou desativa a otimização neste nível.	On / Off	—	—	✓	✓
Resource Group	Recursos de computação para executar tarefas de otimização.	Grupos de recursos existentes.	—	✓	✓	✓
Small File Merge Frequency	Frequência de compactação de arquivos pequenos.	low / normal / high	normal	✓	✓	✓
Snapshot Retention Period	Tempo de retenção dos snapshots históricos.	1 a 7 dias	7 dias	✓	✓	✓
Orphan File Retention Period	Tempo de retenção de arquivos órfãos antes da limpeza.	3 / 5 / 7 / 10 / 14 dias	3 dias	✓	✓	✓

Nota

Quando o controle no nível da instância está desativado, apenas ele fica visível. Os demais parâmetros aparecem após a ativação. Nos níveis de banco de dados e tabela, os parâmetros tornam-se visíveis depois que você selecione Custom e ative o status.

Frequência de compactação de arquivos pequenos

A compactação de arquivos pequenos mescla arquivos de dados menores em arquivos maiores para reduzir a quantidade de arquivos e melhorar a eficiência das consultas.

Nível	Caso de uso
low	Tabelas de dados frios com baixo volume de escrita e alterações infrequentes.
normal (padrão)	Cargas de trabalho de uso geral.
high	Tabelas de dados quentes com alto throughput de escrita e consultas frequentes.

Uma frequência maior de compactação consome mais recursos de computação. Atribua um grupo de recursos dedicado para tarefas de otimização a fim de evitar contenção de I/O com cargas de trabalho de consulta.

Período de retenção de snapshots

Snapshots capturam o estado completo de uma tabela em um momento específico para rollback de dados e consultas time travel. Snapshots em excesso aumentam o uso de armazenamento e a sobrecarga de metadados. O período de retenção padrão é de 7 dias; o mínimo é de 1 dia.

Período de retenção de arquivos órfãos

Arquivos órfãos são arquivos de dados provenientes de escritas, atualizações ou compactações que não possuem referência em nenhum snapshot válido. Eles são limpos automaticamente após o período de retenção para recuperar espaço de armazenamento.

Importante

Reduzir o período de retenção economiza armazenamento, mas pode afetar consultas de longa duração em andamento. O mínimo é de 3 dias.

Histórico de execução

Na aba Lake Storage Optimization no nível da tabela, visualize o histórico de execução das tarefas de compactação, incluindo arquivos de dados lidos, arquivos de dados adicionados, bytes lidos, arquivos de dados com falha, hora de início e status.

Configurações recomendadas

Cenário	Configurações recomendadas	Motivo
Tabelas analíticas de alta frequência.	Frequência de compactação = high, Retenção de arquivos órfãos = 3 dias.	Elimina rapidamente arquivos pequenos e mantém o desempenho das consultas.
Tabelas de arquivamento de baixa frequência.	Frequência de compactação = low, Retenção de arquivos órfãos = 14 dias.	Reduz o consumo de recursos e amplia a janela de recuperação de dados.
Bancos de dados com carga mista.	Nível de banco de dados = inherit, Tabelas quentes = custom com high, Tabelas frias = custom com low.	Permite otimização por tabela adaptada aos padrões de carga de trabalho.
Ambientes de desenvolvimento e teste.	Desative a otimização de armazenamento lake no nível da instância.	Conserva recursos de computação.