A Delta Table é um formato de tabela de alto desempenho desenvolvido pelo MaxCompute para conjuntos de dados analíticos em grande escala. Disponível em dois tipos — Append Delta Tables e PK Delta Tables —, ela oferece suporte a transações ACID (atomicidade, consistência, isolamento e durabilidade), consultas incrementais, time travel, bucketing dinâmico de cluster, atualizações de dados em tempo real e evolução de schema.
O que é uma Delta Table
A Delta Table é o formato de tabela aberta do MaxCompute para análises em grande escala. Diferentemente das tabelas tradicionais no estilo Hive, as Delta Tables mantêm um log de transações que registra cada alteração nos dados e proporciona confiabilidade equivalente à de bancos de dados sobre armazenamento de objetos.
As Delta Tables formam a base para cargas de trabalho lakehouse no MaxCompute. Elas permitem executar gravações em batch e streaming na mesma tabela, consultar snapshots históricos sem manter backups separados e evoluir o schema com segurança conforme os requisitos mudam.
Tipos de tabela
Existem dois tipos de Delta Tables. A escolha adequada depende da existência de uma chave primária natural nos dados e da forma como você precisa gravar na tabela.
Append Delta Table
Uma Append Delta Table armazena registros exclusivamente por adição: cada gravação insere novas linhas sem modificar ou excluir as existentes. Não há restrição de chave primária.
Utilize uma Append Delta Table quando:
Os dados chegarem como um fluxo de eventos imutáveis (logs, clickstream, leituras de sensores).
O throughput de gravação for a principal prioridade.
Não houver necessidade de atualizações nem exclusões.
PK Delta Table
Uma PK Delta Table define uma ou mais colunas como chave primária. Ao receber uma linha com a mesma chave primária, a tabela a mescla com a linha existente em vez de adicionar uma duplicata. Isso torna a tabela a fonte autoritativa do estado atual de cada entidade.
Opte por uma PK Delta Table quando:
Os dados representarem entidades que mudam ao longo do tempo (pedidos, perfis de usuário, inventário).
For necessária semântica de upsert (inserção ou atualização).
Os consumidores downstream precisarem do estado mais recente de cada registro sem lógica de deduplicação.
Como escolher entre os dois tipos
|
Dimensão |
Append Delta Table |
PK Delta Table |
|
Chave primária |
Não obrigatória |
Obrigatória |
|
Modo de gravação |
Apenas adição |
Upsert (inserção ou atualização) |
|
Tratamento de duplicatas |
Permitido |
Mesclado automaticamente |
|
Caso de uso típico |
Fluxos de eventos, logs |
Dimensões de mudança lenta, CDC |
|
Desempenho de gravação |
Superior |
Levemente inferior (sobrecarga de mesclagem) |
Recursos suportados
Transações ACID
As Delta Tables garantem atomicidade, consistência, isolamento e durabilidade (ACID) em todas as operações de gravação:
Atomicidade: Toda gravação é concluída integralmente ou não produz efeito. Gravações parciais nunca ocorrem; portanto, os leitores jamais visualizam dados incompletos.
Consistência: A tabela permanece sempre em um estado válido. Restrições como a unicidade da chave primária nas PK Delta Tables são aplicadas a cada commit.
Isolamento: Leituras e gravações simultâneas não interferem entre si. Os leitores visualizam um snapshot consistente mesmo durante uma gravação em andamento.
Durabilidade: Após o commit de uma gravação, ela se torna permanente, mesmo que um nó falhe imediatamente depois.
As garantias ACID eliminam problemas de qualidade de dados comuns em formatos de tabela não transacionais, como exclusões parciais, anomalias de leitura pós-gravação e atualizações perdidas.
Time travel
As Delta Tables registram um histórico completo de snapshots. Consulte a tabela exatamente como estava em qualquer momento passado ou reverta para um snapshot anterior, sem precisar manter cópias de backup separadas. Esse recurso é útil para:
Auditoria: verifique a aparência dos dados antes de uma alteração específica.
Depuração: reproduza o resultado de uma consulta usando exatamente os dados existentes em determinado timestamp.
Recuperação: restaure rapidamente uma tabela para um estado íntegro conhecido após uma gravação incorreta.
Consulta incremental
Uma consulta incremental lê apenas as linhas alteradas desde um snapshot ou timestamp específico. Isso permite que pipelines downstream consumam novos dados sem reexaminar toda a tabela, algo essencial para tabelas grandes nas quais uma varredura completa seria muito lenta ou custosa.
Evolução de schema
Alterações de schema em formatos de tabela tradicionais frequentemente exigem a regravação de todo o conjunto de dados ou quebram consultas existentes. As Delta Tables suportam evolução de schema: adicione, remova ou renomeie colunas sem regravar dados históricos e sem interromper consumidores que dependem do schema antigo.
Bucketing dinâmico de cluster
O desempenho de consultas em tabelas grandes degrada quando a varredura precisa ler dados irrelevantes. O bucketing dinâmico de cluster agrupa automaticamente linhas relacionadas nos mesmos arquivos de armazenamento com base nos valores das colunas. Assim, consultas com filtros nessas colunas ignoram grandes partes do conjunto de dados. Ao contrário do particionamento estático, o bucketing dinâmico de cluster se reequilibra conforme o volume de dados e os padrões de consulta mudam, sem necessidade de reparticionamento manual.
Atualizações de dados em tempo real
As PK Delta Tables aceitam gravações via streaming de pipelines de captura de dados de alteração (CDC). Combinadas às garantias ACID, elas permitem manter uma visão consistente e em tempo real de dados mutáveis junto com análises em batch na mesma tabela, sem gerenciar armazenamentos separados para dados quentes e frios.
Próximos passos
Crie uma Delta Table.
Grave dados em uma Delta Table.
Consulte o histórico da Delta Table com time travel.