A computação incremental do MaxCompute aproveita os recursos de armazenamento e leitura/gravação das Delta Tables para executar cálculos complexos sobre dados incrementais e capturar alterações dinamicamente.
Contexto
Como núcleo da computação incremental, a Dynamic Materialized View (Delta Live MV) permite executar cálculos complexos em dados incrementais. Esse recurso utiliza tecnologia de computação incremental para oferecer suporte a uma lógica SQL unificada, adequada tanto para processamento em streaming quanto em lote. A visualização captura automaticamente as alterações de uma tabela source e executa continuamente cálculos incrementais eficientes e de baixo custo, unificando seus pipelines de dados em streaming e em lote. Ajuste a frequência de atualização automática da Dynamic Materialized View (Delta Live MV) para obter o equilíbrio ideal entre a atualidade dos dados e o custo computacional em diversos cenários.
Se você já utiliza o MaxCompute como data warehouse offline, transforme facilmente seus serviços em lote existentes em operações quase em tempo real com alterações mínimas. Essa abordagem permite evoluir gradualmente seu ambiente MaxCompute de uma plataforma exclusiva de lote para uma arquitetura unificada de data warehouse que integra streaming e lote. Para novos usuários do MaxCompute, adote a Dynamic Materialized View desde o início. Assim, você constrói uma arquitetura de data warehouse unificada capaz de lidar com dados incrementais e completos, além de processamento em streaming e em lote, atendendo aos requisitos de tempo real do seu negócio.
Você também pode capturar dinamicamente as alterações nos dados upstream utilizando um Stream e uma tarefa periódica.
Casos de uso
Utilize uma Dynamic Materialized View (Delta Live MV) para crie pipelines de dados automatizados para dados incrementais e completos.
Use um Stream e uma periodic task (invitation-only preview) para capturar alterações de dados dinamicamente.
Uso
Os recursos Stream e Dynamic Materialized View (Delta Live MV) estão disponíveis geralmente. O recurso de tarefa periódica está em preview apenas por convite. Para solicitar acesso, envie um ticket.