MaxCompute:Visualização materializada automática (AutoMV)

Introdução

No contexto de data warehousing, as visualizações materializadas são fundamentais para otimizar cálculos repetitivos. Se o cenário de negócios envolver diversas instruções de consulta que compartilham cálculos frequentes e demorados (como JOIN e AGGREGATE) como subconsultas comuns, use visualizações materializadas para armazenar os resultados dessas subconsultas em uma tabela de visualização materializada. Dessa forma, quando essas subconsultas forem necessárias, não será preciso recalcular os dados; basta lê-los diretamente da tabela.

O recurso AutoMV do MaxCompute simplifica a análise, a criação e a manutenção de visualizações materializadas.

Ao ativá-lo, o sistema executa automaticamente as seguintes ações:

1. Monitoramento contínuo de consultas: Monitora as consultas executadas no nível do projeto para identificar subconsultas comuns adequadas para visualizações materializadas.

2. Criação automática de visualizações materializadas: Gera periodicamente visualizações materializadas com base nas subconsultas comuns identificadas.

3. Reescrita inteligente de consultas: Reescreve automaticamente as consultas dos jobs para ler diretamente das tabelas de visualização materializada criadas pelo sistema.

4. Gerenciamento adaptativo de recursos de armazenamento: Gerencia os recursos de armazenamento de forma eficiente por meio de mecanismos adaptativos e de limpeza automática do AutoMV, evitando aumentos significativos no uso de armazenamento.

Limites

• As regiões compatíveis são China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen) e China (Chengdu).

• A criação do AutoMV exige que a subconsulta comum inclua pelo menos um dos seguintes operadores: Project, Filter, JOIN ou Aggregate.

• O AutoMV não oferece suporte a uso entre projetos. Caso dois projetos do MaxCompute possam utilizar a mesma visualização materializada, o AutoMV criará duas visualizações separadas com dados idênticos para cada projeto.

• O AutoMV oferece suporte apenas a correspondências exatas. Para evitar degradação de desempenho causada por consultas mais amplas acessando as visualizações materializadas, o sistema associa os jobs apenas às visualizações que possuem dados completamente equivalentes.

Gerenciar switches do AutoMV e definir limites de recursos de armazenamento

Gerencie os switches do AutoMV e defina limites de recursos de armazenamento pelo console do MaxCompute ou por comandos SQL. Se o limite definido manualmente for excedido, o AutoMV interromperá a gravação de dados nas visualizações materializadas.

Visualizar benefícios e ocupação de armazenamento do AutoMV

Na aba AutoMV, visualize benefícios como tempo de computação economizado, horas de CU, volume e custos, além do uso de armazenamento após a ativação do recurso.

1. Faça login no console do MaxCompute e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, selecione Intelligent Optimization > Intelligent Materialized Views.

3. Na página Intelligent Materialized Views, selecione a aba AutoMV, escolha o projeto MaxCompute alvo (ou todos os projetos, caso nenhum seja selecionado) e o intervalo de estatísticas de benefícios para visualizar os benefícios, a ocupação de armazenamento e a lista específica de AutoMVs dos projetos com o recurso ativado.

   • Parâmetros de indicadores:

     Parâmetro	Descrição
     Hits	Número de vezes que o AutoMV foi chamado dentro do intervalo de estatísticas de benefícios.
     Saved Computing Duration	Duração de computação economizada por todos os jobs que acessaram o AutoMV do projeto selecionado dentro do intervalo de estatísticas de benefícios, em comparação com a duração de computação anterior à criação do AutoMV.
     Saved CU-hours	Consumo de horas de CU economizado por todos os jobs que acessaram o AutoMV do projeto selecionado dentro do intervalo de estatísticas de benefícios, em comparação com o consumo de horas de CU anterior à criação do AutoMV.
     Reduced Computing Load	Volume de computação economizado (volume de varredura × complexidade) por todos os jobs que acessaram o AutoMV do projeto selecionado dentro do intervalo de estatísticas de benefícios, em comparação com o volume de computação (volume de varredura × complexidade) anterior à criação do AutoMV. Apenas jobs executados em recursos de computação de pagamento conforme o uso são contabilizados.
     Savings in Computing Costs (Catalog Price)	Volume de computação economizado por todos os jobs que acessaram o AutoMV do projeto selecionado multiplicado por USD 0,0438/GB (preço unitário de computação SQL da Standard Edition no modelo de pagamento conforme o uso). Nota A região da Arábia Saudita (Riad - Região Parceira) é operada por um parceiro, e o preço unitário é de USD 0,05256/GB.
     Occupied Storage Space	Tamanho de armazenamento ocupado pelo AutoMV.

   • Parâmetros da lista de AutoMV:

     Nome da coluna	Descrição
     Materialized View Name	Nome do AutoMV.
     Project	Projeto onde o AutoMV está localizado.
     Hits	Número de vezes que o AutoMV foi chamado dentro do intervalo de benefícios.
     Saved Computing Duration (s)	Duração de computação economizada pelos jobs que acessaram este AutoMV dentro do intervalo de estatísticas de benefícios, em comparação com a duração de computação anterior à criação do AutoMV.
     Saved CU-hours	Consumo de horas de CU economizado pelos jobs que acessaram este AutoMV dentro do intervalo de estatísticas de benefícios, em comparação com o consumo de horas de CU anterior à criação do AutoMV.
     Reduced Computing Load	Volume de computação economizado (volume de varredura × complexidade) pelos jobs que acessaram este AutoMV dentro do intervalo de estatísticas de benefícios, em comparação com o volume de computação (volume de varredura × complexidade) anterior à criação do AutoMV. Apenas jobs executados em recursos de computação de pagamento conforme o uso são contabilizados.
     Occupied Storage Space	Tamanho de armazenamento ocupado pelo AutoMV.
     Actions	Clique em View Details para visualizar as informações básicas e os detalhes do código do AutoMV. Informações básicas Hora de criação: Hora em que o AutoMV foi criado. Hora de atualização da estrutura da tabela: Hora da última atualização da estrutura da tabela do AutoMV. Tamanho de armazenamento: Tamanho de armazenamento ocupado pelo AutoMV. Detalhes do código: Script SQL que define o AutoMV. É possível visualizar, copiar ou baixe o script SQL.

Descrição de faturamento

Após ativar o AutoMV para um projeto, os usuários precisam pagar apenas pelo armazenamento da visualização materializada gerado automaticamente pelo sistema, ao custo unitário de armazenamento padrão.

Referências

• Operações de visualização materializada.

• Reescrita de consulta de visualização materializada.

• Recomendações e gerenciamento de visualização materializada.