MaxCompute:Visão materializada automática (AutoMV)

Introdução

Em um data warehouse, a visão materializada é uma técnica essencial para otimizar a execução de consultas repetitivas. Caso a sua carga de trabalho envolva diversas consultas com subconsultas comuns demoradas (como aquelas que utilizam JOINs ou agregações), utilize uma visão materializada para armazenar os resultados pré-processados. Assim, as consultas seguintes leem os dados diretamente da visão materializada, evitando a recomputação. Essa abordagem acelera o desempenho das consultas e economiza recursos de computação. Para mais informações sobre visões materializadas, consulte Materialized view operations.

Para simplificar a análise, a criação e a manutenção dessas visões, o MaxCompute introduziu o recurso Automatic Materialized View (AutoMV). O AutoMV simplifica a criação e o gerenciamento das visões materializadas, além de melhorar a experiência do usuário.

Após ativar o recurso Automatic Materialized View (AutoMV) em um projeto do MaxCompute, o sistema executa automaticamente as ações a seguir:

1. Monitoramento contínuo de consultas: O sistema monitora de forma contínua as consultas recentes em nível de projeto para identificar subconsultas comuns adequadas para materialização.

2. Criação automática de visões materializadas: O sistema gera visões materializadas periodicamente com base nas candidatas identificadas.

3. Reescrita inteligente de consultas: O otimizador de consultas reescreve automaticamente as consultas recebidas para ler os dados das visões materializadas mais eficientes.

4. Gerenciamento adaptativo de recursos de armazenamento: O recurso gerencia de forma eficiente o armazenamento usado pelas visões materializadas, evitando um aumento significativo no armazenamento total do projeto.

Limitações

• Regiões compatíveis: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen) e China (Chengdu).

• O sistema só cria um AutoMV quando a subconsulta comum de origem contém pelo menos um dos seguintes operadores da álgebra relacional: Project, Filter, JOIN ou Aggregate.

• O AutoMV não suporta o uso entre projetos. Por exemplo, se o Projeto A e o Projeto B puderem usar a mesma visão materializada, o AutoMV criará uma visão idêntica e separada em cada projeto, pois o escopo se restringe a um único projeto.

• Para evitar a degradação do desempenho, o processo de reescrita de consultas utiliza apenas visões materializadas que correspondam exatamente à subconsulta original.

Gerenciar a ativação do AutoMV e definir o limite de armazenamento

Gerencie a ativação do AutoMV e defina um limite de armazenamento para o recurso usando o MaxCompute console ou comandos SQL. Após configurar o limite, o AutoMV interrompe a gravação de dados nas visões materializadas existentes caso o valor ultrapasse o limite configurado.

SETPROJECT odps.sql.auto.mv.quota.gb=1024; 

Visualizar os benefícios e o uso de armazenamento do AutoMV

A guia Automatic Materialized View (AutoMV) exibe os benefícios do recurso, incluindo tempo de computação economizado, CU-horas poupadas, redução da carga de processamento e economia de custos. É possível acompanhar também o uso do armazenamento.

1. Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, escolha Intelligent Optimization > Intelligent Materialized Views.

3. Na página Intelligent Materialized Views, na guia AutoMV, selecione um projeto do MaxCompute (ou deixe em branco para todos) e um intervalo de tempo para visualizar os benefícios do projeto, o uso de armazenamento e a lista de AutoMVs específicos.

   • Métricas:

     Métrica	Descrição
     Hits	Número de vezes em que um AutoMV foi usado dentro do intervalo de tempo especificado.
     Tempo de computação economizado	Redução total no tempo de computação de jobs que usaram um AutoMV, em comparação com a execução sem o recurso.
     CU-horas economizadas	Redução no consumo de CU-horas de todos os jobs que usaram um AutoMV no projeto selecionado, em comparação com a execução sem o recurso.
     Carga de computação reduzida	Redução da carga de computação (quantidade de dados verificados × complexidade) para todos os jobs que usaram um AutoMV no projeto selecionado. Essa métrica se aplica apenas a jobs executados em recursos de computação com pagamento conforme o uso.
     Economia nos custos de computação (preço de tabela)	Economia de custos estimada, calculada multiplicando a carga de computação reduzida pelo preço unitário de pagamento conforme o uso. O preço é USD 0,0438 por GB. Nota A região da Arábia Saudita (Riad) é operada por um parceiro. O preço unitário nessa região é de USD 0,05256 por GB.
     Uso de armazenamento	Quantidade de armazenamento ocupada pelo AutoMV.

   • Parâmetros da lista de AutoMV:

     Coluna	Descrição
     Nome da visão materializada	Nome da visão materializada automática.
     Projeto	Projeto ao qual o AutoMV pertence.
     Hits	Número de vezes em que o AutoMV foi usado dentro do intervalo de tempo especificado.
     Tempo de computação economizado	Redução no tempo total de computação dos jobs que usaram esse AutoMV, em comparação com o tempo sem o recurso.
     CU-horas economizadas	Redução no consumo de CU-horas dos jobs que usaram esse AutoMV, em comparação com o consumo sem o recurso.
     Carga de computação reduzida	Redução na carga de computação (quantidade de dados verificados × complexidade) para jobs que usaram esse AutoMV. Essa métrica se aplica apenas a jobs executados em recursos de computação com pagamento conforme o uso.
     Uso de armazenamento	Quantidade de armazenamento ocupada pelo AutoMV.
     Ações	Clique em View Details para visualizar as informações básicas e os detalhes de código do AutoMV. Informações básicas Creation time: Horário em que o AutoMV foi criado. Last structure atualize: Última atualização da estrutura da tabela do AutoMV. Storage size: Quantidade de armazenamento ocupada pelo AutoMV. Code details: Script SQL que define o AutoMV. É possível visualizar, copiar ou baixar o script SQL.

Faturamento

Após ativar o AutoMV em um projeto, você paga apenas pelo armazenamento das visões materializadas criadas automaticamente, seguindo o preço padrão de armazenamento, sem taxas adicionais. Para detalhes sobre os preços do armazenamento padrão, consulte Storage costs.

Tópicos relacionados

• Para mais informações sobre operações de visões materializadas, consulte Materialized view operations.

• Para mais informações sobre a reescrita de consultas em visões materializadas, consulte Materialized view query rewriting.

• Para mais informações sobre recomendação e gerenciamento de visões materializadas, consulte Materialized view recommendation and management.