Para reduzir computações redundantes e aumentar a eficiência, o recurso de visualização materializada inteligente do MaxCompute acelera o processamento ao analisar sua carga de trabalho e recomendar visualizações materializadas.
Limitações
A análise e as recomendações inteligentes funcionam apenas dentro de um único projeto. Não há suporte para análise entre projetos.
-
Para gerar recomendações mais precisas, atenda às condições abaixo após ativar o recurso. Em seguida, visualize as recomendações na página Materialized View Recommendations.
Uma tarefa cíclica deve ser executada por mais de três dias consecutivos.
O volume de dados de entrada de uma subconsulta pública precisa ultrapassar 1.000.000 linhas.
A subconsulta pública deve conter operadores de reestruturação de dados, como junção ou agregação.
Este recurso está disponível apenas nas seguintes regiões: China (Hangzhou), China (Shanghai), China (Beijing), China (Zhangjiakou), China (Shenzhen), China (Chengdu) e Germany (Frankfurt).
Procedimento
Visualizar recomendações de visualização materializada
Na aba Materialized View Recommendations, visualize o impacto potencial nos jobs e os detalhes das recomendações para todos os projetos ou para projetos específicos na região atual.
Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Na página Intelligent Materialized Views, clique em Materialized View Recommendations.
-
Use os parâmetros de filtro a seguir para localizar recomendações de visualização materializada.
Parâmetro
Descrição
Project Name
Selecione um projeto do MaxCompute na lista suspensa.
Source Table Name
Insira um ou mais nomes de tabela, separados por vírgula (
,). Há suporte para busca aproximada.Analyze Time Interval
Escolha um intervalo de datas para filtrar subconsultas públicas.
As informações disponíveis para as visualizações materializadas recomendadas incluem:
-
Métricas de impacto:
Métrica
Descrição
Número estimado de jobs beneficiados por dia
Estimativa da quantidade diária de jobs que se beneficiarão caso as visualizações materializadas recomendadas sejam criadas.
Consumo atual de CU-hora e porcentagem diária dos jobs beneficiados
Consumo diário estimado de CU-hora dos jobs beneficiados e sua proporção em relação ao consumo total diário de CU-hora de todos os jobs, após a criação das visualizações materializadas recomendadas. Uma porcentagem maior indica um impacto mais significativo.
Consumo atual de recursos de computação e porcentagem diária dos jobs beneficiados
Proporção estimada dos recursos de computação diários (volume de dados verificados × Complexidade) consumidos pelos jobs beneficiados em relação ao total consumido por todos os jobs, após a criação das visualizações materializadas recomendadas. Quanto maior a porcentagem, maior o impacto.
Recursos de computação estimados para criar todas as MVs
Este valor (volume de dados verificados × Complexidade) estima o custo de criação. A criação de visualizações materializadas consome recursos e gera custos de computação no modelo de pagamento conforme o uso.
-
Lista de subconsultas públicas. A tabela a seguir descreve as colunas.
Coluna
Descrição
Resumo da MV
Um resumo da subconsulta pública.
Agregação: Indica se a subconsulta pública recomendada contém uma operação de agregação.
Entradas: Lista todos os nomes das tabelas de source usadas pela subconsulta pública.
Clique em um resumo para abrir o painel Public Subquery Details, onde é possível visualizar os jobs e scripts SQL que utilizam repetidamente a subconsulta pública. O painel contém as seguintes informações:
Public Subquery No.: Um ID exclusivo gerado automaticamente pelo backend para associação com a visualização materializada.
Public Subquery: O script SQL da subconsulta pública.
Clique em
para expandir o script SQL ou visualizá-lo em tela cheia.Clique em
para copiar o script SQL.Clique em
para baixe o script SQL.
Lista de SQL original: Relaciona instâncias de job dos últimos cinco dias que usaram esta subconsulta, incluindo os seguintes detalhes:
ID da Instância: O ID da instância de job original que execute esta subconsulta.
Submit Project Name: O nome do projeto onde a instância do job foi executada.
Submitted By: O usuário que enviou o job.
Execution Time (s): O tempo de execução da subconsulta, em segundos.
Original Query SQL: Você pode realizar as seguintes ações.
View Details: Clique em para visualizar os detalhes do SQL.
Download: Clique em para baixe o script SQL.
Projeto
O projeto onde o job que contém a subconsulta pública foi executado.
Classificação da recomendação
Uma classificação de uma a cinco estrelas. Uma classificação mais alta indica uma recomendação mais forte para criar a visualização materializada.
Número de jobs beneficiados
A quantidade de jobs que utilizam esta subconsulta pública.
Volume de dados verificados
A quantidade de dados verificados pela subconsulta pública atual.
Complexidade
A complexidade da subconsulta pública atual.
Recursos de computação necessários para criação da MV
Os recursos de computação necessários para criar a visualização materializada. Este valor é calculado pela fórmula: Volume de dados verificados × Complexidade.
Hora da análise
O momento em que a recomendação para a subconsulta pública atual foi gerada.
Operações incluídas
Include Join Operation: O script SQL contém junções de múltiplas tabelas.
Aggregate: O script SQL contém operações de agregação.
É possível filtrar a lista com base nessas operações.
Status de criação
Indica se uma visualização materializada já foi criada para a subconsulta pública.
Ações
Se o status for Not Created, clique em Create Materialized View para abrir o painel de criação.
Para uma subconsulta pública com status de criação Created, clique em View Materialized Views para acesse a página de detalhes da visualização materializada.
Criar visualização materializada
Para criar uma visualização materializada a partir de uma recomendação na página Materialized View Recommendations, siga estas etapas:
Na coluna Actions, clique em Create Materialized View.
-
No painel Create Materialized View, configure os seguintes parâmetros.
Parâmetro
Descrição
Nome da visualização materializada
O nome padrão é
rec_mv_{$project_name}_{$timestamp}. Recomendamos personalizar o nome conforme suas necessidades. O nome deve começar com uma letra ou dígito e pode conter apenas letras, dígitos e sublinhados (_).Tipo de atualização
As opções disponíveis são:
Refresh at a Fixed Interval: Atualiza os dados da visualização materializada em um intervalo fixo de minutos, horas ou dias.
Corn: Atualiza os dados da visualização materializada com base em uma expressão cron padrão.
Script
O script SQL recomendado para criar a visualização materializada.
Clique em
para expandir o script SQL ou visualizá-lo em tela cheia.Clique em
para copiar o script SQL.Clique em
para baixe o script SQL.
Clique em OK para criar a visualização materializada.
A criação de uma visualização materializada gera custos de armazenamento e de computação. Os custos de armazenamento são calculados da mesma forma que para uma tabela padrão. Se você utilizar o modelo de pagamento conforme o uso, estime os custos de computação usando o valor de "recursos de computação" (volume de dados verificados × Complexidade).
Gerencie visualizações materializadas e acompanhar benefícios
Faça login no MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Na página Intelligent Materialized Views, clique em MV Management and Benefits.
-
Selecione um projeto do MaxCompute e um intervalo de estatísticas de benefícios para visualizar a lista de visualizações materializadas criadas, acompanhar seus benefícios e gerenciá-las.
-
Métricas de benefício.
Métrica
Descrição
Acessos
O número de vezes que a visualização materializada foi consultada dentro do intervalo de estatísticas de benefícios.
Duração de computação economizada
A quantidade de tempo de computação poupada pelos jobs que usaram as visualizações materializadas no projeto selecionado dentro do intervalo de estatísticas de benefícios.
CU-horas economizados
A quantidade de CU-horas poupada pelos jobs que usaram as visualizações materializadas no projeto selecionado dentro do intervalo de estatísticas de benefícios.
Recursos de computação economizados
A quantidade de recursos de computação (volume de dados verificados × Complexidade) poupada pelos jobs que usaram as visualizações materializadas no projeto selecionado dentro do intervalo de estatísticas de benefícios. Esta métrica inclui apenas jobs executados em recursos de computação sob o modelo de pagamento conforme o uso.
Custos de computação economizados (Preço de lista)
A economia de custos é calculada multiplicando os recursos de computação poupados pelo preço unitário da computação SQL Standard Edition sob pagamento conforme o uso. O preço unitário é USD 0.0348 per GB.
-
Lista de visualizações materializadas.
Coluna
Descrição
Nome da visualização materializada
O nome da visualização materializada.
Acessos
O número de vezes que a visualização materializada foi consultada dentro do intervalo de benefícios (desde sua criação ou no último dia).
Duração de computação economizada
A quantidade de tempo de computação poupada pelos jobs que usaram esta visualização materializada dentro do intervalo de estatísticas de benefícios.
CU-horas economizados
A quantidade de CU-horas poupada pelos jobs que usaram esta visualização materializada dentro do intervalo de estatísticas de benefícios.
Recursos de computação economizados
A quantidade de recursos de computação (volume de dados verificados × Complexidade) poupada pelos jobs que usaram esta visualização materializada dentro do intervalo de estatísticas de benefícios. Esta métrica inclui apenas jobs executados em recursos de computação sob o modelo de pagamento conforme o uso.
Hora de criação
O momento em que a visualização materializada foi criada.
Status
O status da visualização materializada. Valores válidos:
Created
Creating
Ações
Você pode realizar as seguintes ações em uma visualização materializada:
Detail: Clique em para visualizar as propriedades, uso de consultas e desempenho da visualização materializada. A página de detalhes inclui as seguintes informações:
Nome da visualização materializada.
Basic Information.
Created At: O momento em que a visualização materializada foi criada.
Table Schema Updated At: O momento em que o esquema da tabela da visualização materializada foi atualizado pela última vez.
Storage Size: O espaço de armazenamento ocupado pela visualização materializada.
Refresh Interval (Minutes): A frequência com que a visualização materializada é atualizada.
Refreshed At: O momento em que a visualização materializada foi atualizada pela última vez.
Code Details: O script SQL que define a visualização materializada.
Clique em
para expandir o script SQL ou visualizá-lo em tela cheia.Clique em
para copiar o script SQL.Clique em
para baixe o script SQL.
Materialized View Call Details: Mostra os detalhes de todos os jobs que consultaram esta visualização materializada.
ID da Instância: O ID da instância do job. Clique em Job Insights para acesse a página e obter mais detalhes.
Call MV Execution Time (s): A duração da execução do job quando consultou a visualização materializada, em segundos.
Save Time (s): O tempo que este job economizou ao usar a visualização materializada.
Consumed CU-hours: Os CU-horas consumidos pelo job.
Saved CU-hours: Os CU-horas que este job economizou ao usar a visualização materializada.
Computing Load: Os recursos de computação (volume de dados verificados × Complexidade) consumidos pelo job.
Reduced Computing Load: Os recursos de computação (volume de dados verificados × Complexidade) que este job economizou ao usar a visualização materializada.
Delete Materialized View: Clique em para excluir a visualização materializada.
-