MaxCompute:Reescrita de consultas em visualizações materializadas

Exemplo 1: Reescrita com condições de filtro

1. Crie uma visualização materializada.

   CREATE MATERIALIZED VIEW mv AS SELECT a,b,c FROM src WHERE a>5;

2. A tabela a seguir apresenta exemplos de reescrita para a visualização materializada.

   Consulta original	Consulta reescrita
   SELECT a,b FROM src WHERE a>5;	SELECT a,b FROM mv;
   SELECT a, b FROM src WHERE a=10;	SELECT a,b FROM mv WHERE a=10;
   SELECT a, b FROM src WHERE a=10 AND b='3';	SELECT a,b FROM mv WHERE a=10 AND b=3;
   SELECT a, b FROM src WHERE a>3;	(SELECT a,b FROM src WHERE a>3 AND a<=5) UNION (SELECT a,b FROM mv);
   SELECT a, b FROM src WHERE a=10 AND d=4;	A reescrita falha porque a visualização materializada não contém a coluna d.
   SELECT d, e FROM src WHERE a=10;	A reescrita falha porque a visualização materializada não contém as colunas d e e.
   SELECT a, b FROM src WHERE a=1;	A reescrita falha porque a visualização materializada não contém dados onde a=1.

Exemplo 2: Reescrita com funções de agregação

Exemplo 3: Reescrita com uma cláusula JOIN

É possível combinar esses três cenários de reescrita de JOIN.

Como o objetivo da reescrita de consultas em visualizações materializadas é acelerar as consultas, o MaxCompute prioriza as regras de reescrita que oferecem o melhor desempenho. O sistema não aplica uma regra se ela introduzir operações que resultem em baixa aceleração.

Exemplo 4: Reescrita com uma cláusula LEFT JOIN

1. Crie uma visualização materializada.

   CREATE MATERIALIZED VIEW mv LIFECYCLE 7(
           user_id,
           job,
           total_amount
   ) AS SELECT t1.user_id, t1.job, sum(t2.order_amount) AS total_amount 
         FROM user_info AS t1 LEFT JOIN sale_order AS t2 ON t1.user_id=t2.user_id GROUP BY t1.user_id, t1.job;

2. A tabela a seguir mostra como uma consulta é reescrita com base na visualização materializada.

   Consulta original	Consulta reescrita
   SELECT t1.user_id, sum(t2.order_amount) AS total_amount FROM user_info AS t1 LEFT JOIN sale_order AS t2 ON t1.user_id=t2.user_id GROUP BY t1.user_id;	SELECT user_id, total_amount FROM mv;

Exemplo 5: Reescrita com uma cláusula UNION ALL

1. Crie uma visualização materializada.

   CREATE MATERIALIZED VIEW mv LIFECYCLE 7( 
           user_id, 
           tran_amount, 
           tran_date 
   ) AS SELECT user_id, tran_amount, tran_date FROM alipay_tran UNION ALL 
   SELECT user_id, tran_amount, tran_date FROM unionpay_tran;

2. A tabela a seguir mostra como uma consulta é reescrita com base na visualização materializada.

   Consulta original	Consulta reescrita
   SELECT user_id, tran_amount FROM alipay_tran UNION ALL SELECT user_id, tran_amount FROM unionpay_tran;	SELECT user_id, tran_amount FROM mv;

Exemplo 6: Caso de uso

1. Cenário

   Considere uma tabela de visitas de página chamada visit_records que registra o ID da página, o ID do usuário e o horário da visita para cada acesso. Uma tarefa de análise frequente é contar o número de visitas para diferentes páginas.

   Nessa situação, crie uma visualização materializada em visit_records que agrupe por ID da página e conte as visitas de cada página. Em seguida, execute consultas subsequentes nessa visualização materializada.

   A estrutura de visit_records é a seguinte:

   +------------------------------------------------------------------------------------+
   | Field           | Type       | Label | Comment                                     |
   +------------------------------------------------------------------------------------+
   | page_id         | string     |       |                                             |
   | user_id         | string     |       |                                             |
   | visit_time      | string     |       |                                             |
   +------------------------------------------------------------------------------------+

2. Crie uma visualização materializada.

   -- Create a materialized view for the visit_records table that groups by page ID and counts the visits for each page.
   
   CREATE MATERIALIZED VIEW count_mv AS SELECT page_id, count(*) FROM visit_records GROUP BY page_id;

3. Execute a seguinte consulta:

   SET odps.sql.materialized.view.enable.auto.rewriting=true; 
   SELECT page_id, count(*) FROM visit_records GROUP BY page_id;

   Quando essa instrução de consulta é executada, o MaxCompute corresponde automaticamente à visualização materializada count_mv e lê os dados pré-agregados de count_mv.

4. Para verificar se a consulta foi reescrita usando a visualização materializada, execute o seguinte comando EXPLAIN:

   EXPLAIN SELECT page_id, count(*) FROM visit_records GROUP BY page_id;

   O sistema retorna o seguinte resultado:

   job0 is root job
   
   In Job job0:
   root Tasks: M1
   
   In Task M1:
       Data source: doc_test_dev.count_mv
       TS: doc_test_dev.count_mv
           FS: output: Screen
               schema:
                 page_id (string)
                 _c1 (bigint)
   
   OK

   O Data source no resultado retornado mostra que a tabela lida pela consulta é a count_mv do projeto doc_test_dev. Isso indica que a visualização materializada está ativa e a reescrita da consulta foi bem-sucedida.