AnalyticDB:Actualiser les vues matérialisées

Activer la journalisation binaire

Avant de créer une vue matérialisée utilisant l'actualisation incrémentielle, vous devez activer la journalisation binaire pour le cluster et ses tables de base.

SET ADB_CONFIG BINLOG_ENABLE=true; -- For clusters with an engine version before 3.2.0.0, run this command to enable binary logging. It is enabled by default in 3.2.0.0 and later.
ALTER TABLE customer binlog=true;
ALTER TABLE sales binlog=true;
ALTER TABLE product binlog=true;

Vues matérialisées à table unique

• Créez une vue matérialisée à table unique fast_mv1 qui utilise l'actualisation incrémentielle sans opération d'agrégation et s'actualise toutes les 10 secondes.

  CREATE MATERIALIZED VIEW fast_mv1
  REFRESH FAST NEXT now() + INTERVAL 10 second
  AS
  SELECT sale_id, sale_date, price
  FROM sales
  WHERE price > 10;

• Créez une vue matérialisée à table unique fast_mv2 qui utilise l'actualisation incrémentielle avec une agrégation GROUP BY et s'actualise toutes les 5 secondes.

  CREATE MATERIALIZED VIEW fast_mv2
  REFRESH FAST NEXT now() + INTERVAL 5 second
  AS
  SELECT
     customer_id, sale_date,                 -- The system uses the GROUP BY columns as the primary key of the materialized view.
     COUNT(sale_id) AS cnt_sale_id,          -- Aggregate output column.
     SUM(price * quantity) AS total_revenue, -- Aggregate output column.
     customer_id / 100 AS new_customer_id    -- Non-aggregate output columns can use any expression.
  FROM sales
  WHERE ifnull(price, 1) > 0                 -- Conditions can use any expression.
  GROUP BY customer_id, sale_date;

• Créez une vue matérialisée à table unique fast_mv3 qui utilise l'actualisation incrémentielle sans agrégation GROUP BY et s'actualise toutes les minutes.

  CREATE MATERIALIZED VIEW fast_mv3
  REFRESH FAST NEXT now() + INTERVAL 1 minute
  AS
  SELECT count(*) AS cnt   -- The system generates a constant primary key to ensure that the materialized view contains only one record.
  FROM sales;

Vues matérialisées multi-tables

• Créez une vue matérialisée multi-tables fast_mv4 qui utilise l'actualisation incrémentielle sans opération d'agrégation et s'actualise toutes les 5 secondes.

  CREATE MATERIALIZED VIEW fast_mv4
  REFRESH FAST NEXT now() + INTERVAL 5 second
  AS
  SELECT 
      c.customer_id,
      c.customer_name,
      p.product_id,
      s.sale_id,
      (s.price * s.quantity) AS revenue
  FROM 
      sales s
  JOIN 
      customer c ON s.customer_id = c.customer_id
  JOIN 
      product p ON s.product_id = p.product_id;

• Créez une vue matérialisée multi-tables fast_mv5 qui utilise l'actualisation incrémentielle avec une agrégation GROUP BY et s'actualise toutes les 10 secondes.

  CREATE MATERIALIZED VIEW fast_mv5
  REFRESH FAST NEXT now() + INTERVAL 10 second
  AS
  SELECT 
      s.sale_id,
      c.customer_name,
      p.product_name,
      COUNT(*) AS cnt,           
      SUM(s.price * s.quantity) AS revenue,         
      SUM(p.unit_price) AS sum_p          
  FROM 
      sales s
  JOIN 
      (SELECT customer_id, customer_name FROM customer) c ON c.customer_id = s.customer_id
  JOIN 
      (SELECT * FROM product WHERE stock_quantity > 0) p ON p.product_id = s.product_id
  GROUP BY 
      s.sale_id, c.customer_name, p.product_name;

Remarque

Si une table de base subit une opération TRUNCATE ou INSERT OVERWRITE, ou si une anomalie interne susceptible d'affecter l'exactitude des données se produit, une vue matérialisée incrémentielle revient automatiquement à une actualisation complète ponctuelle. Une fois l'actualisation complète réussie, les actualisations suivantes reprennent automatiquement en mode incrémentiel.

Limites

Les limites suivantes s'appliquent aux vues matérialisées utilisant l'actualisation incrémentielle :

• Pour les clusters dont la version du moteur est antérieure à 3.2.3.0, une table partitionnée ne peut pas servir de table de base pour une vue matérialisée utilisant l'actualisation incrémentielle.

• Pour les clusters dont la version du moteur est antérieure à 3.2.3.1, les opérations INSERT OVERWRITE et TRUNCATE ne sont pas prises en charge sur les tables de base d'une vue matérialisée utilisant l'actualisation incrémentielle. L'exécution de ces opérations génère une erreur.

• L'actualisation incrémentielle prend uniquement en charge les actualisations planifiées avec un intervalle compris entre 5 secondes (s) et 5 minutes (min).

• Le corps de la requête (query_body) d'une vue matérialisée utilisant l'actualisation incrémentielle présente les limitations suivantes :

  • Une vue matérialisée doit garantir que ses résultats sont identiques à ceux d'une requête directe sur ses tables de base et doit prendre en charge toutes les modifications DML. Si query_body ne prend pas en charge l'actualisation incrémentielle, l'instruction CREATE MATERIALIZED VIEW renvoie une erreur.

  • Les conditions ne peuvent pas contenir d'expressions non déterministes, telles que now() ou rand().

  • Seules les fonctions d'agrégation suivantes sont prises en charge : COUNT, SUM, MAX, MIN, AVG, APPROX_DISTINCT et COUNT(DISTINCT).

  • Lorsque query_body utilise la fonction d'agrégation MAX, MIN, APPROX_DISTINCT ou COUNT(DISTINCT), seules les opérations INSERT sont autorisées sur les tables de base. Les opérations de suppression de données, telles que DELETE, UPDATE, REPLACE et INSERT ON DUPLICATE KEY UPDATE, sont interdites.

  • Le mot-clé DISTINCT n'est pas pris en charge pour les fonctions d'agrégation autres que COUNT(DISTINCT).

  • COUNT(DISTINCT) prend uniquement en charge le type INTEGER.

  • AVG ne prend pas en charge le type DECIMAL.

  • Le mot-clé HAVING n'est pas pris en charge pour les opérations d'agrégation.

  • Les fonctions de fenêtrage ne sont pas prises en charge.

  • Les opérations de tri ne sont pas prises en charge.

  • Les opérations ensemblistes telles que UNION, EXCEPT et INTERSECT ne sont pas prises en charge.

• Les vues matérialisées multi-tables utilisant l'actualisation incrémentielle présentent les limitations supplémentaires suivantes :

  • Les vues matérialisées multi-tables ne prennent actuellement en charge que INNER JOIN.

  • Par défaut, une vue matérialisée multi-tables peut être jointe à un maximum de cinq tables.

  • Les colonnes de jointure dans une vue matérialisée multi-tables doivent être des colonnes d'origine des tables, avoir le même type de données et chaque colonne de jointure doit posséder un index.

SELECT * FROM information_schema.mv_auto_refresh_jobs where mv_name = '<mv_name>';