DataWorks:Vues matérialisées

Étape 1 : Activer ou désactiver les recommandations

1. Accédez à la page Data Asset Governance.

   Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, sélectionnez la région souhaitée. Dans le volet de navigation de gauche, choisissez Data Governance > Data Asset Governance. Sur la page qui s'affiche, cliquez sur Go to Data Asset Governance.

2. Dans le volet de navigation de gauche, choisissez Governance > Automation > Materialized View.

3. Sélectionnez un Workspace et cliquez sur Settings for Materialized View Recommendation. Activez l'interrupteur de recommandation intelligente pour le projet sur lequel vous souhaitez activer cette fonctionnalité.

   Une boîte de dialogue s'affiche, indiquant que les recommandations s'appliquent uniquement aux projets MaxCompute déjà liés à l'espace de travail DataWorks.

Étape 2 : Consulter les recommandations

Ce module identifie automatiquement les vues matérialisées potentielles et leurs tâches de calcul associées. Les propriétaires concernés peuvent alors évaluer les recommandations et créer la vue matérialisée.

1. En haut de la page, sélectionnez un Workspace puis cliquez sur l'onglet Materialized View Recommendation.

2. Ajustez les critères de filtrage, tels que Project et Analysis Time Interval, pour vérifier la disponibilité des recommandations.

   Si des recommandations sont disponibles dans l'Analysis Time Interval spécifié, vous pouvez consulter les informations suivantes.

   Les autres critères de filtrage incluent Data Source Type, Source Table Name, affected task node, Operation Type, recommendation rating et operation status. Le tableau des résultats comprend également des colonnes pour Input Data Volume, compute capacity, Analysis Time et Number of Materialized Views. Dans la colonne Actions, vous pouvez cliquer sur Create Materialized View.

   Paramètres clés :

   • L'identifiant de tâche dans la colonne Materialized View Recommendation contient un résumé de la sous-requête publique. Le format est Aggregate: xx; Inputs: xx, xx;, où :

     • Aggregate : Indique si la sous-requête publique recommandée inclut une opération d'agrégation.

     • Inputs : Répertorie les noms de toutes les tables sources utilisées par la sous-requête publique.

   • Number of Possibly Affected SQL Statements : Nombre d'autres jobs de tâche utilisant la sous-requête publique.

   • Number of Affected Nodes : Nombre de nœuds de planification utilisant la sous-requête publique.

   • Recommendation Rating : Calculé en fonction de la fréquence de la sous-requête, de sa complexité et du nombre d'enregistrements d'entrée.

3. Cliquez sur un identifiant de tâche dans la colonne Materialized View Recommendation pour afficher les détails de la sous-requête, y compris les Source Table Information, la Public Subquery ainsi que les Job et Scheduling Tasks associés.

   La section Source Table Information inclut le nom de la table, le propriétaire de la table et la tâche de nœud qui produit les données de la table. La zone Impact Assessment est organisée en onglets Jobs et Scheduling Tasks. L'onglet Jobs affiche des métriques telles que Job ID, MaxCompute Project, Workspace, Runtime, CU Consumption et Compute Capacity. Il propose également des options pour View Code et Execution Details.

Étape 3 : Créer une vue matérialisée

1. Sur la base de vos besoins métier et des détails de la recommandation, décidez s'il convient de créer une vue matérialisée sur la page Materialized View Recommendation. Si oui, cliquez sur Create Materialized View dans la colonne Actions.

2. Sur la page Create Materialized View, configurez les paramètres de la vue matérialisée.

   1. Configuration - Create Materialized View : Créez un nœud de vue matérialisée et générez une vue matérialisée basée sur la sous-requête commune des tâches d'entrée.

      Parameter	Description
      Input Table	Automatically detected. No modification is needed.
      Create Materialized View	When you create a materialized view for the first time, this is set to Create Materialized View by default. Remarque If a materialized view with the same input tables already exists, you can select Select Existing Materialized View as needed.
      Materialized View Name	Enter a custom name.
      lifecycle	Valid values: 1 Day, 7 Days, and Custom Days.
      refresh type	The refresh method for the materialized view. Refresh at Fixed Interval If the source table is an output of a DataWorks task, Time Management Cron Mode is used by default. Otherwise, a fixed interval refresh is used. Time Management Cron Mode The refresh time defaults to the most recent output time of the upstream source table's generation node. Do Not Refresh
      Preview Statement	Preview the SQL statement for the materialized view.

   2. (Facultatif) Configuration - Create Materialized View Refresh Node : Créez un nœud capable d'actualiser dynamiquement la vue matérialisée. Lorsque la tâche de la table source génère une nouvelle sortie, l'actualisation est déclenchée pour mettre à jour la vue matérialisée avec les dernières données.

      Configurez le Materialized View Refresh Node Name et la Node Running Timeout Period. Le panneau de configuration comprend les champs suivants : Input Table, qui affiche les tables d'entrée associées et leurs ID de nœud de sortie ; Materialized View Refresh Node Name (obligatoire), qui prend en charge l'ajout automatique d'un suffixe d'horodatage, par exemple dgc_mv_1716775015179 ; et Node Running Timeout Period (obligatoire), dont la valeur par défaut est de 60 minutes.

   3. (Facultatif) Configuration - Add Materialized View Refresh Node as Ancestor Node : Pour les nœuds présentant des calculs similaires, ajoutez le nœud d'actualisation comme dépendance de planification amont afin d'améliorer le taux de succès des requêtes pour les données incrémentielles. Dans la zone Add Materialized View Task Dependency :

      Cette zone affiche le nombre de nœuds de tâche affectés dans l'espace de travail actuel et dans les autres espaces de travail. Vous pouvez cliquer sur View Details pour voir les informations spécifiques des nœuds de tâche.

      La boîte de dialogue des détails des nœuds de tâche comprend des champs tels que Task ID, Task Name, Owner, Affected Baselines/Highest Level, Task Type, Schedule Type et Last Modified Time.

3. Cliquez sur Create and Execute. DataWorks commence à créer la vue matérialisée. Vous pouvez surveiller l'état de création dans la colonne Status de la page Materialized View Recommendation ou cliquer sur View Details dans la colonne Actions pour voir la progression détaillée.

   • Le Status peut être l'un des suivants :

     • To Be Created : La création de la vue matérialisée n'a pas été initiée via DataWorks.

     • Created : La vue matérialisée a été créée avec succès.

     • Creating : Le processus de création a été initié dans DataWorks mais n'est pas encore terminé.

     • Create Failed : Le processus de création a été initié dans DataWorks mais a échoué.

   • Cliquez sur View Details pour afficher les détails de la création.

     Sur la page des détails de création, la section Plan Information affiche l'espace de travail, le créateur, l'état et l'heure de création. La section Process Details répertorie cinq étapes : Start Creation, Create Materialized View, Create Materialized View Refresh Node, Add Materialized View Task Dependency et Complete Creation. Chaque étape indique Execution Successful et l'état global est Completed.

Si vous configurez les options Create Materialized View Refresh Node et Add Materialized View Refresh Node as Ancestor Node, un nouveau nœud d'actualisation de vue matérialisée est ajouté avant les nœuds présentant des calculs similaires dans le flux de tâches correspondant. Le propriétaire de ce nouveau nœud est l'utilisateur qui a créé la vue matérialisée.

Étape 4 : Gérer les vues

Gérez les vues matérialisées créées à partir des recommandations au sein de votre espace de travail. Vérifiez leurs taux de succès et analysez ou supprimez les vues qui ne donnent pas les résultats escomptés.

1. En haut de la page, sélectionnez un Workspace puis cliquez sur l'onglet Materialized View Management.

2. Ajustez les critères de filtrage, tels que Project, pour afficher les vues matérialisées créées à partir des recommandations.

   Les autres critères de filtrage incluent Data Source Type, Materialized View Name, Creation Time et owner. Le tableau affiche également des métriques telles que Calls in Previous Day, Total Time Saved et total saved CU-hours. Une opération Batch Delete est également prise en charge.

   Important

   Si le quota de votre projet MaxCompute est basé sur la méthode de facturation paiement à l'utilisation, la formule suivante s'applique : Total saved compute capacity = Input data volume × SQL complexity. Les frais pour les jobs SQL MaxCompute sont calculés à l'aide de la formule : compute capacity × Unit price. Pour plus d'informations, consultez les rubriques Frais de calcul (paiement à l'utilisation).

   • Cliquez sur un identifiant de vue matérialisée dans la colonne Materialized View pour afficher ses détails.

     La page des détails de la vue matérialisée affiche les informations suivantes : nom de la vue matérialisée (par exemple, dgc_mv_1716775189582), type de source de données, description de la table, propriétaire, nombre de lectures, sortie de la tâche de référence, type de table et nombre de nœuds aval directs. La section Basic Information inclut l'heure de création, la dernière heure de mise à jour, le cycle de vie, la taille logique, le nombre de lignes de données, les informations de partition et la tâche de sortie. La section Materialized View Properties comprend un lien pour afficher le code, la dernière heure d'actualisation, la fréquence d'actualisation par défaut et le nœud d'actualisation associé. La section Materialized View Tasks fournit des statistiques telles que le nombre de succès, le temps d'exécution, le temps économisé, les UC de calcul, les UC économisées et la capacité de calcul, consultables par dimension de regroupement et plage de temps.

   • Cliquez sur Delete dans la colonne Actions pour supprimer une vue matérialisée.