MaxCompute:Observation des ressources

Procédure

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, cliquez sur Resource Observation.

3. Sur la page Resource Observation, cliquez sur l'onglet Computing Resource.

4. Sélectionnez un quota de niveau 1, une plage de temps et un intervalle de temps.

   L'intervalle de temps définit la fréquence des points de données. Vous pouvez choisir un intervalle adaptatif ou un intervalle de 1 minute, 5 minutes ou 15 minutes. Pour garantir les performances, le système définit automatiquement l'intervalle sur « adaptatif » si la plage de temps dépasse 72 heures.

5. Cliquez sur l'icône située à gauche d'un quota de niveau 2 cible pour afficher son graphique de tendance de consommation des ressources. Vous pouvez développer plusieurs graphiques simultanément.

6. Consultez la liste des projets associés à chaque quota de niveau 2.

Métriques

La liste des quotas et des projets associés indique quels projets ont défini le quota de niveau 2 correspondant comme leur quota de calcul par défaut.

Procédure

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, cliquez sur Resource Observation.

3. Sur la page Resource Observation, cliquez sur l'onglet Storage Resource pour afficher l'utilisation totale du stockage et la répartition du stockage pour la journée en cours.

4. (Facultatif) Sélectionnez une plage de temps (par défaut 7 jours) et des projets (par défaut tous les projets ; vous pouvez sélectionner jusqu'à huit projets) pour afficher la Storage Trend.

5. (Facultatif) Dans la zone Storage Details, sous l'onglet Project Details, sélectionnez une date (par défaut la journée en cours) pour afficher l'utilisation du stockage de chaque projet.

6. (Facultatif) Dans la zone Storage Details, sous l'onglet Table/Partition Details, sélectionnez une date (par défaut la journée en cours) et un projet pour afficher l'utilisation détaillée du stockage des tables et des partitions dans le projet.

Métriques

MaxCompute ne permet pas d'afficher l'utilisation du stockage par colonne. Pour estimer le stockage au niveau des colonnes, exportez les données de la table et calculez l'utilisation pour chaque colonne.

Procédure

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, choisissez Observation O&M > Resource Observation.

3. Sur la page Resource Observation, cliquez sur l'onglet Data Transmission Service.

4. Sélectionnez un quota, un projet, une plage de temps et un algorithme d'agrégation pour interroger l'utilisation de chaque métrique.

Remarques sur l'utilisation

Métriques

Procédure

1. Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.

2. Dans le volet de navigation de gauche, cliquez sur Resource Observation.

3. Sur la page Resource Observation, cliquez sur l'onglet Job Performance Observation.

4. Sélectionnez les paramètres suivants pour filtrer et regrouper les tâches. Cela vous permet d'afficher des tâches spécifiques et de regrouper les données de métriques dans les graphiques selon différentes dimensions.

   Parameter	Description
   Time range	Obligatoire. Filtre les tâches terminées en fonction de la plage de temps spécifiée (heures de début et de fin). Vous pouvez sélectionner une plage de temps prédéfinie ou en configurer une personnalisée : 1d : le dernier jour. 3d : les 3 derniers jours. 7d : les 7 derniers jours. Sélectionner une période spécifique : cliquez sur la liste déroulante de la plage de temps, sélectionnez la date souhaitée, puis cliquez sur Select Time pour choisir la période cible. Remarque La plage de temps par défaut est le dernier jour. La plage de temps maximale est de 7 jours et la minimale est de 1 heure. Vous pouvez rechercher des tâches des 45 derniers jours.
   Choose Project	Filtre par nom de projet MaxCompute. Remarque Par défaut, tous les projets sont sélectionnés. Vous pouvez sélectionner jusqu'à 8 projets.
   Select Quota	Filtre par quota de calcul. Remarque Par défaut, tous les quotas de calcul sont sélectionnés. Vous pouvez sélectionner jusqu'à 8 quotas de niveau 2. Pour plus d'informations sur les quotas de calcul, consultez Gérer les quotas de calcul.
   Group By	Obligatoire. Selon le type de graphique, vous pouvez regrouper les données dans la vue du graphique selon plusieurs dimensions. Valeurs valides pour Group By : No Group (par défaut) : affiche les tendances de diverses métriques pour toutes les tâches dans la plage filtrée au fil du temps. Project : affiche diverses métriques pour toutes les tâches dans la plage filtrée, regroupées par projet. Remarque Lorsque vous regroupez par projet, vous devez spécifier les projets dans les paramètres de filtre, jusqu'à un maximum de 8 projets. Quotas: affiche diverses métriques pour toutes les tâches dans la plage filtrée, regroupées par quota de niveau 2. Remarque Lorsque vous regroupez par quota, vous devez spécifier les quotas dans les paramètres de filtre, jusqu'à un maximum de 8 quotas de niveau 2. Job type : affiche diverses métriques pour toutes les tâches dans la plage filtrée, regroupées par type de tâche. SQL : tâche SQL. MCQA : tâche SQL MaxCompute Query Acceleration (MCQA). LOT : tâche MapReduce. CUPID : tâche Spark ou Mars. Algo_Task : tâche d'apprentissage automatique. GRAPH : tâche de calcul de graphe. Job End Status : affiche diverses métriques pour toutes les tâches dans la plage filtrée, regroupées par leur statut final. Success : la tâche s'est exécutée avec succès. Failed : la tâche a échoué. Cancelled : la tâche a été annulée.

5. Cliquez sur Query pour afficher les statistiques de chaque métrique.

6. (Facultatif) Sélectionnez une granularité Data Summary pour afficher les statistiques de chaque métrique en fonction de la dimension temporelle choisie.

   Parameter	Description
   By Hour	Résume les données par intervalles d'une heure. Cela affiche les statistiques des tâches qui ont terminé leur exécution pendant l'heure en cours. Il s'agit du paramètre par défaut. Par exemple, si l'heure actuelle est 14 h 00 le 6 mai 2024, le résumé par heure affiche les statistiques des tâches terminées entre 14 h 00 et 15 h 00 le 6 mai 2024.
   By Day	Résume les données par intervalles d'un jour. Cela affiche les statistiques des tâches qui ont terminé leur exécution pendant la journée en cours. Par exemple, si la date actuelle est le 6 mai 2024, le résumé par jour affiche les statistiques des tâches terminées entre 00 h 00 le 6 mai 2024 et 00 h 00 le 7 mai 2024.

7. (Facultatif) Sélectionnez une Comparison Period pour afficher les statistiques historiques d'une date ou d'une heure précédente.

   La valeur par défaut est No Comparison. Les options incluent Previous 30 Days, Previous 7 Days et Previous 1 Day. Par exemple, pour 14 h 00 le 6 mai 2024, les données de comparaison sur 30 jours correspondent aux statistiques de 14 h 00 le 6 avril 2024.

Métriques

• CU Usage Trend (Unité : Core*H)

  Metric	Description
  CPU-hour (Unité : Core*H)	Le nombre d'heures-CPU consommées par les tâches terminées dans la plage de filtre sélectionnée. Une heure-CPU est définie comme un cœur de CPU consommé pendant une heure. Heures-CPU = Nombre de cœurs de CPU × Durée.
  Memory-hour (Unité : GB*H)	La quantité d'heures-mémoire consommées par les tâches terminées dans la plage de filtre sélectionnée. Une heure-mémoire est définie comme 1 Go de mémoire consommé pendant une heure. Heures-mémoire = Taille de la mémoire × Durée.
  CPU-hour/Top 10 Memory-Hour Consumption Analysis	Classe les 10 premières tâches par consommation d'heures-CPU ou d'heures-mémoire. Elle répertorie également les 10 Signatures et ExtNodeIds ayant la consommation totale ou moyenne la plus élevée dans la plage de filtre sélectionnée.

• Job Runtime Period (Unité : secondes)

  Metric	Description
  Average Value	Le temps d'exécution moyen des tâches terminées dans la plage de filtre sélectionnée.
  Maximum Value	Le temps d'exécution le plus long des tâches terminées dans la plage de filtre sélectionnée.
  Minimum Value	Le temps d'exécution le plus court des tâches terminées dans la plage de filtre sélectionnée.
  Quantile	Le temps d'exécution des tâches pour un quantile spécifique (incluant les 1er, 5e, 10e, 50e, 90e, 95e et 99e percentiles) des tâches terminées dans la plage de filtre sélectionnée. Par exemple, le 99e percentile indique que 99 % des tâches se sont terminées dans ce délai d'exécution.
  Top 10 Job Runtime Analysis	Fournit les 10 tâches ayant le temps d'exécution total le plus long, ainsi que les 10 Signatures et ExtNodeIds ayant le temps d'exécution total ou moyen le plus long dans la plage de filtre sélectionnée.

• Job Count Trend (Unité : nombre) : le nombre de tâches terminées dans la plage de filtre sélectionnée.

• Job Input Size Trend (Unité : Go, ajusté automatiquement en fonction de l'échelle du graphique) : la quantité de données analysées par les tâches terminées dans la plage de filtre sélectionnée.

• Trend of Job Input Size per CU-Hour (Unité : Go, ajusté automatiquement en fonction de l'échelle du graphique) : la taille moyenne des données analysées par les tâches par heure-CU dans la plage de filtre sélectionnée. Une heure-CU comprend 1 cœur de CPU et 4 Go de mémoire. Elle est calculée à l'aide de la formule MAX(CPU-hour, CEILING(memory-hour/4)).

Vous pouvez également collecter des statistiques pour les métriques précédentes en utilisant le Information Schema au niveau du locataire. Notez que la table Information Schema task_history contient toutes les instances de tâche résultant des opérations, tandis que les métriques de l'onglet Job Performance Observation de la console ne comptent que les tâches qui consomment des ressources de calcul. Par conséquent, les résultats statistiques peuvent différer.

Voici un exemple de requête :

SET odps.namespace.schema=TRUE;
SELECT to_char (end_time, 'yyyy-mm-dd hh'), -- The hour when the job finished.
       -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
       sum(cast(cost_cpu/100/3600 as DECIMAL(18,5) )) cost_cpuh, -- CPU-hour
       sum(cast(cost_mem/1024/3600 as DECIMAL(18,5) )) cost_memh, -- Memory-hour
       avg(datediff(end_time, start_time, 'ss')), -- Average job runtime
       min(datediff(end_time, start_time, 'ss')), -- Minimum job runtime
       max(datediff(end_time, start_time, 'ss'))  -- Maximum job runtime
       -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
FROM SYSTEM_CATALOG.INFORMATION_SCHEMA.tasks_history
WHERE ds>=to_char(date_add(getdate(),-7),'yyyymmdd')  -- Modify or add other filter conditions as needed.
and task_type in ('SQL','SQLRT','LOT','CUPID','ALgoTask')
GROUP BY to_char (end_time, 'yyyy-mm-dd hh')
         -- to_char (end_time, 'yyyy-mm-dd'), -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.
         -- status, -- Grouping basis: status: job status; project: task_catalog; job type: task_type.
order BY to_char (end_time, 'yyyy-mm-dd hh') ASC;
         -- to_char (end_time, 'yyyy-mm-dd'); -- For daily granularity, use this line to replace the preceding one. This indicates the date when the job finished.

FAQ

• Question 1 :

  • Q : Pourquoi certains projets ou quotas sont-ils absents de la légende du graphique après le regroupement ?

  • R : Cela se produit lorsque le nombre de tâches pour un projet ou un quota est nul dans la plage de temps sélectionnée.

• Question 2 :

  • Q : Pourquoi les données de comparaison sont-elles manquantes pour une période précédente ?

  • R : Les données peuvent être manquantes si le projet ou le quota n'existait pas ou n'avait aucune tâche pendant la période de comparaison.