MaxCompute:Analyser les détails d'utilisation de MaxCompute

Paramètres

• Time Period : cliquez pour sélectionner une heure de début et une heure de fin.

  Si une tâche s'exécute sur deux jours, par exemple en commençant le 1er décembre et en se terminant le 2 décembre, vous devez définir l'heure de début au 1er décembre pour retrouver la tâche dans les enregistrements d'utilisation téléchargés. Toutefois, les coûts de cette tâche seront inclus dans la facture du 2 décembre.

• Commodity Name :

  • MaxCompute(Subscription)

  • MaxCompute(Pay-as-you-go)

• Billable Item : sélectionnez un élément selon vos besoins.

• Billable Item

  • ODPSDataPlus :

    • Cette option s'applique lorsque vous n'avez acheté que des projets en abonnement et aucun projet en paiement à l'utilisation dans une région. Elle fournit les enregistrements d'utilisation pour les éléments facturables en paiement à l'utilisation, tels que le stockage et le téléchargement, au sein des projets sous abonnement.

    • Avant le 25 avril 2024, si vous aviez activé à la fois des projets sous abonnement et en paiement à l'utilisation dans la région Chine (Hong Kong) ou dans une autre région hors de Chine continentale, cela s'appliquait aux enregistrements d'utilisation des éléments facturables de stockage et de téléchargement dans les projets utilisant par défaut des quotas de calcul sous abonnement. Pour interroger les enregistrements d'utilisation des projets utilisant par défaut des quotas en paiement à l'utilisation dans ce scénario, vous devez sélectionner MaxCompute(Pay-as-you-go).

  • ODPS_QUOTA_USAGE : détails d'utilisation pour les ressources réservées élastiquement dédiées au calcul et à Tunnel.

  • MaxCompute(Pay-as-you-go) : enregistrements d'utilisation pour les éléments facturables en paiement à l'utilisation, tels que le calcul, le stockage et le téléchargement.

• Time Unit : la valeur par défaut est Hour.

Analyser les coûts SQL

Les tâches SQL sont utilisées par plus de 95 % des utilisateurs de MaxCompute et représentent généralement une part importante des dépenses.

• Méthode 1 : Analyse via une feuille de calcul

  Analysez les données catégorisées comme ComputationSql dans le tableau des enregistrements d'utilisation. Vérifiez si le coût de certaines tâches SQL dépasse les attentes ou s'il y a trop de tâches SQL. Le coût d'une tâche SQL est calculé à l'aide de la formule suivante : SQL/Interactive Analytics Read Volume (Bytes) / 1024 / 1024 / 1024 × SQL Complexity × SQL Unit Price.

  Par exemple, pour une tâche SQL standard avec une lecture de données de 7352600872 bytes, le coût est de SQL data read (7352600872 bytes / 1024 / 1024 / 1024) × SQL complexity of 1 × 0.0438 USD/(GB × complexity) = 0.292 USD.

  Si votre facture augmente soudainement, vérifiez d'abord si votre forfait de ressources sous abonnement est épuisé. Une fois le quota de calcul de votre forfait épuisé, toute utilisation excédentaire est automatiquement facturée en paiement à l'utilisation (au prix unitaire de 0,0438 USD par Go × complexité), ce qui peut entraîner une augmentation brutale des coûts.

  Pour localiser une tâche SQL coûteuse, suivez ces étapes :

  1. Dans le fichier CSV des détails d'utilisation, filtrez les enregistrements dont la catégorie de données est ComputationSql et triez-les par ordre décroissant selon le champ SQL/Interactive Analytics Read Volume (Bytes) (le champ computationsqlinput) afin de trouver l'enregistrement avec le volume de lecture le plus élevé.

  2. Notez l'ID des informations de comptabilisation de l'entrée (c'est-à-dire le champ feeid).

  3. Dans le client MaxCompute (odpscmd) ou DataWorks, exécutez la commande wait <instanceid>; pour obtenir l'URL Logview. Ouvrez cette URL dans votre navigateur pour afficher le contenu SQL et localiser la tâche coûteuse.

• Méthode 2 : Analyse via SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

• -- Analyze SQL consumption, ranked by sqlmoney.
  SELECT  to_char(endtime,'yyyymmdd') as ds,feeid as instanceid
          ,projectid
          ,computationsqlcomplexity  -- Complexity
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) as computationsqlinput  -- Data input (GB)
          ,SUM((computationsqlinput / 1024 / 1024 / 1024)) * computationsqlcomplexity * 0.0438 AS sqlmoney
  FROM    maxcomputefee
  WHERE   TYPE = 'ComputationSql'
  AND to_char(endtime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(endtime,'yyyymmdd'),feeid
           ,projectid
           ,computationsqlcomplexity
  ORDER BY sqlmoney DESC 
  LIMIT   10000
  ;

Analyser les tendances de croissance des tâches

Les augmentations de coûts sont généralement causées par une hausse du nombre de tâches, souvent due à des exécutions répétées ou à des propriétés de planification mal configurées.

• Méthode 1 : Analyse via une feuille de calcul

  Analysez les données dont le type est ComputationSql dans vos enregistrements d'utilisation. Comptez le nombre de tâches par jour pour chaque projet et vérifiez si le nombre de tâches pour un projet donné fluctue de manière significative.

• Méthode 2 : Analyse via SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze job growth trends.
  SELECT  TO_CHAR(endtime,'yyyymmdd') AS ds
          ,projectid
          ,COUNT(*) AS tasknum
  FROM    maxcomputefee
  WHERE   TYPE = 'ComputationSql'
  AND     TO_CHAR(endtime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(endtime,'yyyymmdd')
           ,projectid
  ORDER BY tasknum DESC
  LIMIT   10000
  ;

  Les résultats d'exécution montrent la fluctuation du nombre de tâches soumises avec succès à MaxCompute du 12 au 14.

Analyser les coûts de stockage

• Analyser la raison d'un frais de stockage de 0,00001 USD à l'aide d'une feuille de calcul :

  Vous activez MaxCompute pour un essai et constatez des frais quotidiens de 0,00001 USD même sans activité commerciale active. Cela est généralement dû au fait que certaines données, inférieures à 0,5 Go, restent stockées dans MaxCompute.

  Consultez l'élément facturable Storage dans la colonne Data type. Par exemple, le projet maxcompute_doc contient 508 octets de données. Selon les règles de facturation des storage cost, vous êtes facturé 0,00001 USD pour le stockage de données jusqu'à 512 Mo. Les détails d'utilisation dans le fichier CSV exporté affichent des colonnes pour Project ID (maxcompute_doc), Billing information ID, Data type (Storage) et Storage (bytes). Chaque enregistrement indique un montant de stockage de 508 octets, confirmant qu'une petite quantité de données résiduelles génère ce coût. Si ces données servent uniquement à des tests, vous pouvez résoudre ce problème de l'une des manières suivantes :

  • Si les données de la table ne sont plus utilisées, exécutez l'instruction Drop Table pour supprimer les données de la table dans le projet.

  • Si le projet n'est plus nécessaire, supprimez-le depuis la page Projects de la console MaxCompute .

• Analyser les coûts de stockage pour moins d'une journée à l'aide d'une feuille de calcul :

  1. Consultez l'élément facturable Storage dans le champ Data type. Supposons que 333 507 833 900 octets de données soient stockés dans le projet alian (nom de projet exemple). Étant donné que les données ont été chargées à 8h00, les frais de stockage sont comptabilisés à partir de 09h07 pour un total de 15 heures.

     La période de comptabilisation quotidienne se termine à la fin de la journée, donc le dernier enregistrement n'est pas inclus dans la facture du 4 avril.

  2. Selon les storage billing rules, calculez d'abord la moyenne de stockage sur 24 heures, puis calculez le coût à l'aide de la formule de facturation.

     -- Calculate average storage.
     333,507,833,900 bytes × 15 / 1024 / 1024 / 1024 / 24 = 194.127109076362103 GB
     
     -- The storage cost for one day is calculated as follows, with the result rounded to four decimal places.
     194.127109076362103 GB × USD 0.0006/GB/day = USD 0.1165/day

• Analyser la répartition des coûts de stockage à l'aide de SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze storage costs.
  SELECT  t.ds
          ,t.projectid
          ,t.storage
          ,CASE    WHEN t.storage < 0.5 THEN t.storage*0.0015     -- When the actual data storage of the project is greater than 0 MB and less than or equal to 512 MB, the unit price is USD 0.0015/GB/day.
                   WHEN t.storage >= 0.5  THEN t.storage*0.0006  -- When the actual data storage of the project is greater than 512 MB, the unit price is USD 0.0006/GB/day.
          END storage_fee
  FROM    (
              SELECT  to_char(starttime,'yyyymmdd') as ds
                      ,projectid
                      ,SUM(storage/1024/1024/1024)/24 AS storage
              FROM    maxcomputefee
              WHERE   TYPE = 'Storage'
              and to_char(starttime,'yyyymmdd') >= '20190112'
              GROUP BY to_char(starttime,'yyyymmdd')
                       ,projectid
          ) t
  ORDER BY storage_fee DESC
  ;

  Le résultat d'exécution suivant est fourni à titre de démonstration. La requête renvoie trois enregistrements triés par ordre décroissant selon storage_fee : le 13/01/2019, le stockage était d'environ 8 467 Go, pour un coût d'environ 73,31 CNY ; le 12/01/2019, le stockage était d'environ 4 527 Go, pour un coût d'environ 40,22 CNY ; et le 14/01/2019, le stockage était d'environ 2 672 Go, pour un coût d'environ 24,63 CNY. Les résultats d'exécution permettent de tirer les conclusions suivantes :

  • Le stockage a augmenté le 12 et a diminué le 14.

  • Pour l'optimisation du stockage, nous vous recommandons de définir un cycle de vie pour les tables et de supprimer les tables temporaires inutilisées.

• Analyser la répartition du stockage d'archivage, du stockage à accès peu fréquent, de l'accès au stockage d'archivage et de l'accès au stockage à accès peu fréquent à l'aide de SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze archive storage costs.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS longTerm_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'ColdStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- Analyze infrequent access storage costs.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(storage/1024/1024/1024)/24*0.0011 AS lowFre_storage
    FROM  maxcomputefee
   WHERE  TYPE = 'LowFreqStorage'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- Analyze archive storage access costs.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS longTerm_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLongterm'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;
  -- Analyze infrequent access storage access costs.
  SELECT  to_char(starttime,'yyyymmdd') as ds
          ,projectid
          ,SUM(computationsqlinput/1024/1024/1024)*0.522 AS lowFre_IO
    FROM  maxcomputefee
   WHERE  TYPE = 'SqlLowFrequency'
     and  to_char(starttime,'yyyymmdd') >= '20190112'
  GROUP BY to_char(starttime,'yyyymmdd')
           ,projectid;

Analyser les coûts de téléchargement

MaxCompute facture les données téléchargées via Internet public ou entre régions en fonction du volume de téléchargement.

• Méthode 1 : Analyse via une feuille de calcul

  Le type de données DownloadEx représente l'élément facturable pour les téléchargements publics.

  1. Selon la tarification des frais de téléchargement (paiement à l'utilisation), un trafic public sortant d'environ 0,036 Go (38 199 736 octets) engendre des frais de (38,199,736 bytes/1024/1024/1024) × 0.1166 USD/GB = 0.004 USD.

  2. Exemple d'optimisation du téléchargement : vérifiez vos paramètres de service Tunnel pour voir si des coûts sont encourus en raison de l'utilisation d'un endpoint de réseau public. Pour plus d'informations, consultez la rubrique Endpoints. Si vous téléchargez de grandes quantités de données depuis la région Chine (Shanghai) vers un emplacement extérieur au réseau interne de cette région (comme un serveur local à Suzhou), vous pouvez d'abord télécharger les données sur une machine virtuelle ECS dans la région Chine (Shanghai) pour profiter du trafic réseau interne.

• Méthode 2 : Analyse via SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze download consumption details.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,SUM((download/1024/1024/1024)*0.1166) AS download_fee
  FROM    maxcomputefee
  WHERE   type = 'DownloadEx'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
  ORDER BY download_fee DESC
  ;

Analyser les coûts des tâches MapReduce

• Méthode 1 : Analyse via une feuille de calcul

  Analysez les données dont le type est MapReduce dans vos enregistrements d'utilisation. Calculez et triez les coûts des tâches MapReduce par spécification de ressource de calcul. La formule de calcul du coût d'une tâche MapReduce est (MapReduce/Spark job computing (core*seconds) / 3600) × Unit price (USD 0.0690).

• Méthode 2 : Analyse via SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze MapReduce job consumption.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.0690 AS mr_fee
  FROM    maxcomputefee
  WHERE   type = 'MapReduce'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY mr_fee DESC
  ;

Analyser les coûts des tâches de tables externes (Tablestore et OSS)

• Méthode 1 : Analyse via une feuille de calcul

  Analysez les données dont le type est ComputationSqlOTS ou ComputationSqlOSS dans vos enregistrements d'utilisation. Triez les coûts de calcul des tâches SQL de tables externes. Le coût est calculé à l'aide de la formule : (SQL/interactive analysis read volume (bytes) / 1024 / 1024 / 1024) × Unit price (USD 0.0044).

• Méthode 2 : Analyse via SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze Tablestore external table SQL job consumption.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.0044 AS ots_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOTS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY ots_fee DESC
  ;
  
  -- Analyze OSS external table SQL job consumption.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(computationsqlinput/1024/1024/1024)*1*0.0044 AS oss_fee
  FROM    maxcomputefee
  WHERE   type = 'ComputationSqlOSS'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,computationsqlinput
  ORDER BY oss_fee DESC
  ;

Analyser les coûts de calcul Spark

• Méthode 1 : Analyse via une feuille de calcul

  Analysez les données dont le type est Spark dans vos enregistrements d'utilisation. Triez les coûts des tâches. Le coût est calculé à l'aide de la formule : (MapReduce/Spark job computing (core*seconds) / 3600) × Unit price (USD 0.1041).

• Méthode 2 : Analyse via SQL

  Cette méthode nécessite d'avoir terminé l'Étape 2 et généré la table maxcomputefee :

  -- Analyze Spark job consumption.
  SELECT  TO_CHAR(starttime,'yyyymmdd') AS ds
          ,projectid
          ,(cu_usage/3600)*0.1041 AS spark_fee
  FROM    maxcomputefee
  WHERE   type = 'spark'
  AND     TO_CHAR(starttime,'yyyymmdd') >= '20190112'
  GROUP BY TO_CHAR(starttime,'yyyymmdd')
           ,projectid
           ,cu_usage
  ORDER BY spark_fee DESC
  ;