MaxCompute:Utiliser l'optimisation des coûts pour réduire les dépenses et améliorer l'efficacité

Remarques

• Les prix indiqués dans cette rubrique sont fournis à titre indicatif uniquement. Pour connaître les tarifs réels, reportez-vous à la page d'achat du produit.

• Nous vous recommandons de basculer progressivement vers le plan recommandé en fonction de vos besoins métier et de surveiller les performances après l'application des modifications.

Scénario 1 : Coûts élevés dus à des ressources souscrites inutilisées

Une entreprise en phase initiale de construction de son entrepôt de données a acquis 200 UC réservées de ressources de calcul en mode abonnement afin de garantir l'exécution d'un lot critique de jobs tôt le matin avant 08 h 00. Chaque jour, 520 jobs s'exécutent sur ces ressources et se terminent dans les délais ou en avance, mais le coût mensuel de calcul atteint 4 400 USD.

Récemment, le département Big Data a reçu un objectif clé (OKR) de réduction des coûts. Le responsable souhaitait diminuer les dépenses sans impacter les délais d'exécution des jobs critiques, mais ignorait comment élaborer le meilleur plan. Un ingénieur de données a suggéré d'utiliser la fonctionnalité d'optimisation des coûts de MaxCompute et a démontré la procédure suivante :

1. Accédez à la page d'optimisation des coûts.

   1. Connectez-vous à la console MaxCompute. Dans le coin supérieur gauche, sélectionnez une région. Dans le volet de navigation de gauche, choisissez Intelligent Optimization > Computing Resource Config Optimization.

   2. Sur la page Computing Resource Config Optimization, sélectionnez un quota de niveau 1 souscrit pour afficher les prévisions quotidiennes de demande en UC.

   La prévision de demande en UC reflète fidèlement la charge de travail actuelle : des lots de jobs plus modestes s'exécutent toutes les heures, avec un pic d'activité entre 05:00 et 08:00.

2. Définissez les points d'estimation temporels.

   Dans la section Set Estimation Time Point, l'ingénieur définit deux points d'estimation temporels selon le flux de travail métier : 05:00 et 08:00. Cela garantit que les jobs précédant le lot critique se terminent avant 05 h 00 et que le lot critique lui-même s'achève avant 08 h 00.

3. Consultez le résultat d'évaluation du plan actuel.

   Cliquez sur Current Plan Estimation pour vérifier l'état d'achèvement des jobs avec la configuration de ressources actuelle.

   

   Le graphique CU Consumption Simulation indique qu'avec la configuration actuelle (200 UC réservées), aucun job n'accuse de retard, mais d'importants temps d'inactivité des ressources sont constatés, ce qui laisse entrevoir des possibilités d'optimisation des coûts.

4. Définissez l'objectif d'optimisation.

   Sous le graphique CU Consumption Simulation, la section Set Optimization Goal affiche l'état actuel des retards pour chaque point d'estimation temporel, conformément au graphique de simulation.

   L'ingénieur constate que les objectifs d'optimisation correspondent par défaut aux points d'estimation temporels, qui coïncident avec les délais d'achèvement requis pour les jobs. Il clique ensuite sur Generate Recommended Plan

5. Consultez le plan recommandé.

   Le plan recommandé suggère l'achat de 50 UC réservées et l'ajout de 50 UC élastiquement réservées pour les plages horaires 04:00–05:00 et 06:00–08:00. Les jobs critiques devraient toujours se terminer avant 08:00, tandis que le coût mensuel de calcul baisse à 1 319,6 USD — soit une économie d'environ 70 % par rapport au plan actuel.

   

   Un retard de 30 minutes n'ayant pas d'impact significatif sur l'activité, l'ingénieur décide d'ajuster l'objectif d'optimisation.

6. Ajustez l'objectif d'optimisation.

   Revenez à la section Set Optimization Goal et modifiez l'objectif d'optimisation pour le point d'estimation temporel 08:00 en le fixant à 08:30.

7. Consultez le nouveau plan recommandé.

   Cliquez de nouveau sur Generate Recommended Plan. Le nouveau plan suggère l'achat de 50 UC réservées et l'ajout de 50 UC élastiquement réservées pour les plages horaires 04:00–05:00 et 06:00–07:00. Les jobs critiques devraient se terminer avant 08:30 et le coût de calcul baisse encore davantage, atteignant 1 246,4 USD — soit une économie d'environ 71,7 % par rapport au plan actuel.

8. Mettez en œuvre progressivement le plan recommandé.

   Le département opte pour un déploiement par étapes, en commençant par réduire le nombre d'UC réservées à 100 et en réévaluant la situation après une période d'essai. Comme le volume de jobs n'a pas augmenté de manière significative, le système a continué de recommander une réduction et l'ajout d'UC élastiquement réservées. L'équipe a alors appliqué le plan recommandé initial, qui n'a entraîné aucun retard. Après une phase de test, les jobs critiques ont continué de se terminer dans les délais presque chaque jour, permettant à l'équipe de réduire avec succès ses coûts de calcul.

Scénario 2 : Retards de jobs dus à des ressources souscrites insuffisantes

Une entreprise a acquis 60 UC réservées de ressources de calcul souscrites pour son entrepôt de données. Chaque jour, 520 jobs s'exécutent sur ces ressources et un lot de jobs critiques démarrant vers 05 h 00 doit être terminé avant 08 h 00. Avec l'expansion de l'activité et la croissance des volumes de données, un ingénieur constate des retards fréquents de jobs causés par l'insuffisance des UC réservées. Pour résoudre ces retards sans augmenter significativement les coûts, l'ingénieur utilise la fonctionnalité d'optimisation des coûts dans la console MaxCompute :

1. Accédez à la page d'optimisation des coûts.

   1. Connectez-vous à la console MaxCompute. Dans le coin supérieur gauche, sélectionnez une région. Dans le volet de navigation de gauche, choisissez Intelligent Optimization > Computing Resource Config Optimization.

   2. Sur la page Computing Resource Config Optimization, sélectionnez un quota de niveau 1 souscrit pour afficher les prévisions quotidiennes de demande en UC.

      La prévision de demande en UC correspond à la charge de travail actuelle : des jobs moins importants s'exécutent toutes les heures, avec un pic d'activité entre 05:00 et 08:00.

2. Définissez les points d'estimation temporels.

   Dans la section Set Estimation Time Point, l'ingénieur définit deux points d'estimation temporels selon le flux de travail métier : 05:00 et 08:00. Cela garantit que les jobs précédant le lot critique se terminent avant 05 h 00 et que le lot critique s'achève avant 08 h 00.

3. Consultez le résultat d'évaluation du plan actuel.

   Cliquez sur Current Plan Estimation pour vérifier l'état d'achèvement des jobs avec la configuration de ressources actuelle.

   

   Le graphique de simulation de consommation des UC montre qu'avec la configuration actuelle (60 UC réservées), les jobs soumis avant 05:00 accusent un retard estimé de 3 minutes. Les jobs critiques soumis entre 05:00 et 08:00 subissent des retards estimés pouvant atteindre 48 minutes. Cette simulation correspond aux retards effectivement observés.

4. Définissez l'objectif d'optimisation.

   Sous le graphique CU Consumption Simulation, la section Set Optimization Goal affiche l'état actuel des retards pour chaque point d'estimation temporel, conformément au graphique de simulation.

   L'ingénieur constate que les objectifs d'optimisation correspondent par défaut aux délais d'achèvement souhaités. Il clique sur Generate Recommended Plan

5. Consultez le plan recommandé.

   Le graphique CU Consumption Simulation (Recommended Plan) présente le plan recommandé : acheter 50 UC réservées et ajouter 50 UC élastiquement réservées pour les plages horaires 04:00–05:00 et 06:00–08:00. Ce plan élimine les retards pour les échéances de 05:00 et de 08:00 tout en réduisant le coût de 0,4 USD/mois par rapport au plan actuel.

   

6. Après une période d'essai, l'ingénieur observe que les jobs critiques se terminent dans les délais presque chaque jour, améliorant ainsi l'efficacité du développement sans augmentation significative du coût de calcul.

   Configurez le plan recommandé.

   Le coût estimé étant acceptable, l'ingénieur commence par configurer uniquement les UC élastiquement réservées recommandées et surveille les performances, sans ajuster immédiatement les UC réservées.

   1. Dans le volet de navigation de gauche de la console MaxCompute, choisissez Workspace > Quotas.

   2. Sur la page Quotas, repérez le quota de niveau 1 que vous avez évalué et cliquez sur Quota Configuration dans la colonne Actions.

   3. Sur la page Quota Configuration, accédez à l'onglet Quota Plans et cliquez sur Add Plan.

   4. Dans la boîte de dialogue Add Quota Plan, définissez Elastically Reserved CUs sur 50 et cliquez sur OK.

   5. Configurez le plan de quota horaire selon les plages horaires recommandées. Pour plus d'informations, consultez Configurer un quota.

      |
      **Start time**
      |
      **Enabled quota plan**
      | | --- | --- | |
      00:00
      |
      Default
      | |
      04:00
      |
      The newly added Quota plan.
      | |
      05:00
      |
      Default
      | |
      06:00
      |
      The newly added Quota plan.
      | |
      08:00
      |
      Default
      |

      Remarque

      Le plan Default possède 0 UC élastiquement réservées.