Équilibrer les coûts de calcul MaxCompute avec l'exécution ponctuelle des jobs constitue un défi. Vous risquez de surdimensionner des ressources d'abonnement coûteuses pour les pics de charge, ce qui entraîne du gaspillage, ou de les sous-dimensionner, provoquant le dépassement des délais critiques des jobs. La fonctionnalité Compute Cost Optimization de MaxCompute résout ce problème. Elle agit comme un conseiller intelligent en analysant les modèles de charge de travail historiques de votre projet pour générer des plans de ressources fondés sur les données. Ces recommandations vous aident à affiner un quota d'abonnement existant ou à passer du paiement à l'utilisation, réduisant ainsi les coûts tout en respectant les objectifs de performance.
Fonctionnement
Les trois cas d'utilisation suivants illustrent la manière dont MaxCompute génère des plans d'optimisation de la configuration des ressources.
Cas d'utilisation 1 : Optimiser un quota d'abonnement existant
-
Description
Une entreprise utilise des ressources de calcul par abonnement. Le plan actuel réserve 1 000 UC pour les jobs. Deux lots de jobs s'exécutent sur ces ressources à des heures fixes chaque jour :
Premier lot : Les jobs sont soumis avant 01:00 et doivent se terminer avant 02:00. Toutefois, avec la configuration actuelle, les jobs ne respectent pas ce délai.
Deuxième lot : Les jobs sont soumis avant 05:00 et doivent se terminer avant 06:00.
Coût des ressources (prix catalogue) : Le coût mensuel des ressources de calcul est de et 1 000 UC × 22,0 USD/UC = 22 000 USD.
-
Logique de MaxCompute pour générer un plan d'optimisation
-
MaxCompute prédit le volume quotidien de demandes d'UC en fonction des informations du scénario.
-
Sur la base des données d'exécution des deux lots de jobs au cours des 30 derniers jours, MaxCompute prédit la charge de travail nécessaire pour les achever. Supposons que les deux valeurs prédites soient les suivantes :
-
Premier lot de jobs
Les jobs consomment 1 500 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 1 500 UC × 1 h = 1 500 UC-heures.
-
Deuxième lot de jobs
Les jobs consomment 750 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 750 UC × 1 h = 750 UC-heures.
-
Définissez deux points d'estimation basés sur les heures de fin prévues des lots de jobs : 02:00 et 06:00.
-
-
Ensuite, MaxCompute évalue la consommation des ressources selon la configuration actuelle.
RemarqueLes métriques d'évaluation suivantes sont estimées principalement en UC-heures. Pour la logique de calcul détaillée, consultez les termes correspondants dans la section « Terminologie connexe » ci-dessous.
Pour le premier lot de jobs, 1 500 UC-heures sont nécessaires et 1 000 UC réservées sont configurées. Le premier lot de jobs peut être terminé en 1,5 heure. Dans ce cas, le premier lot de jobs se termine à 02:30. La latence du job est de 30 minutes.
-
Pour le deuxième lot de jobs, 750 UC-heures sont nécessaires et 1 000 UC réservées sont configurées. Le deuxième lot de jobs peut être terminé en 0,75 heure. Dans ce cas, tous les jobs sont terminés vers 05:45. Des UC redondantes sont disponibles et aucune latence de job n'existe.
L'estimation suivante repose sur la configuration actuelle des ressources :
|
**Métrique d'estimation**
|
**Formule de calcul**
|
**Premier lot de jobs**
|
**Deuxième lot de jobs**
| | --- | --- | --- | --- | |
**Satisfaction des exigences**
|
Heure de fin prévue :
`UC-heures utilisées/UC-heures réellement requises`
|
66,67 %
(Insuffisance des ressources)
|
100 %
(Redondance des ressources)
| |
**Latence du job**
|
Si les jobs ne sont pas terminés avant l'heure de fin prévue :
`Heure de fin réelle - Heure de fin prévue`
|
30 minutes
|
0 minute
|
-
Le système génère un plan optimal d'optimisation de la configuration des ressources en fonction de l'objectif de sortie. L'objectif de sortie désigne l'heure avant laquelle tous les jobs concernés devraient être terminés.
Plan d'optimisation : 750 UC réservées et 750 UC élastiquement réservées pour la période de 01:00 à 02:00.
-
Résultats de l'optimisation :
Pour les deux lots de jobs, la satisfaction des exigences est de 100 % et la latence du job est de 0 minute.
Coût des ressources (prix catalogue) : 750 UC × 22,0 USD/UC + 750 UC × 0,0488 USD/UC/H × 1 H × 30 = 17 598 USD. Cela représente une réduction de 4 402 USD par rapport au coût de calcul mensuel avant optimisation de 1 000 UC × 22,0 USD/UC = 22 000 USD.
-
Cas d'utilisation 2 : Migrer un projet en paiement à l'utilisation vers un nouveau quota d'abonnement
-
Description
Une entreprise utilise MaxCompute Pay-as-you-go Standard Edition. Le projet A comporte deux lots de jobs qui s'exécutent à des heures fixes chaque jour :
Premier lot de jobs : Tous les jobs sont soumis et démarrés avant 01:00 chaque jour. L'entreprise prévoit de terminer les jobs avant 02:00.
Deuxième lot de jobs : Tous les jobs sont soumis et démarrés avant 05:00 chaque jour. L'entreprise prévoit de terminer les jobs avant 06:00.
Coût des ressources (prix catalogue) : Les jobs SQL en paiement à l'utilisation sont facturés en fonction du volume de données analysées. Le volume moyen quotidien de données analysées est d'environ 1 200 Go. Le coût de calcul mensuel est de 1 200 Go × 0,0438 USD/Go × 30 = 1 576,8 USD.
L'entreprise souhaite acheter un quota de calcul par abonnement pour exécuter les jobs de calcul du projet A.
-
Logique de MaxCompute pour générer un plan d'optimisation
-
Le système estime le nombre de demandes quotidiennes d'UC en fonction des informations de base du scénario.
-
Sur la base des résultats d'exécution de deux lots de jobs sur 30 jours, le système estime les UC-heures consommées séparément par les deux lots de jobs. Le contenu suivant répertorie les valeurs estimées.
-
Premier lot de jobs
Les jobs consomment 100 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 100 UC × 1 h = 100 UC-heures.
-
Deuxième lot de jobs
Les jobs consomment 50 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 50 UC × 1 h = 50 UC-heures.
-
Le système définit deux points d'estimation, 02:00 et 06:00, en fonction de l'heure de fin prévue des deux lots de jobs. Le système définit également l'objectif de sortie. Par défaut, la latence des jobs n'est pas autorisée.
-
-
Le système génère un plan optimal d'optimisation de la configuration des ressources en fonction de l'objectif de sortie. L'objectif de sortie désigne l'heure avant laquelle tous les jobs concernés devraient être terminés.
Plan d'optimisation : 50 UC réservées et 50 UC élastiquement réservées pour la période de 01:00 à 02:00.
-
Résultats de l'optimisation :
Pour les deux lots de jobs, la satisfaction des exigences est de 100 % et la latence du job est de 0 minute.
Coût des ressources (prix catalogue) : 50 UC × 22,0 USD/UC + 50 UC × 0,0488 USD/UC/H × 1 H × 30 = 1 173,2 USD. Cela représente une réduction de 403,6 USD par rapport au coût de calcul mensuel avant optimisation de 1 576,8 USD.
-
Cas d'utilisation 3 : Fusionner un projet en paiement à l'utilisation dans un quota d'abonnement existant
-
Description
Une entreprise a acheté des ressources de calcul spécifiques par abonnement. Dans le plan de configuration des ressources actuel, 1 000 unités de calcul (UC) réservées sont configurées pour les jobs. Deux lots de jobs consomment les UC réservées chaque jour.
Premier lot de jobs : Tous les jobs sont soumis et démarrés avant 01:00 chaque jour. L'entreprise prévoit de terminer les jobs avant 02:00.
Deuxième lot de jobs : Tous les jobs sont soumis et démarrés avant 05:00 chaque jour. L'entreprise prévoit de terminer les jobs avant 06:00.
Coût des ressources (prix catalogue) : Le coût mensuel des ressources de calcul est de 1 000 UC × 22,0 USD/UC = 22 000 USD.
L'entreprise active MaxCompute facturé en mode paiement à l'utilisation. Dans le projet A, deux lots de jobs s'exécutent avec des ressources en paiement à l'utilisation à des périodes fixes chaque jour.
Premier lot de jobs : Tous les jobs sont soumis et démarrés avant 01:00 chaque jour. L'entreprise prévoit de terminer les jobs avant 02:00.
Deuxième lot de jobs : Tous les jobs sont soumis et démarrés avant 05:00 chaque jour. L'entreprise prévoit de terminer les jobs avant 06:00.
Coût des ressources (prix catalogue) : Les jobs SQL en paiement à l'utilisation sont facturés en fonction du volume de données analysées. Le volume moyen quotidien de données analysées est d'environ 4 200 Go. Le coût de calcul mensuel est de 4 200 Go × 0,0438 USD/Go × 30 = 5 518,8 USD.
Le coût total mensuel des ressources de calcul est de 22 000 + 5 518,8 = 27 518,8 USD.
L'entreprise souhaite exécuter les jobs de calcul du projet A dans le quota d'abonnement existant et s'assurer que les jobs peuvent être terminés à l'heure prévue.
-
Logique de MaxCompute pour générer un plan d'optimisation
-
Le système estime le nombre de demandes quotidiennes d'UC du projet en paiement à l'utilisation et du quota d'abonnement en fonction des informations de base du scénario.
-
Sur la base des données d'exécution des deux lots de jobs sur le quota d'abonnement au cours des 30 derniers jours, le système prédit les ressources (UC-heures) nécessaires pour terminer chaque lot. Supposons que les valeurs prédites soient les suivantes :
-
Premier lot de jobs
Les jobs nécessitent 1 500 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 1 500 UC × 1 h = 1 500 UC-heures.
-
Deuxième lot de jobs
Les jobs nécessitent 750 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 750 UC × 1 h = 750 UC-heures.
-
-
Sur la base des données d'exécution des deux lots de jobs dans le projet A au cours des 30 derniers jours, le système prédit les ressources (UC-heures) nécessaires pour terminer chaque lot. Supposons que les valeurs prédites soient les suivantes :
-
Premier lot de jobs
Les jobs nécessitent 500 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 500 UC × 1 h = 500 UC-heures.
-
Deuxième lot de jobs
Les jobs nécessitent 250 UC et s'exécutent pendant 1 heure. L'utilisation des ressources est de 250 UC × 1 h = 250 UC-heures.
-
-
Le système définit deux points d'estimation, 02:00 et 06:00, en fonction de l'heure de fin prévue des deux lots de jobs.
-
-
Le système estime la consommation des ressources en fonction de la configuration actuelle des ressources du quota d'abonnement.
RemarqueLes métriques d'évaluation suivantes sont estimées principalement en UC-heures. Pour la logique de calcul détaillée, consultez les termes correspondants dans la section « Terminologie connexe » ci-dessous.
Après l'ajout du premier lot de jobs du projet A en paiement à l'utilisation au quota d'abonnement, 2 000 UC-heures sont nécessaires pour exécuter tous les jobs du premier lot dans le quota, et 1 000 UC réservées sont configurées. Le premier lot de jobs peut être terminé en 2 heures. Dans ce cas, le premier lot de jobs se termine à 03:00. La latence du job est de 1 heure.
Après l'ajout du deuxième lot de jobs du projet A en paiement à l'utilisation au quota d'abonnement, 1 000 UC-heures sont nécessaires pour exécuter tous les jobs du deuxième lot dans le quota, et 1 000 UC réservées sont configurées. Le deuxième lot de jobs peut être terminé en 1 heure. Dans ce cas, tous les jobs sont terminés vers 06:00. Aucune latence de job n'existe.
L'estimation pour la configuration actuelle des ressources est la suivante :
|
**Métrique d'estimation**
|
**Formule de calcul**
|
**Premier lot de jobs**
|
**Deuxième lot de jobs**
| | --- | --- | --- | --- | |
**Satisfaction des exigences**
|
Calculée en fonction de la consommation de ressources à l'heure de fin prévue : UC-heures utilisées/UC-heures réellement requises
|
50 % (Insuffisance des ressources)
|
100 %
| |
**Latence du job**
|
Calculée si les jobs ne sont pas terminés avant l'heure de fin prévue : Heure de fin réelle - Heure de fin prévue
|
1 heure
|
0 minute
| -
Le système génère un plan optimal d'optimisation de la configuration des ressources en fonction de l'objectif de sortie. L'objectif de sortie désigne l'heure avant laquelle tous les jobs concernés devraient être terminés. Le système estime la consommation des ressources en fonction de la configuration actuelle des ressources du quota d'abonnement.
Plan d'optimisation : 1 000 UC réservées et 1 000 UC élastiquement réservées pour la période de 01:00 à 02:00.
-
Résultats de l'optimisation :
Pour les deux lots de jobs, la satisfaction des exigences est de 100 % et la latence du job est de 0 minute.
Coût des ressources (prix catalogue) : 1 000 UC × 22,0 USD/UC + 1 000 UC × 0,0488 USD/UC/H × 1 H × 30 = 23 464 USD. Cela représente une réduction de 4 054,8 USD par rapport au coût de calcul mensuel avant optimisation de 27 518,8 USD.
-
Termes (Cliquez pour développer)
Limites
-
MaxCompute peut analyser les ressources de calcul et générer des plans d'optimisation de la configuration des ressources uniquement pour les ressources de calcul d'un quota d'abonnement de niveau 1 et les ressources de calcul en paiement à l'utilisation.
RemarqueLes ressources de calcul MaxCompute prennent en charge trois méthodes de facturation : paiement à l'utilisation, abonnement et paiement à l'heure. Pour plus d'informations sur la facturation des différentes ressources, consultez Présentation des éléments facturables et des méthodes de facturation.
Vous pouvez utiliser la fonctionnalité de gestion des quotas pour allouer les ressources de calcul MaxCompute à différents niveaux de quotas. Pour plus d'informations, consultez Gérer les quotas dans la nouvelle console MaxCompute.
Cette fonctionnalité est disponible uniquement dans les régions suivantes : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Zhangjiakou), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Singapour, Indonésie (Jakarta) et Allemagne (Francfort).
Procédure
Connectez-vous à la console MaxCompute et sélectionnez une région dans le coin supérieur gauche.
Dans le volet de navigation de gauche, choisissez .
-
Sur la page Intelligent Optimization > Computing Resource Config Optimization, sélectionnez un Quota dans la liste déroulante Quota Name.
Si vous sélectionnez un quota de calcul par abonnement, vous pouvez consulter les recommandations de mise à niveau ou de rétrogradation de vos ressources de calcul par abonnement existantes.
Si vous sélectionnez un quota de calcul en paiement à l'utilisation, vous pouvez afficher le plan de configuration des ressources recommandé et les résultats projetés pour le passage d'un projet des ressources de calcul en paiement à l'utilisation aux ressources de calcul par abonnement. Le nom par défaut d'un quota Standard Edition en paiement à l'utilisation est PayAsYouGoQuota_p.
-
Si vous sélectionnez un quota de calcul en paiement à l'utilisation, sélectionnez le projet associé aux ressources de calcul Standard Edition en paiement à l'utilisation que vous souhaitez analyser.
La liste des projets contient uniquement les projets en paiement à l'utilisation qui répondent aux exigences d'analyse. Un projet doit avoir exécuté des jobs chaque jour au cours des sept derniers jours. Les données de la liste des projets sont mises à jour quotidiennement à 00:00:00.
Pour garantir une expérience fluide sur la page, vous pouvez sélectionner jusqu'à 20 projets pour évaluation à la fois.
-
La Configuration Change Method est sélectionnée par défaut.
Si vous disposez d'un quota d'abonnement existant, la fonctionnalité d'optimisation évalue et recommande des modifications en fonction des demandes de ressources de votre quota d'abonnement existant.
Si vous ne disposez pas de quota d'abonnement, la fonctionnalité d'optimisation recommande l'achat d'un nouveau quota d'abonnement en fonction des demandes de ressources du projet spécifié.
-
Sur la page Intelligent Optimization > Computing Resource Config Optimization, cliquez sur Analyze Computing Requirements.
Vous pouvez afficher le graphique de prédiction quotidienne des UC pour un groupe principal de quotas d'abonnement spécifique afin de comprendre les besoins quotidiens en ressources prévus. Si vous utilisez un quota principal prépayé existant pour la Configuration Change Method, vous pouvez afficher une prédiction cumulative qui combine les demandes de calcul du projet en cours de mise à niveau ou de rétrogradation avec le quota d'abonnement existant.
Vous ne pouvez pas utiliser cette fonctionnalité si vous ne disposez pas de suffisamment de données historiques de demande de jobs ou si les données ne montrent aucun schéma régulier.
Les valeurs estimées dans le graphique sont calculées à l'aide de l'algorithme d'identification et de décomposition des périodes, basé sur les données de demande de jobs sur 30 jours.
-
Dans la section Set Estimation Time Point, définissez le point d'évaluation à l'heure de fin souhaitée pour vos jobs. Vous pouvez cliquer sur Hour, Half Hour ou Deselect.
MaxCompute évalue ensuite si les ressources sont suffisantes et si les jobs seront retardés dans différents plans de configuration des ressources, en fonction des points d'estimation définis. Pour plus d'informations sur la logique, consultez Fonctionnement.
Exemples de configuration :
-
Si vous souhaitez que tous les jobs soient terminés avant 05:00 chaque jour, définissez le point d'estimation sur 05:00.
Tous les jobs soumis entre 05:00:00 la veille et 05:00:00 le jour actuel sont considérés comme un lot de jobs. Vous pouvez estimer la satisfaction des exigences et la latence des jobs de ce lot à 05:00:00 le jour actuel.
-
Si vous souhaitez que le premier lot de jobs soit terminé avant 02:00 et le deuxième avant 10:00 chaque jour, définissez deux points d'estimation, par exemple 02:00 et 10:00. Le système effectue alors les opérations suivantes :
Tous les jobs soumis entre 10:00:00 la veille et 02:00:00 le jour actuel sont considérés comme le premier lot de jobs. Vous pouvez estimer la satisfaction des exigences et la latence des jobs de ce lot à 02:00:00 le jour actuel.
Tous les jobs soumis entre 02:00:00 et 10:00:00 le jour actuel sont considérés comme le deuxième lot de jobs. Vous pouvez estimer la satisfaction des exigences et la latence des jobs de ce lot à 10:00:00 le jour actuel.
-
-
Dans la section Set Output Goal, définissez les heures de fin cibles pour vos jobs avec la configuration optimisée.
Par défaut, le point temporel de l'objectif d'optimisation correspond au point d'estimation. Vous pouvez également définir une heure antérieure au point d'estimation pour réserver du temps supplémentaire pour la sortie des jobs. Vous pouvez aussi définir une latence maximale acceptable des jobs pour permettre un certain retard dans la sortie des jobs afin de réduire les coûts des ressources.
-
Cliquez sur View Recommended Plan pour examiner les détails et les résultats attendus du plan recommandé.
Le résultat de l'optimisation est également présenté sous forme de simulation de consommation d'UC pour le plan recommandé. Les informations sont cohérentes avec le graphique d'évaluation du plan actuel, que vous pouvez utiliser pour comparaison.
ImportantLe plan recommandé est fourni à titre indicatif uniquement et ne garantit pas que l'objectif d'optimisation sera entièrement atteint. Nous vous recommandons de modifier progressivement la configuration selon vos besoins et de surveiller les résultats après le changement.
-
Dans la section Recommended Plan, téléchargez le plan recommandé.
Nous vous recommandons de télécharger le plan recommandé sous forme de fichier
.xlsx. Cela simplifie la tenue des registres et la comparaison de différents plans. Ensuite, en fonction de vos besoins métier, cliquez sur Configure pour appliquer les paramètres sur la page Quotas.
Étapes suivantes
-
Une fois qu'un plan d'optimisation est généré, vous pouvez évaluer le coût des ressources de calcul optimisées en fonction de la configuration des ressources de calcul fournie dans le plan.
Coût mensuel des ressources de calcul (prix catalogue) = Nombre d'UC achetées par abonnement × 22,0 USD par mois + Nombre d'UC réservées élastiques × Période de mise à l'échelle (heures) × 0,0488 USD par UC-heure × 30Pour plus d'informations sur la facturation des ressources par abonnement, consultez et Calcul des coûts (Paiement à l'utilisation). Le prix réel est sujet au prix affiché sur la page de soumission de la commande.
Évaluez le coût et l'heure de fin optimisée en fonction du coût et de l'objectif d'optimisation du plan. Achetez des ressources par abonnement en fonction du plan d'optimisation, modifiez progressivement la configuration et surveillez les résultats d'exécution des jobs après le changement.
Références
Meilleures pratiques pour l'utilisation de la fonctionnalité d'optimisation des ressources de calcul : Utiliser la fonctionnalité d'optimisation des coûts pour atteindre la rentabilité.
-
Pour plus d'informations sur l'optimisation des coûts MaxCompute, consultez les rubriques suivantes :