Rapporter des métriques de surveillance personnalisées - Platform For AI

Définissez des métriques de surveillance personnalisées selon votre logique métier et utilisez-les pour la mise à l'échelle automatique. Par exemple, mettez à l'échelle un service en fonction du nombre de points de données invalides reçus par seconde. EAS fournit une API de rapport de métriques en temps réel ainsi qu'un pipeline complet pour la collecte, le stockage, la visualisation et la mise à l'échelle automatique des données. Ajoutez simplement à votre code la logique permettant de rapporter périodiquement des métriques personnalisées et déclarez-les lors du déploiement du service. Après le déploiement, EAS reçoit les données de métriques personnalisées du service via ce pipeline et les affiche sur la page Service Monitoring.

Limitations

Seuls les QPS et l'utilisation du CPU sont pris en charge en tant que métriques intégrées pour la mise à l'échelle automatique.
Le champ metrics est pris en charge uniquement lorsque vous déployez un service à l'aide d'une image personnalisée ou d'un processeur personnalisé.

Étape 1 : Configurer une API pour rapporter des métriques

Avant de déployer un service, préparez une image personnalisée ou un processeur personnalisé. Dans votre code, configurez vos métriques personnalisées et l'API permettant de les rapporter périodiquement. Pour plus d'informations, consultez les rubriques Images personnalisées ou Processeurs personnalisés.

Par exemple, le point de terminaison pour la requête POST implémentée dans votre code est http://localhost:8080/api/builtin/realtime_metrics, et le corps de la requête se présente comme suit :

[
    {
        "name": "qps",
        "tags": {
            "status": "200"
        },
        "value": 20
    },
    {
        "name": "qps",
        "tags": {
            "status": "400"
        },
        "value": 13
    }
]

L'exemple ci-dessus rapporte une métrique nommée qps. Le QPS moyen pour le code d'état 200 est de 20, et le QPS moyen pour le code d'état 400 est de 13. Dans les scénarios simples où vous n'avez pas besoin de catégoriser ou de subdiviser les métriques à l'aide de tags, vous pouvez omettre le champ tags :

[
    {
        "name": "qps",
        "value": 20
    }
]

Écrivez du code pour appeler périodiquement cette API et rapporter vos métriques personnalisées.

Étape 2 : Déployer le service

Après avoir défini vos métriques personnalisées, déclarez-les dans le champ metrics du fichier de configuration du service lors du déploiement. Le framework EAS utilise cette déclaration pour initialiser le service et construire le tableau de bord de surveillance. La procédure est décrite ci-dessous :

Préparez le fichier JSON de configuration du service.

Ajoutez un champ metrics au fichier pour déclarer le nom de la métrique, son type et d'autres informations. L'exemple suivant montre un fichier JSON pour le déploiement d'un service à l'aide d'une image personnalisée :

{
  "name": "metrics_test",
  "containers": [
    {
      "image": "registry-vpc.cn-chengdu.aliyuncs.com/eas/eas-image-****:metrics",
      "command": "python3 -u /image.py",
      "port": 5000
    }
  ],
  "metrics": [
    {
      "name": "qps",
      "tags": "status"
    }
  ],
  "metadata": {
    "instance": 1,
    "cpu": 2,
    "memory":1000
  }
}

Le paramètre image est défini sur l'image personnalisée que vous avez préparée. Le tableau suivant décrit les champs du champ metrics. Pour plus d'informations sur les autres paramètres, consultez la rubrique Déploiement JSON.

Paramètre

Obligatoire

Description

name

Oui

Nom de la métrique personnalisée rapportée par votre service.

EAS crée un tableau de bord de surveillance sur la page Service Monitoring en fonction de ce nom.
Ce nom est utilisé pour spécifier la métrique de référence lors de la configuration de la mise à l'échelle automatique.

tags

Non

Nom du tag associé à la métrique. Vous pouvez utiliser des tags pour créer des subdivisions d'une métrique. Par exemple, vous pouvez catégoriser la métrique qps par code d'état.

Cette configuration déploie un service basé sur une image Docker, ce qui vous permet de construire votre logique métier avec une image personnalisée. Le champ metrics déclare une métrique nommée qps et un tag nommé status. Le tag vous permet de catégoriser les données pour une même métrique. Par exemple, vous pouvez utiliser le tag status pour enregistrer le nombre de requêtes pour différents codes d'état, tels que status=200 et status=400.

Déployez le service de modèle à l'aide du fichier de configuration.
1. Accédez à la page de déploiement du service. Pour plus d'informations, consultez la rubrique Déploiement personnalisé.
2. Dans la section Configuration Editor, cliquez sur JSON Deployment et collez le contenu de votre fichier JSON préparé dans l'éditeur.
3. Cliquez sur Deploy.

Étape 3 : Consulter les métriques

Une fois le service déployé, il rapporte périodiquement les données de métriques personnalisées selon la logique de votre code. Le framework EAS fournit une API locale pour recevoir ces données.

EAS utilise ces données en temps réel pour la mise à l'échelle automatique.
Dans le pipeline de données, les informations ne s'affichent pas en temps réel. Le pipeline agrège les données, ce qui entraîne une granularité à la minute sur la page de surveillance.

Les étapes suivantes décrivent comment consulter la métrique personnalisée qps :

Sur la page EAS-Online Model Services, cliquez sur le nom d'un service pour ouvrir la page Service Details.
Cliquez sur l'onglet Service Monitoring. Dans le coin supérieur gauche de la page, sélectionnez le panneau personnalisé.

Ce panneau affiche les données de surveillance de votre métrique personnalisée en deux parties :
- Les données moyennes de la métrique pour toutes les instances du service.
- Les données de la métrique pour chaque instance individuelle du service.

Étape 4 : Configurer la mise à l'échelle automatique

Activez la mise à l'échelle automatique pour le service en fonction de métriques personnalisées. La procédure est identique à celle des métriques intégrées. Pour plus d'informations, consultez la rubrique mise à l'échelle automatique horizontale.

Les exemples suivants montrent comment configurer la mise à l'échelle automatique en fonction de la métrique personnalisée qps :

Utilisez eascmd pour activer la mise à l'échelle automatique. Pour plus d'informations sur les opérations et les paramètres, consultez la rubrique mise à l'échelle automatique horizontale.
- Si la métrique personnalisée ne nécessite pas de tag :
```
eascmd autoscale service_name -Dmin=1 -Dmax=10 -Dstrategies.custom[qps]=3
```
  Cette configuration augmente le nombre d'instances du service lorsque la métrique moyenne qps dépasse 3, et le réduit lorsque la valeur tombe en dessous de 3.
- Si la métrique personnalisée doit être spécifiée au niveau du tag :
```
eascmd autoscale service_name -Dmin=1 -Dmax=10 -Dstrategies.custom[qps]@status[200]=3
```
  Cette configuration augmente le nombre d'instances du service lorsque la métrique moyenne qps pour la série où status est 200 dépasse 3, et le réduit lorsque la valeur tombe en dessous de 3.
Utilisez la console pour activer la mise à l'échelle automatique. Pour plus d'informations sur les opérations et les paramètres, consultez la rubrique mise à l'échelle automatique horizontale.
- Si une métrique personnalisée configurée n'a pas besoin de rapporter des tags, définissez le nom de la variable sur custom[qps] et la valeur de la variable sur 3 dans la section Custom Scaling Metric de la boîte de dialogue Auto Scaling Settings. Dans la boîte de dialogue Auto Scaling Settings, définissez Minimum Instances sur 1 et Maximum Instances sur 10. Dans la zone Custom Scaling Metric, définissez le nom de la variable sur custom[qps] et la valeur de la variable sur 3, puis cliquez sur Enable.
- Si la métrique personnalisée doit être spécifiée au niveau du tag, dans la boîte de dialogue Auto Scaling Settings, sous Custom Scaling Metric, définissez le nom de la variable sur custom[qps]@status[200] et sa valeur sur 3.