Exécuter des tests de charge JMeter natifs à l'aide de PTS - Performance Testing

Apache JMeter est un outil open source de test de charge qui prend en charge la paramétrisation, les assertions et les extensions pour divers protocoles et contrôleurs. Il vous permet d'écrire des scripts personnalisés pour implémenter une logique telle que le traitement des paramètres. PTS exécute vos scripts JMeter sur le moteur JMeter natif et ajoute une mise à l'échelle horizontale ainsi qu'une intégration avec Cloud Monitor pour les tests à forte concurrence et le diagnostic de surveillance. Cette rubrique décrit les cas d'utilisation des tests de charge JMeter natifs dans PTS, ainsi que la procédure de création d'un scénario JMeter, de démarrage d'un test de charge et d'exploitation du rapport de test.

Cas d'utilisation

Créez un scénario JMeter dans PTS dans les situations suivantes :

Forte concurrence — Vous avez besoin de tests de charge distribués avec un niveau élevé de concurrence.
Observabilité en temps réel — Vous souhaitez bénéficier d'une surveillance en temps réel à la seconde près pendant le test de charge, ainsi que d'un rapport généré automatiquement à l'issue du test.
Gestion centralisée — Vous devez gérer de manière centralisée les scripts JMeter et les dépendances de l'environnement JMeter.

Limites

Avant de créer un scénario JMeter, prenez connaissance des limites suivantes :

Fichiers de script JMX — La taille du fichier ne doit pas dépasser 2 Mo. Vous pouvez télécharger plusieurs fichiers de script JMX, mais un seul script JMX peut être utilisé pour un test de charge.
Fichiers JAR — La taille du fichier ne doit pas dépasser 10 Mo. Avant de télécharger un fichier JAR, déboguez-le dans votre environnement JMeter local pour vous assurer que le débogage est concluant.
Fichiers CSV — La taille du fichier ne doit pas dépasser 60 Mo. Si un fichier dépasse 60 Mo, utilisez la fonctionnalité source de données OSS pour l'importer.
Nombre de fichiers — Le nombre total de fichiers non JMX ne doit pas dépasser 20.

Étape 1 : Créer un scénario JMeter

Sur la page Create JMeter Scenario, saisissez un nom dans le champ Scenario.
Dans la section Scenario Settings, téléchargez le script de test de charge JMeter. Le nom du fichier ne doit pas contenir d'espaces et l'extension doit être jmx.

Une fois le fichier de test de charge JMX téléchargé, PTS complète automatiquement les plug-ins manquants.

Si vous téléchargez plusieurs fichiers JMX, sélectionnez-en un comme script JMeter à utiliser pour démarrer le scénario de test de charge.
Cliquez sur Upload File pour télécharger d'autres fichiers, tels que des fichiers de données au format CSV et des plug-ins au format JAR.
Important
Un fichier téléchargé portant le même nom écrase le fichier précédemment téléchargé. Pour comparer les fichiers, récupérez la valeur MD5 dans la colonne Actions du fichier et comparez-la à la valeur MD5 de votre fichier local afin de confirmer si le fichier a été modifié.

Remarque :
- Lors de la préparation d'un fichier CSV, ne modifiez pas directement l'extension d'un fichier XLSX. Exportez le fichier à l'aide d'un logiciel tel qu'Excel ou Numbers. Si le fichier est généré par un programme, vous pouvez utiliser Apache Commons CSV.
- Si un fichier de données est associé au script JMX, vous devez modifier le champ Filename dans CSV Data Set Config pour y indiquer uniquement le nom du fichier, sans inclure le chemin d'accès. Sinon, le fichier de données ne pourra pas être lu. De même, si vous utilisez la fonction __CSVRead ou si vous spécifiez des fichiers dans un fichier JAR, vous devez utiliser le nom du fichier.
(Facultatif) Sélectionnez l'option Split File pour un fichier CSV afin de garantir que les données du fichier ne soient pas dupliquées sur chaque générateur de charge. Si vous ne sélectionnez pas cette option, les mêmes données seront utilisées sur chaque générateur de charge.
Indiquez si vous souhaitez utiliser un environnement de dépendance.
- Si vous sélectionnez Yes, vous devez choisir un environnement créé dans la gestion des environnements.
- Si vous sélectionnez No, vous devez sélectionner une version de JMeter. Apache JMeter 5.0 et Java 11 sont pris en charge.
Configurez la charge pour le scénario.
(Facultatif) Ajoutez une surveillance des ressources cloud. En activant la surveillance, vous pouvez afficher rapidement les données de surveillance correspondantes pendant le processus de test de charge et dans le rapport de test. Cette fonctionnalité est désactivée par défaut. Pour la configurer, activez l'interrupteur.
(Facultatif) Ajoutez d'autres informations. Vous pouvez ici ajouter le propriétaire du test de charge et des remarques. Cette fonctionnalité est désactivée par défaut. Pour la configurer, activez l'interrupteur.
(Facultatif) Configurez les paramètres avancés. Les paramètres avancés incluent les paramètres de taux d'échantillonnage des journaux, la configuration DNS et les paramètres des composants d'adaptation distribuée. Les paramètres avancés sont désactivés par défaut. Pour les configurer, activez l'interrupteur.

Les onglets suivants décrivent les valeurs par défaut appliquées lorsque les paramètres avancés sont désactivés, ainsi que les éléments configurables lorsqu'ils sont activés.

Paramètres avancés désactivés

Les paramètres par défaut sont utilisés :

Le Sampling Log Sampling Rate est défini sur 1 et les frais sont calculés selon la formule (1+rate)*native VUM.
L'interrupteur Clear DNS Cache in Each Loop est désactivé et le résolveur DNS du système est utilisé.
Le Synchronous timer et le Constant Throughput Timer s'appliquent tous deux à un seul générateur.

Paramètres avancés activés

Paramètres de taux d'échantillonnage des journaux

Vous pouvez personnaliser le taux d'échantillonnage des journaux d'échantillonnage. Le taux d'échantillonnage par défaut est de 1 %. Pour réduire le taux d'échantillonnage, saisissez une valeur dans la plage (0,1]. Pour augmenter le taux d'échantillonnage, saisissez une valeur dans la plage (1,50] divisible par 10, par exemple 20.

Si vous spécifiez un taux d'échantillonnage supérieur à 1 %, des frais supplémentaires de rate% sont facturés. Par exemple, si le taux d'échantillonnage est de 20 %, des frais supplémentaires de 20%*VUM sont facturés.
Paramètres du cache DNS

Vous pouvez choisir de vider ou non le cache DNS pour chaque demande d'accès. Si vous devez vider le cache DNS, vous pouvez utiliser le résolveur DNS du système ou un résolveur DNS personnalisé. Un résolveur DNS personnalisé peut s'avérer nécessaire dans les scénarios suivants :
Paramètres des composants d'adaptation distribuée

Si le script que vous téléchargez contient des composants d'adaptation distribuée, tels que des minuteurs ou des contrôleurs, vous pouvez configurer l'adaptation distribuée pour plusieurs adresses IP de générateurs de charge. Cela vous aide à exécuter des tests de performance plus précis et plus efficaces. Sélectionnez Takes effect globally si la valeur configurée dans le script représente le seuil de l'ensemble du cluster de générateurs de charge. Sélectionnez Single Generator si la valeur configurée dans le script représente le seuil de chaque générateur de charge. Par défaut, les deux minuteurs s'appliquent à un seul générateur.
- Configurez le Synchronous timer. Si le script JMeter que vous téléchargez contient un minuteur, vous devez indiquer si la valeur configurée dans le script s'applique globalement ou s'applique à un Single Generator.
  
  Takes effect globally : la valeur configurée dans le script représente le seuil global du cluster. La valeur est répartie en seuils par générateur unique en fonction du nombre d'adresses IP utilisées. Autrement dit, le seuil d'un seul générateur de charge correspond à la valeur indiquée dans le script divisée par le nombre d'adresses IP. Si deux adresses IP de générateurs de charge sont utilisées au total et que le seuil agrégé configuré dans le script est de 1 000, le seuil d'un seul générateur de charge est de 500.
  
  Single Generator : la valeur configurée dans le script représente le seuil d'un seul générateur de charge et le contenu du script n'est pas remplacé. Dans ce cas, vérifiez si la concurrence correspond à la valeur configurée. Si deux adresses IP de générateurs de charge sont utilisées au total et que le seuil configuré dans le script est de 1 000, le seuil d'un seul générateur de charge est de 1 000 et le seuil de l'ensemble du cluster de générateurs de charge est de 2 000.
- Configurez le Constant Throughput Timer. Si le script JMeter que vous téléchargez contient un contrôleur, vous devez indiquer si la valeur configurée dans le script s'applique globalement ou s'applique à un Single Generator.
  
  Takes effect globally : la valeur configurée dans le script représente le seuil global du cluster. La valeur est répartie en valeurs de débit cible par générateur unique en fonction du nombre d'adresses IP de générateurs de charge utilisées. Autrement dit, le seuil d'un seul générateur de charge correspond à la valeur indiquée dans le script divisée par le nombre d'adresses IP. Si deux adresses IP de générateurs de charge sont utilisées, la concurrence est de 100, le script ne contient qu'un seul groupe de threads, son débit cible est de 100 par minute et le mode de calcul est le thread actuel, le débit cible total du scénario par minute est de 2 × (100 utilisateurs simultanés/2) × (100/2) = 5 000.
  
  Single Generator : la valeur configurée dans le script représente la valeur cible d'un seul générateur de charge et le contenu du script n'est pas remplacé. Vérifiez si le niveau de concurrence correspond à la valeur configurée. Si deux adresses IP de générateurs de charge sont utilisées, la concurrence est de 100, le script ne contient qu'un seul groupe de threads, son débit cible est de 100 par minute et le mode de calcul est le thread actuel, le débit cible total du scénario par minute est de 2 × (100 utilisateurs simultanés/2) × 100 = 10 000.

Étape 2 : Démarrer le test de charge

Cliquez sur Debug pour accéder à la page de débogage du scénario et vérifier si la configuration est valide. Le débogage d'un scénario permet de détecter au préalable des problèmes tels que la connectivité réseau, l'intégrité des plug-ins et l'exactitude de la configuration du script, ce qui évite l'échec du démarrage du test de charge. Pour plus d'instructions, consultez la rubrique Déboguer un scénario.
Cliquez sur Save and Start. Sur la page Note, sélectionnez Execute Now et cochez la case The test is permitted and complies with the applicable laws and regulations., puis cliquez sur Start Test.

Surveiller un test de charge en cours d'exécution

Pendant le processus de test de charge, vous pouvez surveiller les données de test du scénario JMeter et effectuer des opérations telles que la régulation de la vitesse du scénario.

Data

Le tableau suivant décrit les données affichées par PTS pendant le test de charge.

Informations sur les données

Description

Real-time VUM

Le nombre total de ressources consommées par ce test de charge, exprimé en VUM (Virtual User Minutes).

Request success rate (%)

Le taux de réussite des demandes pour tous les scénarios durant la période statistique de tous les générateurs de charge.

Average RT (success/failure)

Success RT Avg (ms) : le temps de réponse moyen de toutes les demandes réussies. Failure RT Avg (ms) : le temps de réponse moyen de toutes les demandes échouées.

Transactions Per Second (TPS)

Le nombre total de demandes durant la période statistique de tous les générateurs de charge, divisé par le temps en secondes (s).

Anomalies

Le nombre de demandes anormales. Les causes courantes incluent les délais d'expiration de connexion et les délais d'expiration de demande.

Traffic (Request/Response)/Seconds

Le trafic des demandes envoyées et le trafic des réponses reçues par le générateur de charge.

Concurrency (current/maximum)

La valeur de concurrence de la charge. Si la régulation de la vitesse du scénario est configurée pendant le test de charge, la valeur de concurrence actuelle et la valeur de concurrence maximale configurée sont affichées séparément. Pendant la phase de montée en charge, la concurrence configurée n'est pas atteinte. Une fois la montée en charge terminée, la concurrence correspond à la valeur configurée. Pour ajuster la concurrence du scénario pendant le test de charge, cliquez sur Speed Regulation et saisissez le nombre de connexions simultanées requis.

Total requests

Le nombre total de demandes envoyées par l'ensemble du scénario pendant le processus de test de charge.

Remarque

Les données de surveillance sont basées sur un calcul d'agrégation simple du Backend Listener. La période d'échantillonnage statistique du générateur de charge est de 15 s et la période d'agrégation et de calcul des données est également de 15 s. Par conséquent, une latence des données peut se produire.

Configuration Information

La page d'informations de configuration répertorie les informations de base de la configuration du scénario, notamment la source de charge, la durée configurée, le modèle de trafic et le nombre d'adresses IP spécifiées.

Informations sur le test de charge

Dans l'onglet Testing Details, cliquez sur View Chart à droite d'une trace unique pour afficher ses données en temps réel, telles que le TPS, le taux de réussite, le temps de réponse et le trafic.
Cliquez sur l'onglet Load Generator Performance pour afficher des informations telles que l'utilisation du processeur, Load5, l'utilisation de la mémoire et les courbes chronologiques du trafic réseau de tous les générateurs de charge pendant le processus de test de charge. Vous pouvez également filtrer les informations de performance d'un générateur de charge spécifique.
Si vous avez ajouté une surveillance ECS, SLB, RDS ou ARMS, vous pouvez cliquer sur l'onglet Cloud Resource Monitoring pour afficher les informations de surveillance associées.

Détails des journaux d'échantillonnage

Sélectionnez l'onglet Sampling Logs.
Filtrez les journaux selon des conditions telles que l'échantillonneur de test de charge, l'état de la réponse et la plage de temps de réponse (RT).
Cliquez sur Click to view details dans la colonne Actions du journal correspondant.
Dans la boîte de dialogue Log Details, affichez les champs du journal et leurs valeurs dans l'onglet General. Dans le coin supérieur droit de la boîte de dialogue, changez le format d'affichage pour passer au style General ou au protocole HTTP.
Si l'option Embedded Resources from HTML Files est configurée dans le script JMeter, l'onglet Sub-request Details apparaît dans les détails du journal. En sélectionnant une sous-demande spécifique, vous pouvez filtrer les journaux de demande correspondants.

Les détails du journal fournissent également les onglets suivants :

L'onglet Timing Waterfall affiche le temps consommé par la demande totale et par chaque sous-demande.
L'onglet Trace View affiche les détails de la chaîne d'appels en amont et en aval de l'endpoint soumis au test de charge.

Étape 3 : Consulter le rapport de test de charge

Une fois le test de charge arrêté, PTS collecte automatiquement les données générées pendant le processus de test pour former un rapport de test de charge. Le rapport présente les données dynamiques globales du scénario de test de charge JMeter ainsi que les détails de chaque demande.

Sur la page Reports, sélectionnez le type de scénario JMeter. Dans la colonne Actions du rapport cible, cliquez sur View Report.

Remarque

Dans un graphique de tendance, la période d'échantillonnage statistique de chaque point de données est de 15 s. Une latence des données peut se produire lors de la phase initiale du rapport de données final.

(Facultatif) Étape 4 : Exporter le rapport de test de charge

Les données du rapport de test de charge sont conservées pendant 30 jours. Si vous devez conserver un rapport pendant une période plus longue, exportez le rapport de test de charge actuel vers votre machine locale.

Sur la page Report Details, cliquez sur Export Report.
Sélectionnez Version with Watermark ou Version without Watermark pour télécharger le rapport de test de charge au format PDF sur votre machine locale.