Elastic Compute Service:Enable eRDMA on enterprise-level instances

Préparez deux instances de niveau entreprise avec eRDMA configuré. Cela signifie que chaque instance doit avoir la pile logicielle eRDMA installée et la fonctionnalité ERI activée pour son ENI. Une instance sert de serveur et l'autre de client.

Assurez-vous que les deux instances peuvent communiquer entre elles via le réseau interne. Pour plus d'informations, consultez Activer la communication interne entre les instances ECS.

Connectez-vous à distance à chacune des deux instances.

Pour plus d'informations, consultez Se connecter à une instance Linux à l'aide de Workbench.

Vérifiez que eRDMA est correctement configuré sur les deux instances.

Pour plus d'informations, consultez Vérifier la configuration eRDMA.

Sur chaque instance, exécutez les commandes suivantes pour installer l'outil perftest.

Installez perftest depuis le dépôt officiel (nécessite une adresse IP publique) ou depuis un dépôt YUM/APT.

Testez la latence du réseau eRDMA.

1. Sur l'instance serveur, exécutez la commande suivante pour démarrer ib_write_lat en tant que serveur qui écoute les connexions du client.

   ib_write_lat -R -a -F

   • -R : utilise le Gestionnaire de connexions RDMA (RDMA_CM) pour établir une connexion.

     Important

     • Pour les types d'instance basés sur CPU prenant en charge eRDMA, le pilote noyau eRDMA est installé en mode Standard par défaut, qui prend en charge uniquement la méthode d'établissement de connexion RDMA_CM. Pour plus d'informations, consultez la section Méthode d'établissement de connexion.

     • Par défaut, perftest utilise une connexion hors bande (OOB). Lorsque vous exécutez un test perftest sur une instance basée sur CPU, vous pouvez utiliser le paramètre -R à la fois sur le serveur et sur le client pour spécifier la méthode d'établissement de connexion RDMA_CM. Sinon, la connexion peut échouer.

     • Vous pouvez également utiliser la ligne de commande pour rendre compatibles les méthodes d'établissement de connexion RDMA_CM et OOB. Pour plus d'informations, consultez la section Modifier le mode d'établissement de connexion d'eRDMA et bRPC pour assurer la compatibilité. Après avoir activé la compatibilité, le paramètre -R n'est plus requis.

   • -a : exécute des tests pour toutes les tailles de message de 2 octets à 2^23 octets. Cela vous permet de tester l'impact de différentes tailles de message sur la latence.

   • -F : Force l'écrasement de toutes les connexions existantes. Cela signifie que si une connexion a déjà été établie, l'utilisation de l'option -F ignore ces connexions et force l'établissement d'une nouvelle connexion.

2. Sur l'instance client, exécutez la commande suivante pour démarrer ib_write_lat et vous connecter au serveur.

   ib_write_lat -R -a -F <server_ip>

   Remplacez <server_ip> par l'adresse IP privée de l'ENI activée pour eRDMA du serveur. Pour obtenir l'adresse IP, consultez la section Afficher les adresses IP.

3. Consultez les résultats du test.

   Une fois le test terminé sur le client, ib_write_lat affiche les informations de configuration du test, les informations de connexion et les résultats du test de performance, y compris les statistiques de latence telles que la latence minimale, maximale et moyenne.

   [root@xxx              ~]# ib_write_lat -R -a -F 172.17.0.131
    RDMA_Write Latency Test
    Dual-port       : OFF		Device           : erdma_0
    Number of qps   : 1		Transport type   : IW
    Connection type  : RC		Using SRQ        : OFF
    PCIe relax order: OFF
    ibv_wr* API     : OFF
    TX depth         : 1
    Mtu              : 1024[B]
    Link type        : Ethernet
    GID index        : 0
    Max inline data  : 96[B]
    rdma_cm QPs      : ON
    Data ex. method  : rdma_cm
    local address: LID 0000 QPN 0x000b PSN 0xaf51c5
    GID: 00:22:62:22:161:180:00:00:00:00:00:00:00:00:00:00
    remote address: LID 0000 QPN 0x000a PSN 0x347ff0
    GID: 00:22:62:09:142:189:00:00:00:00:00:00:00:00:00:00
    #bytes #iterations    t_min[usec]    t_max[usec]  t_typical[usec]    t_avg[usec]    t_stdev[usec]   99% percentile[usec]   99.9% percentile[usec]
      2       1000          12.26          16.79          12.59            12.65            0.19              14.32                    16.79
      4       1000          12.10          18.10          12.54            12.60            0.24              14.57                    18.10
      8       1000          12.04          18.75          12.42            12.48            0.31              14.09                    18.75
     16       1000          12.45          14.77          12.77            12.81            0.11              14.10                    14.77
     32       1000          12.28          15.55          12.75            12.81            0.21              14.67                    15.55
     64       1000          12.41          16.10          12.79            12.84            0.16              14.31                    16.10
    128       1000          12.86          16.22          13.19            13.21            0.15              14.78                    16.22
    256       1000          13.11          20.85          13.53            13.64            0.35              15.43                    20.85
    512       1000          13.09          16.54          13.44            13.47            0.17              15.16                    16.54

   Description des champs de résultat du test ib_write_lat

   • #bytes : La taille de la charge utile du message utilisée dans le test, en octets. La taille varie de 2 octets à 8 388 608 octets. Différentes tailles de message vous aident à comprendre les performances sous différentes charges.

   • #iterations : Le nombre de répétitions du test pour chaque taille de message. Un nombre d'itérations plus élevé fournit des moyennes et des statistiques plus stables.

   • t_min[usec] : La latence minimale enregistrée sur toutes les mesures, en microsecondes. Cette valeur fournit une référence pour la meilleure latence réseau possible.

   • t_max[usec] : La latence maximale enregistrée sur toutes les mesures, en microsecondes. Une latence maximale élevée peut indiquer des problèmes réseau ou une congestion transitoire.

   • t_typical[usec] : La latence typique observée pendant le test, en microsecondes. Il s'agit généralement de la médiane de toutes les valeurs mesurées.

   • t_avg[usec] : La latence moyenne de toutes les mesures, en microsecondes. Cette valeur donne une vue d'ensemble de la latence réseau.

   • t_stdev[usec] : L'écart-type des valeurs de latence, en microsecondes. Cette valeur indique le degré de variation de la latence. Un écart-type plus faible indique une latence plus stable, tandis qu'un écart-type plus élevé indique des fluctuations plus importantes.

   • 99% percentile[usec] : Le 99e percentile de la latence, en microsecondes. Cela indique que 99 % des valeurs mesurées sont inférieures à cette valeur. Ce point de données vous aide à comprendre les performances de latence dans les cas limites.

   • 99.9% percentile[usec] : Le 99,9e percentile de la latence, en microsecondes. Cela indique que 99,9 % des valeurs mesurées sont inférieures à cette valeur. Ce point de données vous aide à comprendre les performances de latence dans les cas extrêmes.

   L'analyse de ces métriques vous aide à comprendre les performances de votre réseau RDMA pour l'optimisation et le dépannage. Par exemple, une augmentation soudaine de la latence à une taille de message spécifique peut indiquer que vous devez vérifier la configuration de votre réseau ou les performances matérielles. Des fluctuations de latence importantes peuvent nécessiter une enquête sur la congestion ou l'instabilité du réseau.