Elastic Compute Service:Monitor and diagnose eRDMA

Bir diagnose kontrolünün olası sonuçları

• PASS: Kontrol başarılı oldu.

• SKIP: Mevcut sistem sürümü bu kontrolü desteklemiyor.

• FAIL: Kontrol aracı yüklü değil veya kontrol başarısız oldu. Başarısız olan komut fail info içinde listelenir.

• Diğer INFO mesajları: eRDMA yapılandırma ayrıntıları (kurulum modu, sürücü sürümü ve CC algoritması gibi).

diagnose'u yükleme

eRDMA yapılandırılmış bir örnekte diagnose aracını indirin:

• Dahili bir URL'den indirme

  wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

• Genel bir URL'den indirme

  wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

[root@xxx                ~]# python diagnose.py -h
usage: diagnose.py [-h] [-d] [-D DIAGNOSES [DIAGNOSES ...]] [--debug]
                   [-H HOSTS [HOSTS ...]] [-p] [-P PERFTESTS [PERFTESTS ...]]
                   [-k KEY_FILE] [-s MESSAGE_SIZE] [-u USER] [-i ITERATIONS]
                   [--hpc-check] [--hpc-checks HPC_CHECKS [HPC_CHECKS ...]]

optional arguments:
  -h, --help            show this help message and exit
  -d, --diagnose        run all erdma basic diagnoses
  -D DIAGNOSES [DIAGNOSES ...], --diagnoses DIAGNOSES [DIAGNOSES ...]
                        list all basic diagnoses you want to run, separated by
                        space. Choices are: erdma device erdma installed erdma
                        loaded ibverbs loaded erdma tools hca detected hca
                        active erdma stats network config erdma dmesg atomic
                        support go-back-n support erdma install mode kernel
                        driver version rdma-core version cc algorithm
  --debug               print more detailed debug information
  -H HOSTS [HOSTS ...], --hosts HOSTS [HOSTS ...]
                        host list to run perftest, separated by space
  -p, --perftest        run all performance tests
  -P PERFTESTS [PERFTESTS ...], --perftests PERFTESTS [PERFTESTS ...]
                        list all perftests you want to run, separated by
                        space. Choices are: send_lat read_lat write_lat
  -k KEY_FILE, --key-file KEY_FILE
                        private key file path
  -s MESSAGE_SIZE, --message-size MESSAGE_SIZE
                        message size for perftest
  -u USER, --user USER  username for ssh connection
  -i ITERATIONS, --iterations ITERATIONS
                        iterations for perftest
  --hpc-check           check erdma related hpc configuration
  --hpc-checks HPC_CHECKS [HPC_CHECKS ...]
                        list all hpc diagnoses you want to run, separated by
                        space. Choices are: cc algorithm go-back-n support
                        delay-ack disable port dapl1 dapl2

Temel eRDMA işlevlerini tanılama

Temel işlev testi, sürücü kurulumunu, ağ bağlantısını ve eRDMA çekirdek sürücüsünün kurulum modunu doğrular.

Yöntem:

1. eRDMA yapılandırılmış örneğe giriş yapın.

   Bkz. Workbench kullanarak bir Linux örneğine bağlanma.

2. Diagnose aracını indirin.

   • Dahili bir URL'den indirme

     wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

   • Genel bir URL'den indirme

     wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

3. eRDMA'nın temel işlevlerini kontrol edin:

   python diagnose.py -d

   Aşağıda örnek bir çıktı verilmiştir. Tanılama öğelerinin açıklamaları için bkz. eRDMA temel işlev tanılama öğeleri.

   [root@jxxx            ~]# python diagnose.py -d
   [INFO] Begin to run erdma basic diagnoses. It's better to ensure that erdma driver and related tools, e.g. eadm, ibv_devinfo, rdma, have been installed.
   [INFO] The diagnose results mean:
   [INFO] PASS: pass the test or meet the requirement.
   [INFO] SKIP: encounter some problems when running the diagnose.
   [INFO] FAIL: test failed or requirements are not met.
   [INFO] XXXX: the erdma-related information, e.g. erdma driver version, cc algorithm.
           Name                Result                          Desc                                                    fail info
   ------------------------------------------------------------------------------------------------------------------------------
        erdma device           PASS        erdma pci device is present
      erdma installed          PASS        erdma module has been installed
        erdma loaded           PASS        erdma module has been loaded
       ibverbs loaded          PASS        ib_uverbs module has been loaded
         erdma tools           PASS        eadm|rdma|ibv_devinfo tools have been installed
        hca detected           PASS        IB device exist
         hca active            PASS        status is PORT_ACTIVE
         erdma stats           PASS        no failed counter
       network config          PASS        network configuration seems ok
         erdma dmesg           PASS        no concerning error logs detected
       atomic support          PASS        atomic capacity support
     go-back-n support         FAIL        Go-back-N capacity support                    CHCK FAILED [eadm info -t ext_attr -d erdma_0 | grep -w attr_mask | awk '{print $2}']
     erdma install mode      Standard      erdma installation mode
   kernel driver version      0.2.37       erdma kernel driver version
     rdma-core version        44.1-2       rdma-core version
        cc algorithm          hpcc_rtt     current cc algorithm

eRDMA HPC ortamını tanılama

eRDMA ortamındaki HPC uygulamaları ek bağımlılıklar ve yapılandırmalar gerektirebilir. Diagnose aracı bu bağımlılıkları kontrol eder.

Yöntem:

1. eRDMA yapılandırılmış örneğe giriş yapın.

   Bkz. Workbench kullanarak bir Linux örneğine bağlanma.

2. Diagnose aracını indirin.

   • Dahili bir URL'den indirme

     wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

   • Genel bir URL'den indirme

     wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

3. HPC ortamı bağımlılıklarını kontrol edin:

   python diagnose.py --hpc-check

   Örnek çıktı. Tanılama öğelerinin açıklamaları için bkz. eRDMA HPC ortamı bağımlılık kontrolleri.

   ecs-user@xxx ~$ python diagnose.py --hpc-check
   [INFO] Begin to run hpc related diagnoses for erdma. If the missing dependencies are not required, please ignore them.
   [INFO] The diagnose results mean:
   [INFO] PASS: pass the test or meet the requirement.
   [INFO] SKIP: encounter some problems when running the diagnose.
   [INFO] FAIL: test failed or requirements are not met.
   [INFO] XXXX: the erdma-related information, e.g. erdma driver version, cc algorithm.
           Name                Result              Desc                                          fail info
   ----------------------------  -------------------  -------------------------------------------------------  -------------------
       cc algorithm              cubic               current cc algorithm
     go-back-n support           PASS                Go-back-N capacity support
       dapl1 install             FAIL                dapl1 installation check                     CHCK FAILED [ls /etc/rdma/compat-dapl/dat.conf && ls /usr/lib64/libdaplcma.so.1.0.2]
       dapl2 install             PASS                dapl2 installation check
       dapl2 config              PASS                dapl2 erdma configuration check
       dapl2 test                PASS                dapl2 dtest result

eRDMA ağ performansını değerlendirme

Örnekler arasındaki ağ performansını test etmek için diagnose aracındaki perftest özelliğini kullanın.

• Ön koşullar

  Testi çalıştırmadan önce:

  • Tüm test düğümlerinde eRDMA yüklü ve dağıtılmış durumdadır. Bkz. Bir ECS örneği için eRDMA'yı etkinleştirme.

  • Tüm test düğümleri arasında parolasız SSH yapılandırılmıştır. Bkz. Parolasız SSH oturum açmayı yapılandırma.

  • Tüm test düğümlerinde Python paramiko yüklüdür.

    Not

    • Diagnose aracı uzak bağlantılar için paramiko kullanır.

    • Paramiko'yu aşağıdaki komutlarla yükleyin. Python 3 önerilir.

    Alibaba Cloud Linux/CentOS

    # python3
    sudo python3 -m pip install --upgrade pip
    sudo python3 -m pip install paramiko 
    # python2
    # If the pip module is not installed for Python 2, install python2-pip.
    sudo yum -y install python2-pip
    sudo python2 -m pip install --upgrade pip==20.3.4
    sudo python2 -m pip install paramiko 

    Ubuntu

    # python3
    sudo python3 -m pip install --upgrade pip
    sudo python3 -m pip install paramiko
    # python2
    # If python2-pip is not installed on the current node, install it.
    sudo apt install software-properties-common
    sudo add-apt-repository universe
    sudo apt update
    sudo apt install python2
    sudo curl https://bootstrap.pypa.io/pip/2.7/get-pip.py --output get-pip.py
    sudo python2 get-pip.py
    sudo python2 -m pip install --upgrade pip==20.3.4
    sudo python2 -m pip install paramiko

• Yöntem

  1. eRDMA yapılandırılmış örneğe giriş yapın.

     Bkz. Workbench kullanarak bir Linux örneğine bağlanma.

  2. Diagnose aracını indirin.

     • Dahili bir URL'den indirme

       wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

     • Genel bir URL'den indirme

       wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

  3. eRDMA gecikme süresini test edin:

     python diagnose.py --perftest --hosts <n1> <n2> --user <username> --key-file </path/to/private_key>

     Parametreler:

     • --hosts <n1> <n2>: Test düğümleri, boşlukla ayrılmıştır. <n1> <n2> değerini her düğümdeki eRDMA etkinleştirilmiş ENI'nin özel IP adresiyle değiştirin.

     • --user <username>: Parolasız SSH için kullanıcı adı.

     • --key-file </path/to/private_key>: SSH için özel anahtar dosyasının mutlak yolu.

     İki örnekli gecikme süresi testi için örnek çıktı. Bkz. eRDMA ağ performansı testleri.

     Her tablo farklı işlemler için gecikme süresini gösterir. Satırlar istekte bulunanları, sütunlar yanıt verenleri temsil eder. Hücre değerleri mikrosaniye cinsinden ortalama gecikme süresini (parantez içinde 99,9. yüzdelik dilim) gösterir.

     [ecs-xxx                ~]$ python diagnose.py --perftest --hosts 172.17.0.87 172.17.0.86 --user ecs-user --key-file /home/ecs-user/.ssh/id_rsa
     /usr/local/lib/python3.6/site-packages/paramiko/transport.py:32: CryptographyDeprecationWarning: Python 3.6 is no longer supported by the Python core team.
     or Python 3.6.
       from cryptography.hazmat.backends import default_backend
     INFO:paramiko.transport:Connected (version 2.0, client OpenSSH_8.0)
     INFO:paramiko.transport:Authentication (publickey) successful!
     INFO:paramiko.transport:Connected (version 2.0, client OpenSSH_8.0)
     INFO:paramiko.transport:Authentication (publickey) successful!
     [INFO] Begin to run perftest, the results will be shown in table.
     [INFO] In each table, the line represents client while the column represents server.
     [INFO] Each table cell shows the average latency and p999 latency(in the bracket).
     [INFO] Current perftest configuration:
     [INFO] tests: send_lat read_lat write_lat message_size: 2 iterations: 10000
     ----------------------------------------------------------------------
     |            ib_send_lat latency table(us)                           |
     ----------------------------------------------------------------------
     |               |    172.17.0.87    |    172.17.0.86                 |
     ----------------------------------------------------------------------
     |  172.17.0.87  |   14.60(87.53)    |   14.29(25.25)                 |
     ----------------------------------------------------------------------
     |  172.17.0.86  |   14.35(51.63)    |    8.31(21.09)                 |
     ----------------------------------------------------------------------
     
     ----------------------------------------------------------------------
     |            ib_read_lat latency table(us)                           |
     ----------------------------------------------------------------------
     |               |    172.17.0.87    |    172.17.0.86                 |
     ----------------------------------------------------------------------
     |  172.17.0.87  |   24.28(51.43)    |   27.57(57.42)                 |
     ----------------------------------------------------------------------
     |  172.17.0.86  |   27.43(41.14)    |   13.88(49.83)                 |
     ----------------------------------------------------------------------
     
     ----------------------------------------------------------------------
     |            ib_write_lat latency table(us)                          |
     ----------------------------------------------------------------------
     |               |    172.17.0.87    |    172.17.0.86                 |
     ----------------------------------------------------------------------
     |  172.17.0.87  |  183.71(25003.59) |   12.76(27.00)                 |
     ----------------------------------------------------------------------
     |  172.17.0.86  |   12.80(26.05)    |    6.41(13.75)                 |
     ----------------------------------------------------------------------