Elastic Compute Service:インスタンスのネットワークパフォーマンスのテスト

6,000,000 pps 未満のパケット転送レート

1. テストマシンと補助テストマシンに接続します。詳細については、「ワークベンチを使用して Linux インスタンスにログオン」をご参照ください。

2. 両方のマシンで、Netperf インストールパッケージをダウンロードします：

   wget https://benchmark-packages.oss-cn-qingdao.aliyuncs.com/netperf-2.7.0.tar.gz

3. 両方のマシンに Netperf と sar をインストールします。

   1. Netperf の依存関係をインストールし、インストールパッケージを解凍します：

      sudo yum install -y gcc autoconf automake libtool sysstat
      tar -zxvf netperf-2.7.0.tar.gz

   2. GNU Compiler Collection (GCC) のバージョン番号を確認します。

      gcc -v 2>&1

   3. どちらかのマシンで GCC が V10 より新しい場合は、GCC が正しくコンパイルされるように、次の操作を実行します。それ以外の場合は、この手順をスキップしてください。

      1. nettest_omni.c ファイルを開きます。

         cd netperf
         vim src/nettest_omni.c

      2. i キーを押して挿入モードに入り、nettest_omni.c から次の宣言済み変数を削除します：

         /* ソケットの各種オプション */
         
         int
           loc_nodelay,    /* ローカル：NODELAY を使用するか */
           rem_nodelay,    /* リモート：NODELAY を使用するか */
           loc_sndavoid,    /* ローカル：送信コピーを回避するか */
           loc_rcvavoid,    /* ローカル：受信コピーを回避するか */
           rem_sndavoid,    /* リモート：送信コピーを回避するか */
           rem_rcvavoid;   /* リモート：受信コピーを回避するか */

      3. Esc キーを押し、:wq と入力して Enter キーを押し、ファイルを保存して閉じます。

   4. Netperf と sar をインストールします。

      cd netperf
      sudo ./configure
      sudo make && sudo make install

4. テストマシンで、64 個の netserver サービスを開始します：

   #!/bin/bash
   for j in `seq 64`; do
       netserver -p $[16000+j] > server_$[16000+j].netperf > /dev/null 2>&1  &
   done

5. テストマシンのプライベート IP アドレスを確認します：

   ifconfig || ip addr

   

6. 補助テストマシンで、テストマシンにトラフィックを送信します：

   #!/bin/bash
   server_ip=<テストマシンのプライベート IP アドレス>
   for j in `seq 64`; do
       port=$[16000+j]
       netperf -H ${server_ip} -l ${run_time:-300} -t UDP_STREAM  -p $port  -- -m 1 -D > /dev/null 2>&1 &
   done

   <テストマシンのプライベート IP アドレス> を、前の手順で取得した実際のプライベート IP アドレスに置き換えてください。

   

7. テストマシンで、パケット転送レートをテストします：

   sar -n DEV 1

   rxpck/s 列を確認してください。rxpck/s の値は、1 秒あたりに受信したパケット数を示します。この例では、値は約 940,000 です。

   

6,000,000 pps を超え 20,000,000 pps 未満のパケット転送レート

1. テストマシンと補助テストマシンに接続します。詳細については、「ワークベンチを使用して Linux インスタンスにログオン」をご参照ください。

2. 4 台すべてのマシン (補助マシン 3 台とテストマシン 1 台) に sockperf をインストールします：

   sudo yum install -y autoconf automake libtool gcc-c++
   cd /opt
   sudo wget https://github.com/Mellanox/sockperf/archive/refs/tags/3.8.tar.gz
   sudo tar -zxf 3.8.tar.gz
   cd sockperf-3.8/
   sudo ./autogen.sh
   sudo ./configure
   sudo make -j `cat /proc/cpuinfo| grep process | wc -l`
   sudo make install

3. テストマシンのプライベート IP アドレスを確認します：

   ifconfig || ip addr

   

4. 各補助テストマシンで、テストマシンにトラフィックを送信します：

   server_ip="<テストマシンのプライベート IP アドレス>"
   threads=64
   msg_size=14
   run_time=60
   
   basePort=6666
   for((i=0;i<$threads;++i));do
       nohup sockperf tp -i $server_ip --pps max -m ${msg_size} -t ${run_time} --port $[${basePort}+${i}] 2>&1 &
   done

   <テストマシンのプライベート IP アドレス> を実際の値に置き換えてください。run_time はトラフィックの期間を指定します。

5. 4 台すべてのマシンで、パケット転送レートをテストします：

   sar -n DEV 1

   テストマシンの rxpck/s 列を確認してください。rxpck/s の値は、1 秒あたりに受信したパケット数を示します。この例では、値は約 12,000,000 pps です。

20,000,000 pps を超えるパケット転送レート

1. テストマシンと補助テストマシンに接続します。詳細については、「ワークベンチを使用して Linux インスタンスにログオン」をご参照ください。

2. 4 台すべてのマシン (補助マシン 3 台とテストマシン 1 台) に sockperf をインストールします：

   sudo yum install -y autoconf automake libtool gcc-c++
   cd /opt
   sudo wget https://github.com/Mellanox/sockperf/archive/refs/tags/3.8.tar.gz
   sudo tar -zxf 3.8.tar.gz
   cd sockperf-3.8/
   sudo ./autogen.sh
   sudo ./configure
   sudo make -j `cat /proc/cpuinfo| grep process | wc -l`
   sudo make install

3. テストマシンで、割り込み要求 (IRQ) を CPU コアにバインドします。

   IRQ を特定の CPU コアにバインドすると、コンテキストスイッチが減り、高 pps でのパケット処理効率が向上します。

   a=$(cat /proc/interrupts | grep virtio2-input | awk -F ':' '{print $1}')
   cpu=0
   for irq in $a; do
       echo $cpu >/proc/irq/$irq/smp_affinity_list
       let cpu+=2
   done

4. テストマシンのプライベート IP アドレスを確認します：

   ifconfig || ip addr

   

5. 各補助テストマシンで、テストマシンにトラフィックを送信します：

   server_ip="<テストマシンのプライベート IP アドレス>"
   threads=64
   msg_size=14
   run_time=60
   
   basePort=6666
   for((i=0;i<$threads;++i));do
       nohup sockperf tp -i $server_ip --pps max -m ${msg_size} -t ${run_time} --port $[${basePort}+${i}] 2>&1 &
   done

   <テストマシンのプライベート IP アドレス> を実際の値に置き換えてください。run_time はトラフィックの期間を指定します。

6. 4 台すべてのマシンで、パケット転送レートをテストします：

   sar -n DEV 1

   テストマシンの rxpck/s 列を確認してください。rxpck/s の値は、1 秒あたりに受信したパケット数を示します。この例では、値は約 20,000,000 pps です。

Linux インスタンス

1. テストマシンと補助テストマシンに接続します。詳細については、「ワークベンチを使用して Linux インスタンスにログオン」をご参照ください。

2. 両方のマシンで、Netperf インストールパッケージをダウンロードします：

   wget https://benchmark-packages.oss-cn-qingdao.aliyuncs.com/netperf-2.7.0.tar.gz

3. 両方のマシンに Netperf と sar をインストールします。

   1. Netperf の依存関係をインストールし、インストールパッケージを解凍します。

      sudo yum install -y gcc autoconf automake libtool sysstat
      tar -zxvf netperf-2.7.0.tar.gz

   2. GCC のバージョン番号を確認します。

      gcc -v 2>&1

   3. どちらかのマシンで GCC が V10 より新しい場合は、GCC が正しくコンパイルされるように、次の操作を実行します。それ以外の場合は、この手順をスキップしてください。

      1. nettest_omni.c ファイルを開きます。

         cd netperf
         vim src/nettest_omni.c

      2. i キーを押して挿入モードに入り、nettest_omni.c から次の宣言済み変数を削除します：

         /* ソケットの各種オプション */
         
         int
           loc_nodelay,    /* ローカル：NODELAY を使用するか */
           rem_nodelay,    /* リモート：NODELAY を使用するか */
           loc_sndavoid,    /* ローカル：送信コピーを回避するか */
           loc_rcvavoid,    /* ローカル：受信コピーを回避するか */
           rem_sndavoid,    /* リモート：送信コピーを回避するか */
           rem_rcvavoid;   /* リモート：受信コピーを回避するか */

      3. Esc キーを押し、:wq と入力して Enter キーを押し、ファイルを保存して閉じます。

   4. Netperf と sar をインストールします。

      cd netperf
      sudo ./configure
      sudo make && sudo make install

4. テストマシンで、64 個の netserver サービスを開始します：

   #!/bin/bash
   for j in `seq 64`; do
       netserver -p $[16000+j] > server_$[16000+j].netperf 2>&1 &
   done

5. テストマシンのプライベート IP アドレスを確認します：

   ifconfig || ip addr

   [ecs-user@izxxx ecZ ~]$ ifconfig || ip addr
   eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
           inet 17.xxx.xxx.15  netmask 25xxx.0  broadcast 17.xxx.55
           inet6 fexxx38:c158  prefixlen 64  scopeid 0x20<link>
           ether 00:xxx:xxx  txqueuelen 1000  (Ethernet)
           RX packets 178595  bytes 106030163 (101.1 MiB)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 116902  bytes 70189540 (66.9 MiB)
           TX errors 0  dropped 0  overruns 0  carrier 0  collisions 0
   
   lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
           inet 127.0.0.1  netmask 255.0.0.0
           inet6 ::1  prefixlen 128  scopeid 0x10<host>
           loop  txqueuelen 1000  (Local Loopback)
           RX packets 2  bytes 140 (140.0 B)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 2  bytes 140 (140.0 B)
           TX errors 0  dropped 0  overruns 0  carrier 0  collisions 0

6. 補助テストマシンで、テストマシンにトラフィックを送信します：

   #!/bin/bash
   server_ip=<テストマシンのプライベート IP アドレス>
   for j in `seq 64`; do
       port=$[16000+j]
       netperf -H ${server_ip} -l ${run_time:-300} -t TCP_STREAM -p $port -- -D > /dev/null 2>&1 & 
   done

   <テストマシンのプライベート IP アドレス> を、前の手順で取得した実際のプライベート IP アドレスに置き換えてください。

   #!/bin/bash
   server_ip=<テストマシンのプライベート IP アドレス>
   for j in `seq 64`; do
       port=$[16000+j]
       netperf -H ${server_ip} -l ${run_time:-300} -t TCP_STREAM -p $port -- -D > /dev/null 2>&1 &
   done
   [1] 5100
   [2] 5101
   [3] 5102
   [4] 5103

7. テストマシンで、ネットワーク帯域幅をテストします：

   sar -n DEV 1

   rxkB/s 列を確認してください。rxkB/s の値は、受信したパケットサイズを KB/s で示します。8 を掛けて Kbit/s に変換すると、ネットワーク帯域幅の値になります。

   

Windows インスタンス

Linux インスタンス

1. テストマシンと補助テストマシンに接続します。詳細については、「ワークベンチを使用して Linux インスタンスにログオン」をご参照ください。

2. 両方のマシンに sockperf をインストールします：

   sudo yum install -y autoconf automake libtool gcc-c++
   cd /opt
   sudo wget https://github.com/Mellanox/sockperf/archive/refs/tags/3.8.tar.gz
   sudo tar -zxf 3.8.tar.gz
   cd sockperf-3.8/
   sudo ./autogen.sh
   sudo ./configure
   sudo make -j `cat /proc/cpuinfo| grep process | wc -l`
   sudo make install

3. テストマシンのプライベート IP アドレスを確認します：

   ifconfig || ip addr

   コマンド出力では、eth0 インターフェイスの inet アドレスがインスタンスのプライベート IP アドレスです。

   [ecs-user@izxxx ecZ ~]$ ifconfig || ip addr
   eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
           inet 17.xxx.xxx.15  netmask 25xxx.0  broadcast 17.xxx.55
           inet6 fexxx38:c158  prefixlen 64  scopeid 0x20<link>
           ether 00:xxx:xxx  txqueuelen 1000  (Ethernet)
           RX packets 178595  bytes 106030163 (101.1 MiB)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 116902  bytes 70189540 (66.9 MiB)
           TX errors 0  dropped 0  overruns 0  carrier 0  collisions 0
   
   lo: flags=73<UP,LOOPBACK,RUNNING>  mtu 65536
           inet 127.0.0.1  netmask 255.0.0.0
           inet6 ::1  prefixlen 128  scopeid 0x10<host>
           loop  txqueuelen 1000  (Local Loopback)
           RX packets 2  bytes 140 (140.0 B)
           RX errors 0  dropped 0  overruns 0  frame 0
           TX packets 2  bytes 140 (140.0 B)
           TX errors 0  dropped 0  overruns 0  carrier 0  collisions 0

4. テストマシンで、sockperf を起動します：

   sockperf sr --tcp --daemonize

5. 補助テストマシンで、テストマシンにトラフィックを送信します：

   sockperf pp -i <テストマシンのプライベート IP アドレス> --tcp -t 30 -m 14 --full-log=result.json

   <テストマシンのプライベート IP アドレス> を、前の手順の実際の値に置き換えてください。

6. ネットワークレイテンシーの結果を確認します。

   結果の各項目は次のとおりです：

   • avg-latency：マイクロ秒単位の平均レイテンシー。

   • percentile 99.000：マイクロ秒単位の 99 パーセンタイルのレイテンシー。

   

Windows インスタンス