Elastic Compute Service:Gunakan NetACC untuk mempercepat aplikasi TCP

Skenario

NetACC cocok untuk skenario dengan overhead jaringan tinggi.

• Skenario dengan laju paket per detik (PPS) tinggi, terutama saat sejumlah besar paket kecil dikirim dan diterima. Anda dapat menggunakan NetACC untuk mengurangi beban CPU dan meningkatkan throughput sistem dalam skenario tertentu, seperti saat Redis memproses permintaan.

• Skenario sensitif terhadap latensi jaringan: eRDMA menyediakan latensi jaringan lebih rendah dibandingkan TCP untuk mempercepat respons jaringan.

• Pembuatan berulang koneksi singkat: NetACC dapat mempercepat proses pembentukan koneksi sekunder untuk mengurangi waktu pembuatan koneksi dan meningkatkan performa sistem.

Instal NetACC

• Metode instalasi

  • Gunakan driver eRDMA untuk menginstal NetACC

    Saat Anda menginstal driver eRDMA, NetACC akan diinstal secara otomatis. Untuk informasi cara menginstal driver eRDMA, lihat bagian Langkah 2: Instal driver eRDMA pada Instance ECS dalam topik "Use eRDMA".

  • Instal NetACC secara terpisah

    Jalankan perintah berikut untuk menginstal versi tertentu NetACC atau menggunakan NetACC sementara pada Elastic Compute Service (ECS) instance:

    sudo curl -fsSL https://netacc-release.oss-cn-hangzhou.aliyuncs.com/release/netacc_download_install.sh | sudo sh

• Berkas konfigurasi dan parameter yang dioptimalkan

  Setelah Anda menginstal NetACC, berkas konfigurasi /etc/netacc.conf akan dibuat secara otomatis. Untuk mengoptimalkan performa NetACC, Anda dapat mengonfigurasi parameter tertentu dalam berkas konfigurasi sesuai kebutuhan bisnis, seperti NACC_SOR_MSG_SIZE, NACC_RDMA_MR_MIN_INC_SIZE, NACC_RDMA_MR_MAX_INC_SIZE, NACC_SOR_CONN_PER_QP, dan NACC_SOR_IO_THREADS. NACC_SOR_MSG_SIZE menentukan ukuran buffer. NACC_RDMA_MR_MIN_INC_SIZE menentukan ukuran region memori (MR) pertama yang diregistrasi oleh RDMA. NACC_RDMA_MR_MAX_INC_SIZE menentukan ukuran maksimum MR yang diregistrasi oleh RDMA. NACC_SOR_CONN_PER_QP menentukan jumlah koneksi per queue pair (QP). NACC_SOR_IO_THREADS menentukan jumlah thread NetACC.

  Kode contoh berikut memberikan contoh cara mengonfigurasi parameter dalam berkas konfigurasi:

  Contoh Berkas Konfigurasi /etc/netacc.conf

  [netacc]
  # Ukuran buffer. Jika blok data yang akan dikirim besar, Anda dapat menambah ukuran untuk meningkatkan performa atau mengurangi ukuran untuk menghemat memori.
  # int
  NACC_SOR_MSG_SIZE=16384
  
  # Ukuran MR pertama yang diregistrasi oleh RDMA. Anda dapat mengurangi ukuran untuk menghemat memori.
  # Atur parameter ini ke nilai kelipatan pangkat N dari 2 terhadap nilai NACC_SOR_MSG_SIZE. Kelipatan minimum adalah 1.
  NACC_RDMA_MR_MIN_INC_SIZE=16384
  
  # Ukuran maksimum MR yang diregistrasi oleh RDMA, rentangnya antara 1 MB hingga 512 MB. Anda dapat mengurangi ukuran untuk menghemat memori.
  # Atur parameter ini ke nilai kelipatan pangkat N dari 2 terhadap nilai NACC_RDMA_MR_MIN_INC_SIZE. Kelipatan minimum adalah 1.
  NACC_RDMA_MR_MAX_INC_SIZE=8388608
  
  # Jumlah koneksi per QP. Anda dapat menambah nilai untuk meningkatkan performa. Dalam skenario tertentu, atur parameter ini ke 1.
  # int
  NACC_SOR_CONN_PER_QP=1
  
  # Jumlah thread NetACC. Jika throughput tinggi, tambah nilai ini.
  # int
  NACC_SOR_IO_THREADS=1
  
  # Waktu kedaluwarsa QP kosong. Satuan: milidetik. Nilai 0 berarti QP kosong langsung kedaluwarsa. Nilai -1 berarti QP kosong tidak pernah kedaluwarsa.
  NACC_EMPTY_QP_EXPIRE_MS=60000
  
  # Jumlah maksimum QP kosong yang diizinkan.
  NACC_EMPTY_QP_MAX_ALL=100
  
  # Jumlah maksimum QP kosong yang diizinkan untuk setiap alamat tujuan.
  NACC_EMPTY_QP_MAX_PER=10
  
  # Probabilitas menggunakan RDMA untuk membuat koneksi. Nilai valid: 0 hingga 100.
  NACC_CONNECT_RDMA_PERCENT=100
  
  # Menentukan apakah RDMA diaktifkan secara default.
  NACC_ENABLE_RDMA_DEFAULT=1
  
  # Tingkat log.
  # 0: TRACE
  # 1: DEBUG
  # 2: INFO
  # 3: WARN
  # 4: ERROR
  # 5: FATAL
  NACC_LOG_LEVEL=3
  
  # Jalur log.
  NACC_LOG_PATH="/tmp/netacc.log"
  
  # Parameter berikut jarang digunakan atau tidak perlu dikonfigurasi.
  
  # Afinisitas thread.
  # string
  NACC_SOR_AFFINITY=""
  
  # Menentukan apakah TCP diprioritaskan untuk membuat koneksi.
  # bool
  NACC_CONN_TCP_FIRST=0

Gunakan NetACC

Untuk menggunakan NetACC dalam aplikasi, jalankan perintah netacc_run atau konfigurasikan variabel lingkungan LD_PRELOAD. Sebelum menggunakan NetACC, Anda harus memahami bagian Pertimbangan dalam topik ini.

netacc_run -h
Usage: netacc_run [ OPTIONS ] COMMAND

Run COMMAND using NetACC for TCP sockets

OPTIONS:
   -f <path>   set config file, default /etc/netacc.conf
   -p <num>    set max connections per QP, default 1
   -t <num>    set netacc io threads, default 4
   -s <num>    set netacc message size, default 16384
   -F <num>    fast connect mode, default 0
   -d          enable debug mode
   -T          use TCP first in connect
   -P <num>    polling cq time ms
   -A <str>    affinity CPU list, 0 | 1-3 | 1,3,4
   -i <num>    set cq comp_vector, default 0
   -h          display this message
   -v          display version info

Pantau NetACC

netacc_ss adalah alat pemantauan NetACC. Jalankan perintah netacc_ss untuk memantau status data yang dikirim dan diterima oleh proses aplikasi TCP yang dipercepat NetACC. Untuk memantau NetACC, Anda dapat menjalankan perintah ini di server dan klien.

netacc_ss -h
Usage:
 netacc_ss: [-p] <pid> [options]...
 Show monitoring information of specified netacc process

Options:
 -c   clear unused sock file
 -h   display this help
 -s   display specified monitoring metric[s]. [all|cfg|cnt|mem|qp|sock]
      all: all monitoring information
      cfg: configuration information
      cnt: counter information[default]
      mem: memory information
      qp : queue pair information
      sock: socket information
 -v   display netacc version

Examples:
 netacc_ss -p 12345 -s mem,cnt

Jalankan perintah berikut untuk menanyakan status data yang dikirim dan diterima oleh proses aplikasi TCP yang dipercepat NetACC:

netacc_ss -s all -p <Process ID>

Skenario pengujian

Gunakan NetACC dalam utilitas redis-benchmark untuk mensimulasikan 100 klien dan 4 thread guna membuat 5 juta permintaan SET.

redis-server --port 6379 --protected-mode no

redis-benchmark -h 172.17.0.90 -p 6379 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t set

Prosedur

1. Sambungkan ke Instance ECS yang berfungsi sebagai server Redis dan Instance ECS yang berfungsi sebagai klien Redis.

   Untuk informasi lebih lanjut, lihat Use Workbench to log on to a Linux instance over SSH.

2. Periksa apakah driver eRDMA telah diinstal pada Instance ECS.

   Setelah Instance ECS dijalankan, jalankan perintah ibv_devinfo untuk memeriksa apakah driver eRDMA telah diinstal.

   • Output perintah berikut menunjukkan bahwa driver eRDMA telah diinstal.

     

   • Output perintah berikut menunjukkan bahwa driver eRDMA sedang dalam proses instalasi. Tunggu beberapa menit hingga driver eRDMA selesai diinstal, lalu coba lagi.

     

3. Jalankan perintah berikut pada Instance ECS untuk menginstal Redis:

   sudo yum install -y redis

   Output perintah berikut menunjukkan bahwa Redis telah diinstal.

   

4. Gunakan utilitas redis-benchmark untuk mengukur performa Redis.

   Lakukan benchmark menggunakan NetACC

   1. Jalankan perintah berikut pada Instance ECS yang berfungsi sebagai server Redis untuk menjalankan Redis dan mempercepat Redis menggunakan NetACC:

      netacc_run redis-server --port 6379 --protected-mode no

      Catatan

      • Ganti 6379 dengan nomor port aktual tempat Anda ingin menjalankan Redis. Untuk informasi lebih lanjut, lihat bagian Parameter umum yang digunakan bersama perintah redis-server dalam topik ini.

      • Dalam contoh ini, perintah netacc_run dijalankan untuk menggunakan NetACC. Untuk metode penggunaan NetACC lainnya, lihat bagian Gunakan NetACC dalam topik ini.

      Output perintah berikut menunjukkan bahwa Redis telah dijalankan sesuai harapan.

      

   2. Jalankan perintah berikut pada Instance ECS yang berfungsi sebagai klien Redis untuk menjalankan redis-benchmark dan mempercepat redis-benchmark menggunakan NetACC:

       netacc_run redis-benchmark -h 172.17.0.90 -p 6379 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t set

      Catatan

      • Ganti 172.17.0.90 dengan alamat IP aktual server Redis dan 6379 dengan nomor port aktual tempat Redis dijalankan. Untuk informasi lebih lanjut, lihat bagian Parameter perintah umum yang digunakan bersama redis-benchmark dalam topik ini.

      • Hasil benchmark dapat bervariasi tergantung kondisi jaringan. Data benchmark yang disediakan dalam topik ini hanya untuk referensi.

      Contoh hasil benchmark Redis

      ====== SET ======                                                      
        5000000 requests completed in 6.52 seconds
        100 parallel clients
        512 bytes payload
        keep alive: 1
        host configuration "save": 3600 1 300 100 60 10000
        host configuration "appendonly": no
        multi-thread: yes
        threads: 4
      
      Latency by percentile distribution:
      0.000% <= 0.039 milliseconds (cumulative count 3)
      50.000% <= 0.127 milliseconds (cumulative count 2677326)
      75.000% <= 0.143 milliseconds (cumulative count 3873096)
      87.500% <= 0.151 milliseconds (cumulative count 4437348)
      93.750% <= 0.159 milliseconds (cumulative count 4715347)
      96.875% <= 0.175 milliseconds (cumulative count 4890339)
      98.438% <= 0.183 milliseconds (cumulative count 4967042)
      99.609% <= 0.191 milliseconds (cumulative count 4991789)
      99.902% <= 0.207 milliseconds (cumulative count 4995847)
      99.951% <= 0.263 milliseconds (cumulative count 4997733)
      99.976% <= 0.303 milliseconds (cumulative count 4998853)
      99.988% <= 0.343 milliseconds (cumulative count 4999403)
      99.994% <= 0.367 milliseconds (cumulative count 4999704)
      99.997% <= 0.391 milliseconds (cumulative count 4999849)
      99.998% <= 2.407 milliseconds (cumulative count 4999924)
      99.999% <= 5.407 milliseconds (cumulative count 4999962)
      100.000% <= 6.847 milliseconds (cumulative count 4999981)
      100.000% <= 8.423 milliseconds (cumulative count 4999991)
      100.000% <= 8.919 milliseconds (cumulative count 4999996)
      100.000% <= 9.271 milliseconds (cumulative count 4999998)
      100.000% <= 9.471 milliseconds (cumulative count 4999999)
      100.000% <= 9.583 milliseconds (cumulative count 5000000)
      100.000% <= 9.583 milliseconds (cumulative count 5000000)
      
      Cumulative distribution of latencies:
      18.820% <= 0.103 milliseconds (cumulative count 941003)
      99.917% <= 0.207 milliseconds (cumulative count 4995847)
      99.977% <= 0.303 milliseconds (cumulative count 4998853)
      99.998% <= 0.407 milliseconds (cumulative count 4999879)
      99.998% <= 0.503 milliseconds (cumulative count 4999903)
      99.998% <= 0.703 milliseconds (cumulative count 4999904)
      99.998% <= 0.807 milliseconds (cumulative count 4999905)
      99.998% <= 0.903 milliseconds (cumulative count 4999906)
      99.998% <= 1.007 milliseconds (cumulative count 4999908)
      99.998% <= 1.103 milliseconds (cumulative count 4999909)
      99.998% <= 1.207 milliseconds (cumulative count 4999912)
      99.998% <= 1.407 milliseconds (cumulative count 4999913)
      99.998% <= 1.503 milliseconds (cumulative count 4999915)
      99.998% <= 1.607 milliseconds (cumulative count 4999916)
      99.998% <= 1.703 milliseconds (cumulative count 4999917)
      99.998% <= 1.807 milliseconds (cumulative count 4999918)
      99.998% <= 1.903 milliseconds (cumulative count 4999919)
      99.998% <= 2.103 milliseconds (cumulative count 4999920)
      99.999% <= 3.103 milliseconds (cumulative count 4999931)
      99.999% <= 4.103 milliseconds (cumulative count 4999944)
      99.999% <= 5.103 milliseconds (cumulative count 4999958)
      99.999% <= 6.103 milliseconds (cumulative count 4999971)
      100.000% <= 7.103 milliseconds (cumulative count 4999984)
      100.000% <= 8.103 milliseconds (cumulative count 4999989)
      100.000% <= 9.103 milliseconds (cumulative count 4999996)
      100.000% <= 10.103 milliseconds (cumulative count 5000000)
      
      Summary:
        throughput summary: 767341.94 requests per second
        latency summary (msec):
                avg       min       p50       p95       p99       max
              0.126     0.032     0.127     0.167     0.183     9.583

      Bagian Summary di akhir hasil benchmark di atas menunjukkan bahwa sekitar 770.000 permintaan dapat diproses per detik. Untuk informasi tentang metrik dalam hasil benchmark Redis, lihat bagian Metrik umum dalam hasil benchmark redis-benchmark dalam topik ini.

   Gunakan netacc_ss untuk memantau server Redis selama benchmark

   Selama benchmark, Anda dapat menggunakan netacc_ss pada Instance ECS yang berfungsi sebagai server Redis untuk memantau server tersebut.

   • Jalankan perintah berikut untuk mengetahui ID proses Redis (redis-server):

     ps -ef | grep redis-server

     Output perintah berikut menunjukkan bahwa ID proses redis-server adalah 114.379.

     

   • Jalankan perintah berikut untuk menanyakan informasi koneksi Redis dan status data yang dikirim dan diterima oleh Redis:

     netacc_ss -p 114379 -s all

     Catatan

     Ganti 114379 dalam perintah sebelumnya dengan ID proses Redis yang sebenarnya. Untuk informasi selengkapnya, lihat bagian perintah netacc_ss pada topik ini.

     Output perintah berikut menunjukkan bahwa koneksi socket yang dibuat untuk Redis adalah koneksi RDMA. Hal ini karena fitur ERI diaktifkan untuk ENI pada Instance ECS yang berfungsi sebagai server Redis dan klien Redis. Empat kolom paling kanan menunjukkan jumlah dan volume pesan yang dikirim dan diterima.

     

   Lakukan benchmark tanpa NetACC

   1. Jalankan perintah berikut pada Instance ECS yang berfungsi sebagai server Redis untuk menjalankan Redis:

      redis-server --port 6379 --protected-mode no --save

      Catatan

      Ganti 6379 dengan nomor port aktual tempat Anda ingin menjalankan Redis. Untuk informasi lebih lanjut, lihat bagian Parameter umum yang digunakan bersama perintah redis-server dalam topik ini.

      Output perintah berikut menunjukkan bahwa Redis telah dijalankan sesuai harapan.

      

   2. Jalankan perintah berikut pada Instance ECS yang berfungsi sebagai klien Redis untuk menjalankan redis-benchmark:

       redis-benchmark -h 172.17.0.90 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t set

      Catatan

      • Ganti 172.17.0.90 dengan alamat IP aktual server Redis dan 6379 dengan nomor port aktual tempat Redis dijalankan. Untuk informasi lebih lanjut, lihat bagian Parameter perintah umum yang digunakan bersama redis-benchmark dalam topik ini.

      • Hasil benchmark dapat bervariasi tergantung kondisi jaringan. Data benchmark yang disediakan dalam topik ini hanya untuk referensi.

      Contoh hasil benchmark Redis

      ====== SET ======                                                         
        5000000 requests completed in 15.02 seconds
        100 parallel clients
        512 bytes payload
        keep alive: 1
        host configuration "save": 
        host configuration "appendonly": no
        multi-thread: yes
        threads: 4
      
      Latency by percentile distribution:
      0.000% <= 0.055 milliseconds (cumulative count 27)
      50.000% <= 0.287 milliseconds (cumulative count 2635010)
      75.000% <= 0.335 milliseconds (cumulative count 3782931)
      87.500% <= 0.367 milliseconds (cumulative count 4459136)
      93.750% <= 0.391 milliseconds (cumulative count 4720397)
      96.875% <= 0.415 milliseconds (cumulative count 4855130)
      98.438% <= 0.439 milliseconds (cumulative count 4936478)
      99.219% <= 0.455 milliseconds (cumulative count 4965765)
      99.609% <= 0.471 milliseconds (cumulative count 4984031)
      99.805% <= 0.487 milliseconds (cumulative count 4993326)
      99.902% <= 0.495 milliseconds (cumulative count 4995579)
      99.951% <= 0.511 milliseconds (cumulative count 4997659)
      99.976% <= 0.551 milliseconds (cumulative count 4998848)
      99.988% <= 0.599 milliseconds (cumulative count 4999468)
      99.994% <= 0.631 milliseconds (cumulative count 4999722)
      99.997% <= 0.663 milliseconds (cumulative count 4999862)
      99.998% <= 0.695 milliseconds (cumulative count 4999924)
      99.999% <= 0.759 milliseconds (cumulative count 4999964)
      100.000% <= 0.807 milliseconds (cumulative count 4999982)
      100.000% <= 1.935 milliseconds (cumulative count 4999993)
      100.000% <= 2.071 milliseconds (cumulative count 4999996)
      100.000% <= 2.111 milliseconds (cumulative count 4999998)
      100.000% <= 2.119 milliseconds (cumulative count 4999999)
      100.000% <= 2.143 milliseconds (cumulative count 5000000)
      100.000% <= 2.143 milliseconds (cumulative count 5000000)
      
      Cumulative distribution of latencies:
      0.028% <= 0.103 milliseconds (cumulative count 1377)
      0.985% <= 0.207 milliseconds (cumulative count 49228)
      60.094% <= 0.303 milliseconds (cumulative count 3004705)
      96.325% <= 0.407 milliseconds (cumulative count 4816230)
      99.938% <= 0.503 milliseconds (cumulative count 4996887)
      99.991% <= 0.607 milliseconds (cumulative count 4999546)
      99.999% <= 0.703 milliseconds (cumulative count 4999927)
      100.000% <= 0.807 milliseconds (cumulative count 4999982)
      100.000% <= 0.903 milliseconds (cumulative count 4999987)
      100.000% <= 1.903 milliseconds (cumulative count 4999990)
      100.000% <= 2.007 milliseconds (cumulative count 4999995)
      100.000% <= 2.103 milliseconds (cumulative count 4999997)
      100.000% <= 3.103 milliseconds (cumulative count 5000000)
      
      Summary:
        throughput summary: 332955.97 requests per second
        latency summary (msec):
                avg       min       p50       p95       p99       max
              0.292     0.048     0.287     0.399     0.447     2.143

      Bagian Summary di akhir hasil benchmark di atas menunjukkan bahwa sekitar 330.000 permintaan dapat diproses per detik. Untuk informasi tentang metrik dalam hasil benchmark Redis, lihat bagian Metrik umum dalam hasil benchmark redis-benchmark dalam topik ini.