Elastic Compute Service：Gunakan NetACC untuk mempercepat aplikasi TCP

Skenario

NetACC cocok untuk skenario dengan overhead jaringan tinggi.

• Skenario di mana laju paket per detik (PPS) tinggi, terutama skenario di mana banyak paket kecil dikirim dan diterima. Anda dapat menggunakan NetACC untuk mengurangi overhead CPU dan meningkatkan throughput sistem dalam skenario tertentu, seperti ketika Redis memproses permintaan.

• Skenario sensitif terhadap latensi jaringan: eRDMA menyediakan latensi jaringan lebih rendah daripada TCP untuk mempercepat respons jaringan.

• Pembuatan berulang koneksi singkat: NetACC dapat mempercepat proses pembuatan koneksi sekunder untuk mengurangi waktu pembuatan koneksi dan meningkatkan kinerja sistem.

Instal NetACC

• Metode Instalasi

  • Gunakan driver eRDMA untuk menginstal NetACC

    Ketika Anda menginstal driver eRDMA, NetACC secara otomatis diinstal. Untuk informasi tentang cara menginstal driver eRDMA, lihat bagian Langkah 2: Instal driver eRDMA pada Instance ECS dari topik "Gunakan eRDMA".

  • Instal NetACC secara terpisah

    Jalankan perintah berikut untuk menginstal versi tertentu dari NetACC secara terpisah atau sementara gunakan NetACC pada instance Elastic Compute Service (ECS):

    sudo curl -fsSL https://netacc-release.oss-cn-hangzhou.aliyuncs.com/release/netacc_download_install.sh | sudo sh

• File Konfigurasi dan Parameter Dioptimalkan

  Setelah Anda menginstal NetACC, file konfigurasi /etc/netacc.conf secara otomatis dibuat. Untuk mengoptimalkan kinerja NetACC, Anda dapat mengonfigurasi parameter tertentu dalam file konfigurasi berdasarkan kebutuhan bisnis Anda, seperti NACC_SOR_MSG_SIZE, NACC_RDMA_MR_MIN_INC_SIZE, NACC_RDMA_MR_MAX_INC_SIZE, NACC_SOR_CONN_PER_QP, dan NACC_SOR_IO_THREADS. NACC_SOR_MSG_SIZE menentukan ukuran buffer. NACC_RDMA_MR_MIN_INC_SIZE menentukan ukuran wilayah memori (MR) pertama yang didaftarkan oleh RDMA. NACC_RDMA_MR_MAX_INC_SIZE menentukan ukuran maksimum MR yang didaftarkan oleh RDMA. NACC_SOR_CONN_PER_QP menentukan jumlah koneksi per pasangan antrian (QP). NACC_SOR_IO_THREADS menentukan jumlah thread NetACC.

  Kode sampel berikut memberikan contoh cara mengonfigurasi parameter dalam file konfigurasi:

  Contoh File /etc/netacc.conf Konfigurasi

  [netacc]
  # Ukuran buffer. Jika blok data yang akan dikirim besar, Anda dapat meningkatkan ukuran untuk meningkatkan kinerja atau mengurangi ukuran untuk menghemat memori.
  # int
  NACC_SOR_MSG_SIZE=16384
  
  # Ukuran MR pertama yang didaftarkan oleh RDMA. Anda dapat mengurangi ukuran untuk menghemat memori.
  # Atur parameter ini ke nilai yang merupakan kelipatan pangkat dua dari nilai NACC_SOR_MSG_SIZE. Kelipatan minimum adalah 1.
  NACC_RDMA_MR_MIN_INC_SIZE=16384
  
  # Ukuran maksimum MR yang didaftarkan oleh RDMA, berkisar dari 1 MB hingga 512 MB. Anda dapat mengurangi ukuran untuk menghemat memori.
  # Atur parameter ini ke nilai yang merupakan kelipatan pangkat dua dari nilai NACC_RDMA_MR_MIN_INC_SIZE. Kelipatan minimum adalah 1.
  NACC_RDMA_MR_MAX_INC_SIZE=8388608
  
  # Jumlah koneksi per QP. Anda dapat meningkatkan nilai untuk meningkatkan kinerja. Dalam skenario tertentu, atur parameter ini ke 1.
  # int
  NACC_SOR_CONN_PER_QP=1
  
  # Jumlah thread NetACC. Jika throughput tinggi, tingkatkan nilai.
  # int
  NACC_SOR_IO_THREADS=1
  
  # Waktu kedaluwarsa QP kosong. Unit: milidetik. Nilai 0 menentukan bahwa QP kosong segera kedaluwarsa. Nilai -1 menentukan bahwa QP kosong tidak pernah kedaluwarsa.
  NACC_EMPTY_QP_EXPIRE_MS=60000
  
  # Jumlah maksimum QP kosong yang diizinkan.
  NACC_EMPTY_QP_MAX_ALL=100
  
  # Jumlah maksimum QP kosong yang diizinkan untuk setiap alamat tujuan.
  NACC_EMPTY_QP_MAX_PER=10
  
  # Probabilitas menggunakan RDMA untuk membuat koneksi. Nilai valid: 0 hingga 100.
  NACC_CONNECT_RDMA_PERCENT=100
  
  # Menentukan apakah RDMA diaktifkan secara default.
  NACC_ENABLE_RDMA_DEFAULT=1
  
  # Tingkat log.
  # 0: TRACE
  # 1: DEBUG
  # 2: INFO
  # 3: WARN
  # 4: ERROR
  # 5: FATAL
  NACC_LOG_LEVEL=3
  
  # Jalur log.
  NACC_LOG_PATH="/tmp/netacc.log"
  
  # Parameter berikut jarang digunakan atau tidak perlu dikonfigurasi.
  
  # Afinitas thread.
  # string
  NACC_SOR_AFFINITY=""
  
  # Menentukan apakah akan lebih memilih menggunakan TCP untuk membuat koneksi.
  # bool
  NACC_CONN_TCP_FIRST=0

Gunakan NetACC

Untuk menggunakan NetACC dalam aplikasi, jalankan perintah netacc_run atau konfigurasikan variabel lingkungan LD_PRELOAD. Sebelum menggunakan NetACC, Anda harus membaca bagian Pertimbangan dari topik ini.

netacc_run -h
Usage: netacc_run [ OPTIONS ] COMMAND

Jalankan COMMAND menggunakan NetACC untuk soket TCP

OPTIONS:
   -f <path>   setel file konfigurasi, default /etc/netacc.conf
   -p <num>    setel maksimum koneksi per QP, default 1
   -t <num>    setel thread io netacc, default 4
   -s <num>    setel ukuran pesan netacc, default 16384
   -F <num>    mode koneksi cepat, default 0
   -d          aktifkan mode debug
   -T          gunakan TCP pertama kali dalam koneksi
   -P <num>    polling cq waktu ms
   -A <str>    daftar afinitas CPU, 0 | 1-3 | 1,3,4
   -i <num>    setel comp_vector cq, default 0
   -h          tampilkan pesan ini
   -v          tampilkan info versi

Pantau NetACC

netacc_ss adalah alat pemantauan NetACC. Jalankan perintah netacc_ss untuk memantau status data yang dikirim dan diterima oleh proses aplikasi TCP yang dipercepat oleh NetACC. Untuk memantau NetACC, Anda dapat menjalankan perintah pada server dan klien.

netacc_ss -h
Usage:
 netacc_ss: [-p] <pid> [options]...
 Tampilkan informasi pemantauan proses netacc yang ditentukan

Options:
 -c   hapus file sock yang tidak digunakan
 -h   tampilkan bantuan ini
 -s   tampilkan metrik pemantauan yang ditentukan[s]. [all|cfg|cnt|mem|qp|sock]
      all: semua informasi pemantauan
      cfg: informasi konfigurasi
      cnt: informasi counter[default]
      mem: informasi memori
      qp : informasi pasangan antrian
      sock: informasi soket
 -v   tampilkan versi netacc

Contoh:
 netacc_ss -p 12345 -s mem,cnt

Jalankan perintah berikut untuk menanyakan status data yang dikirim dan diterima oleh proses aplikasi TCP yang dipercepat oleh NetACC:

netacc_ss -s all -p <ID Proses>

Skema pengujian

Gunakan NetACC dalam utilitas redis-benchmark untuk mensimulasikan 100 klien dan 4 thread untuk membuat 5 juta permintaan SET.

redis-server --port 6379 --protected-mode no

redis-benchmark -h 172.17.0.90 -p 6379 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t set

Prosedur

1. Sambungkan ke instance ECS yang berfungsi sebagai server Redis dan instance ECS yang berfungsi sebagai klien Redis.

   Untuk informasi lebih lanjut, lihat Gunakan Workbench untuk masuk ke instance Linux melalui SSH.

2. Periksa apakah driver eRDMA terinstal pada instance ECS.

   Setelah instance ECS dimulai, jalankan perintah ibv_devinfo untuk memeriksa apakah driver eRDMA terinstal.

   • Keluaran perintah berikut menunjukkan bahwa driver eRDMA terinstal.

     

   • Keluaran perintah berikut menunjukkan bahwa driver eRDMA sedang diinstal. Tunggu beberapa menit hingga driver eRDMA terinstal, lalu coba lagi nanti.

     

3. Jalankan perintah berikut pada instance ECS untuk menginstal Redis:

   sudo yum install -y redis

   Keluaran perintah berikut menunjukkan bahwa Redis terinstal.

   

4. Gunakan utilitas redis-benchmark untuk membandingkan kinerja Redis.

   Lakukan benchmark menggunakan NetACC

   1. Jalankan perintah berikut pada instance ECS yang berfungsi sebagai server Redis untuk memulai Redis dan mempercepat Redis menggunakan NetACC:

      netacc_run redis-server --port 6379 --protected-mode no

      Catatan

      • Ganti 6379 dengan nomor port aktual tempat Anda ingin memulai Redis. Untuk informasi lebih lanjut, lihat bagian Parameter Umum yang Digunakan Bersama dengan Perintah redis-server dari topik ini.

      • Dalam contoh ini, perintah netacc_run dijalankan untuk menggunakan NetACC. Untuk metode lain menggunakan NetACC, lihat bagian Gunakan NetACC dari topik ini.

      Keluaran perintah berikut menunjukkan bahwa Redis dimulai sesuai harapan.

      

   2. Jalankan perintah berikut pada instance ECS yang berfungsi sebagai klien Redis untuk memulai redis-benchmark dan mempercepat redis-benchmark menggunakan NetACC:

       netacc_run redis-benchmark -h 172.17.0.90 -p 6379 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t set

      Catatan

      • Ganti 172.17.0.90 dengan alamat IP aktual server Redis dan 6379 dengan nomor port aktual tempat Redis dimulai. Untuk informasi lebih lanjut, lihat bagian Parameter Perintah Umum yang Digunakan Bersama dengan redis-benchmark dari topik ini.

      • Hasil benchmark mungkin bervariasi berdasarkan kondisi jaringan. Data benchmark yang disediakan dalam topik ini hanya untuk referensi.

      Contoh Hasil Benchmark Redis

      ====== SET ======                                                      
        5000000 requests completed in 6.52 seconds
        100 parallel clients
        512 bytes payload
        keep alive: 1
        host configuration "save": 3600 1 300 100 60 10000
        host configuration "appendonly": no
        multi-thread: yes
        threads: 4
      
      Latency by percentile distribution:
      0.000% <= 0.039 milliseconds (cumulative count 3)
      50.000% <= 0.127 milliseconds (cumulative count 2677326)
      75.000% <= 0.143 milliseconds (cumulative count 3873096)
      87.500% <= 0.151 milliseconds (cumulative count 4437348)
      93.750% <= 0.159 milliseconds (cumulative count 4715347)
      96.875% <= 0.175 milliseconds (cumulative count 4890339)
      98.438% <= 0.183 milliseconds (cumulative count 4967042)
      99.609% <= 0.191 milliseconds (cumulative count 4991789)
      99.902% <= 0.207 milliseconds (cumulative count 4995847)
      99.951% <= 0.263 milliseconds (cumulative count 4997733)
      99.976% <= 0.303 milliseconds (cumulative count 4998853)
      99.988% <= 0.343 milliseconds (cumulative count 4999403)
      99.994% <= 0.367 milliseconds (cumulative count 4999704)
      99.997% <= 0.391 milliseconds (cumulative count 4999849)
      99.998% <= 2.407 milliseconds (cumulative count 4999924)
      99.999% <= 5.407 milliseconds (cumulative count 4999962)
      100.000% <= 6.847 milliseconds (cumulative count 4999981)
      100.000% <= 8.423 milliseconds (cumulative count 4999991)
      100.000% <= 8.919 milliseconds (cumulative count 4999996)
      100.000% <= 9.271 milliseconds (cumulative count 4999998)
      100.000% <= 9.471 milliseconds (cumulative count 4999999)
      100.000% <= 9.583 milliseconds (cumulative count 5000000)
      100.000% <= 9.583 milliseconds (cumulative count 5000000)
      
      Cumulative distribution of latencies:
      18.820% <= 0.103 milliseconds (cumulative count 941003)
      99.917% <= 0.207 milliseconds (cumulative count 4995847)
      99.977% <= 0.303 milliseconds (cumulative count 4998853)
      99.998% <= 0.407 milliseconds (cumulative count 4999879)
      99.998% <= 0.503 milliseconds (cumulative count 4999903)
      99.998% <= 0.703 milliseconds (cumulative count 4999904)
      99.998% <= 0.807 milliseconds (cumulative count 4999905)
      99.998% <= 0.903 milliseconds (cumulative count 4999906)
      99.998% <= 1.007 milliseconds (cumulative count 4999908)
      99.998% <= 1.103 milliseconds (cumulative count 4999909)
      99.998% <= 1.207 milliseconds (cumulative count 4999912)
      99.998% <= 1.407 milliseconds (cumulative count 4999913)
      99.998% <= 1.503 milliseconds (cumulative count 4999915)
      99.998% <= 1.607 milliseconds (cumulative count 4999916)
      99.998% <= 1.703 milliseconds (cumulative count 4999917)
      99.998% <= 1.807 milliseconds (cumulative count 4999918)
      99.998% <= 1.903 milliseconds (cumulative count 4999919)
      99.998% <= 2.103 milliseconds (cumulative count 4999920)
      99.999% <= 3.103 milliseconds (cumulative count 4999931)
      99.999% <= 4.103 milliseconds (cumulative count 4999944)
      99.999% <= 5.103 milliseconds (cumulative count 4999958)
      99.999% <= 6.103 milliseconds (cumulative count 4999971)
      100.000% <= 7.103 milliseconds (cumulative count 4999984)
      100.000% <= 8.103 milliseconds (cumulative count 4999989)
      100.000% <= 9.103 milliseconds (cumulative count 4999996)
      100.000% <= 10.103 milliseconds (cumulative count 5000000)
      
      Summary:
        throughput summary: 767341.94 requests per second
        latency summary (msec):
                avg       min       p50       p95       p99       max
              0.126     0.032     0.127     0.167     0.183     9.583

      Bagian Summary di akhir hasil benchmark sebelumnya menunjukkan bahwa sekitar 770.000 permintaan dapat diproses per detik. Untuk informasi tentang metrik dalam hasil benchmark Redis, lihat bagian Metrik Umum dalam Hasil Benchmark redis-benchmark dari topik ini.

   Gunakan netacc_ss untuk Memantau Server Redis Selama Benchmark

   Selama benchmark, Anda dapat menggunakan netacc_ss pada instance ECS yang berfungsi sebagai server Redis untuk memantau server.

   • Jalankan perintah berikut untuk menanyakan ID proses Redis (redis-server):

     ps -ef | grep redis-server

     Keluaran perintah berikut menunjukkan bahwa ID proses redis-server adalah 114379.

     

   • Jalankan perintah berikut untuk menanyakan informasi koneksi Redis dan status data yang dikirim dan diterima oleh Redis:

     netacc_ss -p 114379 -s all

     Catatan

     Ganti 114379 dalam perintah sebelumnya dengan ID proses Redis aktual. Untuk informasi lebih lanjut, lihat bagian Perintah netacc_ss dari topik ini.

     Keluaran perintah berikut menunjukkan bahwa koneksi soket yang dibuat untuk Redis adalah koneksi RDMA. Ini karena fitur ERI diaktifkan untuk ENI pada instance ECS yang berfungsi sebagai server Redis dan klien Redis. Empat kolom paling kanan menunjukkan jumlah dan volume pesan yang dikirim dan diterima.

     

   Lakukan benchmark tanpa NetACC

   1. Jalankan perintah berikut pada instance ECS yang berfungsi sebagai server Redis untuk memulai Redis:

      redis-server --port 6379 --protected-mode no --save

      Catatan

      Ganti 6379 dengan nomor port aktual tempat Anda ingin memulai Redis. Untuk informasi lebih lanjut, lihat bagian Parameter Umum yang Digunakan Bersama dengan Perintah redis-server dari topik ini.

      Keluaran perintah berikut menunjukkan bahwa Redis dimulai sesuai harapan.

      

   2. Jalankan perintah berikut pada instance ECS yang berfungsi sebagai klien Redis untuk memulai redis-benchmark:

       redis-benchmark -h 172.17.0.90 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t set

      Catatan

      • Ganti 172.17.0.90 dengan alamat IP aktual server Redis dan 6379 dengan nomor port aktual tempat Redis dimulai. Untuk informasi lebih lanjut, lihat bagian Parameter Perintah Umum yang Digunakan Bersama dengan redis-benchmark dari topik ini.

      • Hasil benchmark mungkin bervariasi berdasarkan kondisi jaringan. Data benchmark yang disediakan dalam topik ini hanya untuk referensi.

      Contoh Hasil Benchmark Redis

      ====== SET ======                                                         
        5000000 requests completed in 15.02 seconds
        100 parallel clients
        512 bytes payload
        keep alive: 1
        host configuration "save": 
        host configuration "appendonly": no
        multi-thread: yes
        threads: 4
      
      Latency by percentile distribution:
      0.000% <= 0.055 milliseconds (cumulative count 27)
      50.000% <= 0.287 milliseconds (cumulative count 2635010)
      75.000% <= 0.335 milliseconds (cumulative count 3782931)
      87.500% <= 0.367 milliseconds (cumulative count 4459136)
      93.750% <= 0.391 milliseconds (cumulative count 4720397)
      96.875% <= 0.415 milliseconds (cumulative count 4855130)
      98.438% <= 0.439 milliseconds (cumulative count 4936478)
      99.219% <= 0.455 milliseconds (cumulative count 4965765)
      99.609% <= 0.471 milliseconds (cumulative count 4984031)
      99.805% <= 0.487 milliseconds (cumulative count 4993326)
      99.902% <= 0.495 milliseconds (cumulative count 4995579)
      99.951% <= 0.511 milliseconds (cumulative count 4997659)
      99.976% <= 0.551 milliseconds (cumulative count 4998848)
      99.988% <= 0.599 milliseconds (cumulative count 4999468)
      99.994% <= 0.631 milliseconds (cumulative count 4999722)
      99.997% <= 0.663 milliseconds (cumulative count 4999862)
      99.998% <= 0.695 milliseconds (cumulative count 4999924)
      99.999% <= 0.759 milliseconds (cumulative count 4999964)
      100.000% <= 0.807 milliseconds (cumulative count 4999982)
      100.000% <= 1.935 milliseconds (cumulative count 4999993)
      100.000% <= 2.071 milliseconds (cumulative count 4999996)
      100.000% <= 2.111 milliseconds (cumulative count 4999998)
      100.000% <= 2.119 milliseconds (cumulative count 4999999)
      100.000% <= 2.143 milliseconds (cumulative count 5000000)
      100.000% <= 2.143 milliseconds (cumulative count 5000000)
      
      Cumulative distribution of latencies:
      0.028% <= 0.103 milliseconds (cumulative count 1377)
      0.985% <= 0.207 milliseconds (cumulative count 49228)
      60.094% <= 0.303 milliseconds (cumulative count 3004705)
      96.325% <= 0.407 milliseconds (cumulative count 4816230)
      99.938% <= 0.503 milliseconds (cumulative count 4996887)
      99.991% <= 0.607 milliseconds (cumulative count 4999546)
      99.999% <= 0.703 milliseconds (cum<p>Cumulative distribution of latencies:
      0.028% <= 0.103 milliseconds (cumulative count 1377)
      0.985% <= 0.207 milliseconds (cumulative count 49228)
      60.094% <= 0.303 milliseconds (cumulative count 3004705)
      96.325% <= 0.407 milliseconds (cumulative count 4816230)
      99.938% <= 0.503 milliseconds (cumulative count 4996887)
      99.991% <= 0.607 milliseconds (cumulative count 4999546)
      99.999% <= 0.703 milliseconds (cumulative count 4999927)
      100.000% <= 0.807 milliseconds (cumulative count 4999982)
      100.000% <= 0.903 milliseconds (cumulative count 4999987)
      100.000% <= 1.903 milliseconds (cumulative count 4999990)
      100.000% <= 2.007 milliseconds (cumulative count 4999995)
      100.000% <= 2.103 milliseconds (cumulative count 4999997)
      100.000% <= 3.103 milliseconds (cumulative count 5000000)
      
      Summary:
        throughput summary: 332955.97 requests per second
        latency summary (msec):
                avg       min       p50       p95       p99       max
              0.292     0.048     0.287     0.399     0.447     2.143

      Bagian Summary di akhir hasil benchmark sebelumnya menunjukkan bahwa sekitar 330.000 permintaan dapat diproses per detik. Untuk informasi tentang metrik dalam hasil benchmark Redis, lihat bagian Metrik Umum dalam Hasil Benchmark redis-benchmark dari topik ini.