NetACC adalah library user-mode yang mempercepat aplikasi TCP melalui eRDMA menggunakan antarmuka socket yang kompatibel, tanpa memerlukan perubahan kode.
NetACC saat ini berada dalam tahap pratinjau publik.
Kasus penggunaan
NetACC cocok untuk skenario dengan overhead jaringan tinggi.
Workload dengan paket per detik (PPS) tinggi, terutama traffic paket kecil. NetACC mengurangi overhead CPU dan meningkatkan throughput, misalnya saat Redis memproses permintaan.
Workload sensitif latensi: eRDMA memberikan latensi yang lebih rendah dibandingkan TCP, sehingga mempercepat respons jaringan.
Koneksi singkat yang sering: NetACC mempercepat pembentukan koneksi, mengurangi waktu pembuatan, dan meningkatkan performa.
Menginstal NetACC
Metode instalasi
Instal NetACC menggunakan driver eRDMA
NetACC diinstal secara otomatis bersama driver eRDMA. Lihat Mengaktifkan eRDMA pada topik "Menggunakan eRDMA".
Instalasi terpisah
Untuk menginstal versi spesifik NetACC atau menggunakannya sementara pada instans ECS, jalankan perintah berikut:
sudo curl -fsSL https://netacc-release.oss-cn-hangzhou.aliyuncs.com/release/netacc_download_install.sh | sudo sh
File konfigurasi dan parameter yang dioptimalkan
Setelah instalasi, file konfigurasi
/etc/netacc.confdibuat secara otomatis. Anda dapat menyesuaikan parameter berikut berdasarkan workload Anda:NACC_SOR_MSG_SIZE: Ukuran buffer.NACC_RDMA_MR_MIN_INC_SIZE: Ukuran Memory Region (MR) pertama yang didaftarkan oleh RDMA.NACC_RDMA_MR_MAX_INC_SIZE: Ukuran MR maksimum yang didaftarkan oleh RDMA.NACC_SOR_CONN_PER_QP: Jumlah koneksi per Queue Pair (QP).NACC_SOR_IO_THREADS: Jumlah thread NetACC.
Contoh berikut menunjukkan sampel file konfigurasi:
Gunakan NetACC
Gunakan NetACC dalam aplikasi dengan menjalankan perintah netacc_run atau mengatur Variabel lingkungan LD_PRELOAD. Baca bagian Catatan Penggunaan sebelum melanjutkan.
Menjalankan perintah netacc_run
netacc_run memuat NetACC saat startup aplikasi. Tambahkan awalan netacc_run pada perintah aplikasi Anda untuk memulai aplikasi dengan NetACC aktif.
netacc_run menerima parameter seperti -t (thread I/O) dan -p (koneksi per QP). Parameter yang ditentukan saat menjalankan perintah netacc_run akan menimpa pengaturan dalam file konfigurasi.
Contoh:
Contoh berikut menggunakan Redis. Tambahkan awalan
netacc_runpada perintah Redis untuk memulai Redis dengan NetACC.Mulai Redis dengan NetACC:
netacc_run redis-serverMulai redis-benchmark dengan NetACC:
netacc_run redis-benchmark
Mengonfigurasi variabel lingkungan LD_PRELOAD
Variabel lingkungan LD_PRELOAD menentukan shared library yang dimuat sebelumnya saat startup program. Atur variabel LD_PRELOAD ke library NetACC untuk mengotomatiskan pemuatan.
Cari lokasi dynamic library NetACC:
ldconfig -p | grep netaccContoh output:
[ecs-user@i ~]$ ldconfig -p | grep netacc libnetacc-preload.so (libc6,x86-64) => /lib64/libnetacc-preload.so libnetacc_cx.so (libc6,x86-64) => /lib64/libnetacc_cx.so [ecs-user@i ~]$Atur Variabel lingkungan
LD_PRELOADke shared library NetACC:LD_PRELOAD=/lib64/libnetacc-preload.so your_applicationGanti
your_applicationdengan aplikasi target.Contoh (Redis):
Mulai Redis dengan NetACC:
LD_PRELOAD=/lib64/libnetacc-preload.so redis-serverMulai redis-benchmark dengan NetACC:
LD_PRELOAD=/lib64/libnetacc-preload.so redis-benchmark
Memantau NetACC
netacc_ss adalah tool pemantauan NetACC. Jalankan perintah netacc_ss untuk memeriksa status transfer data proses TCP yang dipercepat oleh NetACC. Anda dapat menjalankannya di server maupun client.
Kueri status transfer data proses TCP yang dipercepat NetACC:
netacc_ss -s all -p <Process ID>Untuk mencari ID proses, jalankan ps -ef | grep <Process name>.
Catatan penggunaan
Hanya koneksi TCP yang dibangun melalui ENI dengan fitur eRDMA Interface (ERI) aktif yang dikonversi menjadi koneksi RDMA. Koneksi lainnya tetap menggunakan TCP.
CatatanJika tidak ada ujung komunikasi yang memiliki ENI dengan ERI aktif, NetACC akan kembali menggunakan TCP.
Deskriptor file socket RDMA tidak dapat dikirim ke proses lain melalui IPC kernel.
CatatanKoneksi RDMA terikat pada QP spesifik yang tidak dapat dibagikan antarproses.
NetACC tidak mendukung IPv6. Untuk mencegah konflik, nonaktifkan IPv6 dengan menjalankan
sysctl net.ipv6.conf.all.disable_ipv6=1.NetACC tidak mendukung pembaruan hot update. Hentikan semua proses yang dipercepat NetACC sebelum memperbarui NetACC.
NetACC tidak mendukung opsi socket TCP tertentu, seperti SO_REUSEPORT, SO_ZEROCOPY, dan TCP_INQ.
NetACC bergantung pada glibc dan tidak dapat berjalan di lingkungan non-glibc, seperti Golang.
Sebelum menggunakan NetACC, atur memori yang dapat dikunci maksimum ke unlimited dengan menjalankan
ulimit -l unlimited.CatatanJika nilai ulimit -l terlalu kecil, RDMA mungkin gagal mendaftarkan MR yang melebihi batas.
Saat aplikasi yang dipercepat NetACC mendengarkan pada Port TCP, NetACC juga mendengarkan pada Port RDMA (Port TCP + 20.000) untuk transfer data RDMA.
CatatanJika Port RDMA terpakai atau berada di luar rentang yang valid, koneksi akan gagal. Alokasikan Port dengan benar untuk menghindari konflik.
Proses anak tidak mewarisi koneksi socket yang dibangun oleh proses induk setelah panggilan
fork().CatatanProses anak harus membangun koneksi socket baru.
Penggunaan ulang QP dinonaktifkan secara default.
Untuk mengaktifkan penggunaan ulang QP, atur koneksi per QP (-p) ke nilai lebih besar dari 1 melalui parameter
NACC_SOR_CONN_PER_QPdalam file konfigurasi NetACC atau perintahnetacc_run.Penggunaan ulang QP mengurangi jumlah QP, overhead manajemen, dan konsumsi resource, sehingga meningkatkan efisiensi komunikasi dalam skenario konkurensi tinggi.
Dengan penggunaan ulang QP yang diaktifkan, beberapa koneksi RDMA mungkin berbagi nomor Port lokal karena nomor Port mengidentifikasi QP, bukan koneksi individual.
CatatanJika aplikasi Anda memerlukan nomor Port lokal yang berbeda (misalnya, untuk layanan yang berbeda), nonaktifkan penggunaan ulang QP untuk menghindari konflik Port.
Menggunakan NetACC dalam aplikasi Redis
Manfaat NetACC untuk aplikasi Redis
Peningkatan throughput sistem
NetACC mengurangi overhead CPU dan meningkatkan throughput untuk workload Redis dengan PPS tinggi.
Respons jaringan yang lebih cepat
NetACC memanfaatkan latensi rendah eRDMA untuk mempercepat respons jaringan Redis.
NetACC dalam benchmark performa Redis
Redis-benchmark adalah utilitas bawaan Redis yang mengukur performa server dengan mensimulasikan permintaan client bersamaan.
Skenario pengujian
Gunakan NetACC dengan redis-benchmark untuk mensimulasikan 100 client dalam 4 thread yang mengirimkan 5 juta permintaan SET.
Prasyarat
Buat dua instans ECS yang mendukung eRDMA. Pilih Auto-install eRDMA Driver dan eRDMA Interface untuk mengaktifkan ERI pada ENI primer. Gunakan satu instans sebagai server Redis dan yang lainnya sebagai client.
Konfigurasi instans:
Image: Alibaba Cloud Linux 3
Tipe instans: ecs.g8ae.4xlarge
Alamat IP pribadi ENI primer: 172.17.0.90 (server) dan 172.17.0.91 (client). Ganti dengan nilai aktual dalam benchmark Anda.
CatatanBenchmark ini mengaktifkan ERI pada ENI primer. 172.17.0.90 adalah Alamat IP pribadi ENI primer dari instans server Redis.
Jika ERI diaktifkan pada ENI sekunder, gunakan Alamat IP pribadinya. Lihat Mengaktifkan eRDMA pada topik "Menggunakan eRDMA".
Prosedur
Hubungkan kedua instans ECS (server dan client Redis).
Lihat Menggunakan Workbench untuk login ke instans Linux melalui SSH.
Verifikasi bahwa driver eRDMA telah terinstal.
Setelah instans dimulai, jalankan
ibv_devinfountuk memeriksa status driver eRDMA.Output berikut menunjukkan driver telah terinstal.
[root@redis-server ~]# ibv_devinfo hca_id: erdma_0 transport: eRDMA (1) fw_ver: 0.2.0 node_guid: 0216:3eff:fe10:d924 sys_image_guid: 0216:3eff:fe10:d924 vendor_id: 0x1ded vendor_part_id: 4223 hw_ver: 0x0 phys_port_cnt: 1 port: 1 state: PORT_ACTIVE (4) max_mtu: 1024 (3) active_mtu: 1024 (3) sm_lid: 0 port_lid: 0 port_lmc: 0x00 link_layer: Ethernet [root@redis-server ~]#Output berikut menunjukkan driver sedang diinstal. Tunggu beberapa menit dan coba lagi.
[root@ixxxxxxxxxxxxx Z ~]# ibv_deninfo -bash: ibv_deninfo: command not found
Instal Redis di kedua instans:
sudo yum install -y redisOutput berikut menunjukkan Redis telah terinstal.
[root@redis-server ~]# sudo yum install -y redis Last metadata expiration check: 0:06:35 ago on Tue 03 Sep 2024 10:50:07 AM CST. Dependencies resolved. ================================================================================ Package Architecture Version Repository Size ================================================================================ Installing: redis x86_64 6.2.7-1.0.2.al8 alinux3-updates 1.2 M Transaction Summary ================================================================================ Install 1 Package Total download size: 1.2 M Installed size: 4.3 M Downloading Packages: redis-6.2.7-1.0.2.al8.x86_64.rpm 15 MB/s | 1.2 MB 00:00 -------------------------------------------------------------------------------- Total 15 MB/s | 1.2 MB 00:00 Running transaction check Transaction check succeeded. Running transaction test Transaction test succeeded. Running transaction Preparing : 1/1 Running scriptlet: redis-6.2.7-1.0.2.al8.x86_64 1/1 Installing : redis-6.2.7-1.0.2.al8.x86_64 1/1 Running scriptlet: redis-6.2.7-1.0.2.al8.x86_64 1/1 Verifying : redis-6.2.7-1.0.2.al8.x86_64 1/1 Installed: redis-6.2.7-1.0.2.al8.x86_64 Complete! [root@redis-server ~]#Lakukan benchmark performa Redis dengan
redis-benchmark.Melakukan benchmark menggunakan NetACC
Pada instans server Redis, mulai Redis dengan NetACC:
netacc_run redis-server --port 6379 --protected-mode noCatatanGanti 6379 dengan Port aktual Anda. Lihat Parameter umum yang digunakan bersama perintah redis-server.
Contoh ini menggunakan
netacc_run. Untuk metode lain, lihat Menggunakan NetACC.
Output berikut menunjukkan Redis berhasil dimulai.
[root@redis-server ~]# netacc_run redis-server --port 6379 --protected-mode no 114379:C 03 Sep 2024 10:59:24.477 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 114379:C 03 Sep 2024 10:59:24.477 # Redis version=6.2.7, bits=64, commit=00000000, modified=0, pid=114379, just started 114379:C 03 Sep 2024 10:59:24.477 # Configuration loaded 114379:M 03 Sep 2024 10:59:24.478 * monotonic clock: POSIX clock_gettime 114379:M 03 Sep 2024 10:59:24.479 # A key '__redis__compare_helper' was added to Lua globals which is not on the globals allow list nor listed on the deny list. Redis 6.2.7 (00000000/0) 64 bit Running in standalone mode Port: 6379 PID: 114379 https://redis.io 114379:M 03 Sep 2024 10:59:24.479 # Server initialized 114379:M 03 Sep 2024 10:59:24.479 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 114379:M 03 Sep 2024 10:59:24.479 * Ready to accept connectionsPada instans client Redis, mulai redis-benchmark dengan NetACC:
netacc_run redis-benchmark -h 172.17.0.90 -p 6379 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t setCatatanGanti 172.17.0.90 dengan Alamat IP server Redis dan 6379 dengan Port aktual. Lihat Parameter perintah umum yang digunakan bersama redis-benchmark.
Hasil benchmark dapat bervariasi tergantung kondisi jaringan. Data dalam topik ini hanya untuk referensi.
Ringkasan menunjukkan ~770.000 permintaan/detik. Untuk detail metrik, lihat Metrik umum dalam hasil benchmark redis-benchmark.
Melakukan benchmark tanpa NetACC
Pada instans server Redis, mulai Redis:
redis-server --port 6379 --protected-mode no --saveCatatanGanti 6379 dengan Port aktual Anda. Lihat Parameter umum yang digunakan bersama perintah redis-server.
Output berikut menunjukkan Redis berhasil dimulai.
[root@redis-server ~]# redis-server --port 6379 --protected-mode no --save 114198:C 03 Sep 2024 10:57:28.957 # oO0OoO0OoO0Oo Redis is starting oO0OoO0OoO0Oo 114198:C 03 Sep 2024 10:57:28.957 # Redis version=6.2.7, bits=64, commit=00000000, modified=0, pid=114198, just started 114198:C 03 Sep 2024 10:57:28.957 # Configuration loaded 114198:M 03 Sep 2024 10:57:28.958 * monotonic clock: POSIX clock_gettime 114198:M 03 Sep 2024 10:57:28.958 # A key '__redis__compare_helper' was added to Lua globals which is not on the globals allow list nor listed on the deny list. Redis 6.2.7 (00000000/0) 64 bit Running in standalone mode Port: 6379 PID: 114198 https://redis.io 114198:M 03 Sep 2024 10:57:28.958 # Server initialized 114198:M 03 Sep 2024 10:57:28.958 # WARNING overcommit_memory is set to 0! Background save may fail under low memory condition. To fix this issue add 'vm.overcommit_memory = 1' to /etc/sysctl.conf and then reboot or run the command 'sysctl vm.overcommit_memory=1' for this to take effect. 114198:M 03 Sep 2024 10:57:28.958 * Ready to accept connectionsPada instans client Redis, mulai redis-benchmark:
redis-benchmark -h 172.17.0.90 -c 100 -n 5000000 -r 10000 --threads 4 -d 512 -t setCatatanGanti 172.17.0.90 dengan Alamat IP server Redis dan 6379 dengan Port aktual. Lihat Parameter perintah umum yang digunakan bersama redis-benchmark.
Hasil benchmark dapat bervariasi tergantung kondisi jaringan. Data dalam topik ini hanya untuk referensi.
Ringkasan menunjukkan ~330.000 permintaan/detik. Untuk detail metrik, lihat Metrik umum dalam hasil benchmark redis-benchmark.