Nonaktifkan fitur estimasi IPVS untuk mencegah jitter jaringan - Alibaba Cloud Linux

Secara default, modul IP Virtual Server (IPVS) pada sistem operasi Linux mengaktifkan fitur estimasi. Dalam skenario server besar yang menampung banyak layanan, seperti kluster Kubernetes berskala besar, fitur ini dapat menyebabkan latensi puluhan hingga ratusan milidetik atau jitter jaringan saat memproses permintaan jaringan. Anda dapat menonaktifkan fitur estimasi IPVS pada gambar Alibaba Cloud Linux. Jika Anda tidak memerlukan statistik seperti jumlah paket dan koneksi, kami sarankan menonaktifkan fitur ini untuk menghilangkan overhead tambahan dan jitter selama pengumpulan statistik.

Informasi latar belakang

IPVS

IPVS adalah komponen kernel Linux yang mengarahkan permintaan layanan TCP dan UDP ke server nyata untuk mengimplementasikan operasi Server Load Balancer (SLB) Lapisan 4 dalam mode kernel. Di kontainer Kubernetes, IPVS berfungsi sebagai proxy untuk komponen Kube-proxy untuk meneruskan permintaan layanan ke pod backend guna menyeimbangkan beban layanan Kubernetes. Pada kluster berskala besar, IPVS memberikan respons lebih cepat dan pemanfaatan sumber daya lebih tinggi untuk memenuhi persyaratan distribusi lalu lintas antar-layanan dan penyeimbangan beban.

Catatan

Kube-proxy adalah komponen penting dalam kluster Kubernetes yang mengimplementasikan fitur proxy jaringan dan penyeimbangan beban untuk layanan.

Fitur Estimasi IPVS dan Penyebab Latensi Permintaan Jaringan atau Jitter

IPVS memiliki timer bawaan bernama estimation_timer, yang digunakan untuk menghitung jumlah koneksi dan jumlah paket data yang dikirim dan diterima oleh setiap layanan di setiap irisan waktu. Timer ini diaktifkan secara default.

Fitur estimasi IPVS menyebabkan latensi permintaan jaringan atau jitter karena alasan berikut:

Seiring dengan meningkatnya jumlah layanan, jumlah komputasi bertambah secara linear. Untuk mengurangi overhead komputasi dan sumber daya penyimpanan, kernel menyimpan data statistik berdasarkan CPU. Seiring dengan meningkatnya jumlah CPU yang digunakan oleh kernel, jumlah CPU yang harus dilalui kernel untuk mengumpulkan statistik juga meningkat. Jika jumlah layanan dan CPU meningkat, overhead statistik dari setiap estimation_timer secara signifikan meningkat.
Di Linux, eksekusi timer diberi prioritas tinggi. Ketika tugas timer dieksekusi, tugas lain tidak dapat dieksekusi. Hal ini mengakibatkan penundaan dalam penerimaan paket. Latensi puluhan hingga ratusan milidetik terjadi ketika aplikasi mengirimkan permintaan ke server. Dalam hal ini, jitter terjadi selama operasi ping pada server.

Batasan

Anda hanya dapat menonaktifkan fitur estimasi IPVS untuk gambar Alibaba Cloud Linux yang menjalankan versi kernel berikut:

Alibaba Cloud Linux 2: 4.19.91-22 atau lebih baru
Alibaba Cloud Linux 3: 5.10.134-14 atau lebih baru

Nonaktifkan fitur estimasi untuk menyelesaikan masalah jitter jaringan

Penting

Ketika Anda menonaktifkan fitur estimasi IPVS menggunakan perintah seperti sudo ipvsadm -Ln --stats, fitur statistik layanan IPVS menjadi tidak tersedia. Akibatnya, Anda tidak dapat memperoleh perubahan dalam jumlah koneksi dan jumlah paket yang diterima untuk layanan yang sesuai. Evaluasi dampaknya pada bisnis yang relevan. Lanjutkan dengan hati-hati ketika menonaktifkan fitur estimasi.

Hubungkan ke instance Elastic Compute Service (ECS).
Untuk informasi lebih lanjut, lihat Gunakan Workbench untuk terhubung ke instance Linux melalui SSH.
Nonaktifkan fitur estimasi pada instance ECS.
1. Jalankan perintah berikut untuk membuka file konfigurasi sysctl bernama /etc/sysctl.conf:
```
sudo vim /etc/sysctl.conf
```
2. Tambahkan baris berikut di akhir file. Kemudian, simpan dan tutup file.
```
net.ipv4.vs.run_estimation = 0
```
3. Jalankan perintah berikut untuk memungkinkan konfigurasi yang dimodifikasi berlaku:
```
sudo sysctl -p
```
4. Dalam skenario kontainer, Anda harus melakukan operasi berikut untuk menonaktifkan fitur estimasi.
  - Skenario 1: Setiap kali modul IPVS dimuat ulang, Anda harus menjalankan perintah sysctl -p untuk memungkinkan konfigurasi berlaku. Kami sarankan menggunakan file konfigurasi modprobe untuk secara otomatis menjalankan perintah sysctl -p setiap kali sistem memuat ulang modul IPVS. Dengan cara ini, konfigurasi sysctl.conf berlaku dan fitur estimasi dinonaktifkan.
    1. Buat file konfigurasi modprobe. Dalam contoh berikut, file ipvs.conf dibuat.
      sudo vim /etc/modprobe.d/ipvs.conf
    2. Tambahkan konten berikut ke file. Kemudian, simpan dan tutup file.
      options ip_vs run_estimation=0 post-up sysctl -p
  - Skenario 2: Jika Anda mengonfigurasi aturan IPVS untuk kontainer seperti kontainer namespace jaringan, Anda harus menonaktifkan fitur estimasi untuk setiap kontainer.
    Catatan
    Untuk Alibaba Cloud Container Service for Kubernetes (ACK), mode proxy default dari Kube-proxy adalah IPVS, dan aturan IPVS dikonfigurasi di sisi host. Dalam hal ini, Anda tidak perlu menonaktifkan fitur estimasi untuk setiap kontainer. Jika Anda menggunakan ACK, lewati operasi ini.
5. Verifikasi bahwa fitur estimasi dinonaktifkan.
  - Metode 1: Jalankan perintah sudo sysctl net.ipv4.vs.run_estimation. Jika 0 dikembalikan, fitur estimasi dinonaktifkan.
  - Metode 2: Jalankan perintah sudo ipvsadm -Ln --stats. Jika nilai statistik tidak berubah, fitur estimasi dinonaktifkan.
    Penting
    Jika Anda belum menginstal alat ipvsadm, jalankan perintah sudo yum install ipvsadm untuk menginstal alat tersebut.

Apa yang harus dilakukan selanjutnya

Verifikasi bahwa masalah jitter dan latensi jaringan terselesaikan

Metode 1: Ping alamat IP atau nama domain instance ECS. Jika nilai latensi tetap relatif stabil dan dalam rentang yang wajar, masalah latensi jaringan terselesaikan.
Metode 2: Gunakan alat pengujian kinerja jaringan untuk melakukan pengujian latensi dan jitter komprehensif untuk memeriksa apakah latensi ekor panjang ada. Jika frekuensi dan durasi latensi ekor panjang berkurang secara signifikan, atau latensi ekor panjang tidak terulang, masalah jitter dan latensi jaringan terselesaikan.
Catatan
Jika Anda menonaktifkan fitur estimasi tetapi jitter jaringan atau latensi masih ada, Anda dapat menggunakan fitur diagnostik jaringan di konsol Container Service for Kubernetes (ACK) untuk mendiagnosis masalah tersebut. Untuk informasi lebih lanjut, lihat Diagnostik Jaringan.

Aktifkan kembali fitur estimasi

Jika Anda ingin mengaktifkan kembali fitur estimasi, ubah nilai run_estimation di file konfigurasi sysctl dan modprobe menjadi 1.