:Sesuaikan RSS untuk ENI

Prasyarat

• Custom RSS diluncurkan secara bertahap. Fitur ini tersedia di wilayah berikut:

  Nama Wilayah	ID Wilayah
  China (Hong Kong)	cn-hongkong

• Hanya beberapa keluarga instans multi-queue yang mendukung custom RSS, termasuk keluarga instans tujuan umum g9i dan keluarga instans yang dioptimalkan untuk memori r9i.

  Panggil operasi API DescribeInstanceTypes untuk memeriksa dukungan. RssSupport=`true` menunjukkan fitur ini didukung.

• Direkomendasikan menggunakan gambar Alibaba Cloud Linux 3.2104 LTS 64-bit.

  • Jika Anda menggunakan gambar publik lain, versi kernel harus 6.12 atau lebih baru.

  • Jika Anda menggunakan fitur custom RSS dalam aplikasi DPDK, versi DPDK harus 21.11 atau lebih baru.

Cara mengaktifkan atau menonaktifkan

Custom RSS nonaktif secara default. Anda dapat mengaktifkan atau menonaktifkannya saat membuat ENI atau setelah ENI dibuat.

• Saat memanggil CreateNetworkInterface, atur EnableRss dalam EnhancedNetwork menjadi true atau false.

  Custom RSS berlaku setelah ENI disambungkan ke instans.

• Panggil ModifyNetworkInterfaceAttribute dan atur EnableRss dalam EnhancedNetwork menjadi true atau false. Setelah mengaktifkan atau menonaktifkan, perubahan berlaku saat ENI disambungkan ulang:

  • Untuk ENI sekunder yang disambungkan ke instans, Anda harus melepas ENI lalu menyambungkan ENI agar perubahan berlaku.

  • Untuk ENI primer, restart instans agar perubahan berlaku.

• Panggil DescribeNetworkInterfaceAttribute dengan Attribute diatur ke enhancedNetwork untuk memeriksa apakah custom RSS diaktifkan. EnableRSS=true berarti diaktifkan; false berarti dinonaktifkan.

  Jika RSS belum dimodifikasi untuk ENI, operasi ini tidak mengembalikan parameter EnableRSS, yang berarti fitur tersebut tidak diaktifkan.

Konfigurasi kunci hash

Buat ulang kunci hash RSS jika distribusi traffic tidak merata (misalnya, rx_packets beberapa antrian jauh lebih tinggi daripada yang lain), atau untuk mencegah penyerang menginferensi pola traffic dengan merekayasa balik nilai hash.

1. Lihat kunci hash saat ini dari ENI.

   Driver ENI menghasilkan kunci hash default sepanjang 40 byte saat ENI dimuat.

   ethtool -x eth0

   

2. Buat kunci acak baru menggunakan OpenSSL.

   openssl rand -hex 40 | fold -w2 | paste -sd: -

3. Terapkan kunci baru ke ENI.

   Penting

   Ini adalah pengaturan sementara. Pengaturan ini tidak berlaku setelah instans direstart atau ENI disambungkan ulang. Driver ENI secara otomatis menginisialisasi konfigurasi default acak.

   ethtool -X eth0 hkey <hash key>

   Ganti <hash key> dengan kunci baru yang Anda buat pada langkah sebelumnya.

4. Verifikasi bahwa kunci baru telah berlaku.

   ethtool -x eth0

   Output menunjukkan bahwa kunci baru telah berlaku:

   

Konfigurasi tabel indireksi

Mode distribusi tabel indireksi RSS merupakan mekanisme inti yang memetakan nilai hash ke antrian penerima tertentu. Dengan menggunakan tabel indireksi yang telah ditentukan, hasil perhitungan hash dikonversi menjadi indeks antrian. Hal ini memungkinkan distribusi traffic fleksibel di berbagai core.

Mode distribusi berbeda, seperti distribusi seragam dan distribusi berbobot, secara langsung memengaruhi cara traffic didistribusikan ke core CPU. Hal ini selanjutnya memengaruhi throughput sistem, latensi, pemanfaatan resource, dan kinerja layanan.

Pilih mode distribusi berdasarkan skenario Anda.

• Mode distribusi seragam: N antrian pertama mengisi bucket hash secara berulang. Cocok untuk skenario high-concurrency umum.

  ethtool -X eth0 equal <Jumlah antrian N>

  Jika nilai diatur ke 64, tabel indireksi diisi secara berulang dengan 0,1,2,...,63,0,1,2...63,.

  

• Distribusi berbobot: Alokasikan bucket hash berdasarkan rasio bobot. Cocok untuk skenario dengan prioritas bisnis berbeda (misalnya, antrian 0 memproses traffic real-time dan antrian 1 memproses tugas latar belakang) atau kinerja CPU campuran.

  ethtool -X eth0 weight <bobot antrian 0> <bobot antrian 1> ...

  Dalam contoh berikut, antrian 0 mendapatkan 60% dan antrian 1 mendapatkan 40%:

  Catatan

  Jika terdapat empat antrian total, tetapi Anda hanya mengatur bobot untuk dua antrian, tabel indireksi hanya akan menghasilkan pemetaan untuk antrian 0 dan antrian 1.

  ethtool -X eth0 weight 6 4

  

• Distribusi antrian parsial: Mulai dari antrian tertentu, gunakan antrian berurutan untuk mengisi bucket hash secara berulang. Cocok untuk mengarahkan traffic ke rentang CPU tertentu, seperti node NUMA.

  ethtool -X eth0 start <antrian awal> equal <jumlah antrian>

  Dalam contoh berikut, antrian 2–41 (40 antrian mulai dari antrian 2) mengisi bucket hash:

  ethtool -X eth0 start 2 equal 40

  

Prasyarat

Beli dua instance ECS dengan konfigurasi berikut:

• Instance ECS pengirim (10.0.0.252): Instans yang diinstal dengan hping3 untuk menghasilkan traffic dengan fitur berbeda.

• Instance ECS penerima: Instans yang tipenya mendukung multi-queue untuk ENI, dengan ENI sekunder yang disambungkan (10.0.0.5) dan custom RSS diaktifkan pada ENI sekunder eth1.

  Catatan

  • Contoh ini menggunakan empat antrian untuk pengujian.

  • Untuk menghilangkan dampak traffic login SSH pada ENI primer, custom RSS diaktifkan pada ENI sekunder eth1 untuk pengujian.

• Konektivitas jaringan: Kedua instance ECS berada dalam grup keamanan yang sama dan dapat berkomunikasi satu sama lain melalui jaringan internal.

Prosedur

1. Login ke instance ECS penerima, periksa konfigurasi RSS ENI sekunder, dan konfirmasi distribusi traffic yang diharapkan. Lihat Lihat konfigurasi RSS ENI.

   

2. Login ke instance ECS pengirim dan instal hping3.

   yum install -y hping3

3. Pada instance penerima, pantau jumlah paket antrian secara real time.

   watch -n 1 "ethtool -S eth1 | grep rx[0,1,2,3]_packets"

   Ganti konfigurasi nomor antrian dengan konfigurasi aktual ENI penerima.

4. Login ke instance ECS pengirim dan simulasi pola traffic berbeda.

   • Skenario 1: Kirim 10.000 paket SYN dengan kecepatan tinggi ke alamat IP penerima dengan port tujuan acak. Hal ini memastikan hash traffic tersebar dan memverifikasi keseimbangan hash.

     sudo hping3 10.0.0.5 -S -a 10.0.0.252 --rand-dest -p 0 --baseport 10000 -c 10000 -i u100 -I eth0

     • rand-dest: Port tujuan acak

     • -p 0: Digunakan dengan rand-dest

     • --baseport 10000: Nilai awal untuk port sumber.

     • -c 10000: Kirim 10.000 paket

     • -i u100: Menentukan interval 100 mikrodetik antar paket untuk pengiriman berkecepatan tinggi.

     • -I eth0: Digunakan dengan rand-dest untuk menentukan antarmuka jaringan pengirim

     Pada instance penerima, jumlah paket keempat antrian seharusnya meningkat secara merata:

     

   • Skenario 2: Kirim traffic dengan alamat IP sumber dan port tetap. Hal ini menguji apakah traffic yang sama dipetakan ke antrian yang sama dan memverifikasi konsistensi hash.

     Perintah berikut mengirim 10.000 paket TCP SYN ke target 10.0.0.5:80, dengan IP sumber tetap ke 10.0.0.252 dan port sumber tetap ke 12345.

     sudo hping3 10.0.0.5 -S -p 80 -c 10000 -s 12345 -a 10.0.0.252 --keep -i u100

     • Nilai indeks hash dihitung berdasarkan skrip RSS. Traffic diharapkan diproses oleh antrian 0:

       

     • Hasil pengamatan aktual pada instance ECS penerima (10.0.0.5):

       

5. Jika distribusi traffic tidak sesuai harapan (misalnya, beban suatu antrian jauh lebih tinggi), optimalkan dengan menyesuaikan kunci hash atau mengonfigurasi tabel indireksi.

Instal dan konfigurasi DPDK pada instance ECS

Konfigurasi RSS menggunakan testpmd

Testpmd adalah tool pengujian DPDK untuk memverifikasi fitur driver ENI dan debugging aplikasi bidang data. Lihat Fungsi Runtime Testpmd.

1. Sambungkan ke instans menggunakan VNC.

2. Jalankan tool pengujian forwarding paket DPDK testpmd.

   dpdk-testpmd -a 0000:00:05.0 --socket-mem 1024 -- -i --portmask=0x1 --rxq=64 --txq=64  --forward-mode=rxonly

   • -a 0000:00:05.0: Menyambungkan ENI pada alamat PCI 0000:00:05.0 ke DPDK. Jalankan dpdk-devbind.py --status untuk menemukan alamat PCI.

   • --socket-mem 1024: Mengalokasikan sebelumnya memori huge page 1024 MB per node NUMA.

   • -i: Memulai mode command-line interaktif untuk menyesuaikan konfigurasi secara dinamis dan melihat statistik. Masukkan quit untuk keluar.

   • --portmask=0x1: Mengaktifkan mask port 0x1 (biner 0001), hanya menggunakan ENI pertama (alamat PCI 0000:00:05.0).

     • Setiap bit biner portmask berkorespondensi dengan port (0x1 mengaktifkan port 0, 0x3 mengaktifkan port 0 dan 1).

     • Hanya satu perangkat (0000:00:05.0) yang disambungkan, sehingga nomor port DPDK-nya adalah 0.

   • --rxq=64 / --txq=64: Mengatur jumlah antrian RX dan TX per port menjadi 64 untuk pemrosesan multi-queue. Ganti 64 dengan jumlah antrian ENI aktual.

   • --forward-mode=rxonly: Mode hanya menerima (paket diterima dan dibuang). Digunakan untuk menguji kinerja penerimaan ENI atau untuk pengambilan paket.

3. Masuk ke mode interaktif dan kueri konfigurasi RSS saat ini.

   • Kueri informasi konfigurasi hash: show port info <port_id>

     port_id: Port tersebut. Dalam contoh ini, port 0.

     Klik untuk melihat contoh output

     

   • Kueri kunci hash: show port <port_id> rss-hash key

     

   • Kueri konfigurasi tabel indireksi: show port <port_id> rss reta <size> <mask0, mask1...>

     • size: Jumlah entri tabel indireksi yang dikueri. Nilainya tetap pada 128.

     • mask0, mask1: Mask yang digunakan untuk memfilter rentang indeks hash yang akan ditampilkan, yang ditentukan dalam format heksadesimal. Misalnya, mask0=0xff menunjukkan bahwa entri untuk indeks hash 0 hingga 7 ditampilkan.

       Ukuran tabel indireksi tetap pada 128. Diperlukan dua mask, masing-masing mencakup 64 blok indeks. Jalankan show port 0 rss reta 128 (0xffffffffffffffff,0xffffffffffffffff) untuk mengembalikan semua 128 pemetaan indeks-ke-antrian:

       Klik untuk melihat contoh output

       

4. Konfigurasi RSS berdasarkan kebutuhan Anda.

   • Konfigurasi kunci hash baru.

     Buat kunci acak baru dengan OpenSSL.

     port config <port_id> rss-hash-key (ipv4|ipv4-frag|\
                       ipv4-tcp|ipv4-udp|ipv4-sctp|ipv4-other|\
                       ipv6|ipv6-frag|ipv6-tcp|ipv6-udp|ipv6-sctp|\
                       ipv6-other|l2-payload|ipv6-ex|ipv6-tcp-ex|\
                       ipv6-udp-ex <string of hex digits \
                       (variable length, NIC dependent)>)

     Untuk TCP melalui IPv4, jalankan port config 0 rss-hash-key ipv4 6D5A56DA255B0EC24167253D43A38FB0D0CA2BCBAE7B30B477CB2DA38030F20C6A42B73BBEAC01FC untuk mengonfigurasi kunci hash dan verifikasi:

     

   • Konfigurasi tabel indireksi RSS untuk memetakan nilai hash ke antrian tertentu.

     port config all rss reta <hash,queue>,<hash,queue>..

     Konfigurasikan berdasarkan jumlah antrian aktual:

     • hash: Indeks hash. Rentang tergantung pada ukuran tabel indireksi (misalnya, 0–63 untuk 64 entri).

     • queue: Nomor antrian penerima target.

Terapkan RSS dalam l3fwd

Untuk mengaktifkan RSS dalam aplikasi DPDK, implementasikan konfigurasi kunci hash dan tabel indireksi dalam kode Anda. Berikut menggunakan L3FWD sebagai contoh.

L3FWD (Layer 3 Forwarding) adalah aplikasi contoh DPDK yang menunjukkan routing paket berbasis IP berkinerja-tinggi menggunakan zero-copy dan Polling Mode Drivers (PMDs).

1. Modifikasi kode sumber L3FWD dalam DPDK (examples/l3fwd/main.c).

   • Modifikasi bagian inisialisasi port static struct rte_eth_conf port_conf dalam kode contoh L3FWD.

     Klik untuk melihat modifikasi kode

     #define RSS_HASH_KEY_LENGTH 	40
     #define RSS_RETA_SIZE 			128
     
     static uint8_t hash_key[RSS_HASH_KEY_LENGTH] = {
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
     };
     
     static struct rte_eth_conf port_conf = {
     	.rxmode = {
     		.mq_mode = RTE_ETH_MQ_RX_RSS,
     		.offloads = RTE_ETH_RX_OFFLOAD_UDP_CKSUM | RTE_ETH_RX_OFFLOAD_TCP_CKSUM,
     	},
     	.rx_adv_conf = {
     		.rss_conf = {
     			.rss_key = hash_key,
     			.rss_hf = RTE_ETH_RSS_IP,
     			.rss_key_len = RSS_HASH_KEY_LENGTH,
     		},
     	},
     	.txmode = {
     		.mq_mode = RTE_ETH_MQ_TX_NONE,
     	},
     };

   • Tambahkan fungsi untuk mengonfigurasi tabel indireksi hash dan kunci hash.

     Klik untuk melihat kode yang ditambahkan

     /**
      * @brief Konfigurasikan RSS RETA (Redirection Table Array) untuk port tertentu.
      * 
      * @param port_id ID port yang akan dikonfigurasi.
      */
     
     void configure_rss_reta(uint16_t port_id) {
         struct rte_eth_rss_reta_entry64 reta_conf[RSS_RETA_SIZE / RTE_ETH_RETA_GROUP_SIZE];
         unsigned int i;
         uint16_t reta_size;
     	uint16_t nb_queues;
     	struct rte_eth_dev_info dev_info;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d melebihi maksimum port eth\n", port_id);
             return;
         }
     
         if (rte_eth_dev_info_get(port_id, &dev_info) != 0) {
     		printf("Gagal mendapatkan info perangkat untuk port %d\n", port_id);
     		return;
     	}
     
         reta_size = dev_info.reta_size;
         if (reta_size == 0) {
             printf("Perangkat tidak mendukung konfigurasi RSS RETA.\n");
             return;
         }
     
     	nb_queues = dev_info.nb_rx_queues;
     	if (nb_queues == 0) {
     		printf("antrian RX port %d = 0\n", port_id);
     		return;
     	}
     
         // Inisialisasi tabel RETA
         memset(reta_conf, 0, sizeof(reta_conf));
         for (i = 0; i < reta_size; i++) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].reta[i % RTE_ETH_RETA_GROUP_SIZE] = (uint16_t)(i % nb_queues);
         }
     
         // Konfigurasikan mask tabel RETA
         for (i = 0; i < reta_size; i += RTE_ETH_RETA_GROUP_SIZE) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].mask = UINT64_MAX;
         }
     
     	// Perbarui tabel RSS RETA ke perangkat
     	if (rte_eth_dev_rss_reta_update(port_id, reta_conf, reta_size) != 0) {
     		printf("Gagal memperbarui tabel RSS RETA untuk port %u\n", port_id);
     		return;
     	}
     }
     
     /**
      * @brief Konfigurasikan kunci hash RSS untuk port tertentu.
      * 
      * @param port_id ID port yang akan dikonfigurasi.
      */
     void configure_rss_hash_key(uint16_t port_id) {
         struct rte_eth_rss_conf rss_conf;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d melebihi maksimum port eth\n", port_id);
             return;
         }
     
         memset(&rss_conf, 0, sizeof(rss_conf));
         rss_conf.rss_key = hash_key;
         rss_conf.rss_key_len = sizeof(hash_key);
         
         // Perbarui kunci hash RSS ke perangkat
         if (rte_eth_dev_rss_hash_update(port_id, &rss_conf) != 0) {
             printf("Gagal memperbarui kunci hash RSS untuk port %u\n", port_id);
     		return;
         }
     }

   • Setelah rte_eth_dev_start, panggil fungsi konfigurasi baru.

     Klik untuk melihat kode pemanggilan dalam main

     @@ -1472,12 +1576,15 @@ main(int argc, char **argv)
                     /* Mulai perangkat */
     		ret = rte_eth_dev_start(portid);
     		if (ret < 0)
     			rte_exit(EXIT_FAILURE,
     				"rte_eth_dev_start: err=%d, port=%d\n",
     				ret, portid);
     				
     		configure_rss_reta(portid);
     		configure_rss_hash_key(portid);

2. Kompilasi ulang L3FWD setelah memodifikasi kode sumber.

   cd ~/dpdk-stable-22.11.3/
   rm -rf build
   # Inisialisasi direktori build dan konfigurasikan opsi proyek, tentukan untuk membangun contoh forwarding Lapisan 3 l3fwd.
   meson setup -Dexamples=l3fwd build
   cd build
   # Kompilasi.
   ninja
   # Instal file yang telah dikompilasi ke direktori sistem.
   sudo ninja install
   # Perbarui cache library bersama sistem.
   sudo ldconfig

3. Tentukan binding port-antrian-core dan mulai L3FWD.

   cd ~/dpdk-stable-22.11.3/build/examples
   ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(PORT_ID, QUEUE_ID, LCORE_ID), (PORT_ID, QUEUE_ID, LCORE_ID), ..." --parse-ptype

   • --config: Setiap tripel menentukan:

     • PORT_ID: ID port (dimulai dari 0).

     • QUEUE_ID: ID antrian penerima (dimulai dari 0).

     • LCORE_ID: ID core logis (dimulai dari 0).

   • Contoh berikut menggunakan dua core dan dua antrian:

     ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(0,0,0),(0,1,1)"  --parse-ptype

     • Tripel pertama (0,0,0): Core logis 0 (lcore0) memproses antrian 0 port 0.

     • Tripel kedua (0,1,1): Core logis 1 (lcore1) memproses antrian 1 port 0.

     

Contoh berikut menggunakan konfigurasi RSS dari sebuah ENI dengan 64 antrian:

Hitung nilai hash RSS menggunakan skrip dengan informasi 5-tuple berikut (sesuaikan nilai sesuai kebutuhan).

• Alamat IP tujuan (-r): 10.0.0.1, yaitu alamat IP ENI instans penerima yang telah dikonfigurasi RSS.

• Alamat IP sumber (-t): 10.0.0.251, yaitu alamat IP ENI pengirim.

• Port tujuan (-R): 26000

• Port sumber (-T): 18042

• Kunci hash: Diperoleh dari konfigurasi tabel indirection RSS.

python ali_ecs_rss_calc.py -r 10.0.0.1 -t 10.0.0.251 -R 26000 -T 18042 -k 69:e8:7c:56:bf:03:9f:63:d7:c5:e5:96:b3:00:36:93:02:8c:d2:8f:cc:a9:00:65:fd:c8:94:71:5f:fd:c8:de:7a:30:a9:73:b3:33:0c:c6

Skrip tersebut menghitung hash menggunakan algoritma toeplitz. Pada hasil di bawah ini, sistem menggunakan panjang tabel indirection sebesar 128. Indeks hash 117 berarti paket dipetakan ke antrian pada indeks 117.

Lihat tabel indirection: indeks 117 dipetakan ke antrian 53, sehingga paket diproses oleh antrian 53.