:Customize RSS for ENIs

Ön Koşullar

• Özel RSS aşamalı olarak sunulmaktadır. Aşağıdaki bölgelerde kullanılabilir:

  Bölge Adı	Bölge Kimliği
  China (Hong Kong)	cn-hongkong

• Yalnızca bazı çoklu kuyruk örnek aileleri özel RSS'i destekler; bunlara genel amaçlı örnek ailesi g9i ve bellek optimize edilmiş örnek ailesi r9i dahildir.

  Destek durumunu kontrol etmek için DescribeInstanceTypes API işlemini çağırın. RssSupport=true değeri, özelliğin desteklendiğini gösterir.

• Alibaba Cloud Linux 3.2104 LTS 64-bit görüntüsü önerilir.

  • Diğer genel görüntüleri kullanıyorsanız, çekirdek sürümü 6,12 veya üzeri olmalıdır.

  • Özel RSS özelliğini bir DPDK uygulamasında kullanıyorsanız, DPDK sürümü 21,11 veya üzeri olmalıdır.

Nasıl Etkinleştirilir veya Devre Dışı Bırakılır

Özel RSS varsayılan olarak devre dışıdır. Bir ENI oluştururken veya ENI oluşturulduktan sonra etkinleştirebilir ya da devre dışı bırakabilirsiniz.

• CreateNetworkInterface çağrılırken, EnhancedNetwork içindeki EnableRss parametresini true veya false olarak ayarlayın.

  Özel RSS, ENI bir örneğe eklendikten sonra etkili olur.

• ModifyNetworkInterfaceAttribute işlemini çağırın ve EnhancedNetwork içindeki EnableRss parametresini true veya false olarak ayarlayın. Etkinleştirme veya devre dışı bırakma işleminden sonra, değişiklik ENI yeniden eklendiğinde etkili olur:

  • Bir örneğe eklenmiş ikincil bir ENI için, değişikliğin etkili olması üzere ENI'yi ayırmanız ve ardından eklemeniz gerekir.

  • Birincil ENI için, değişikliğin etkili olması üzere örneği yeniden başlatın.

• Özel RSS'in etkin olup olmadığını sorgulamak için Attribute parametresini enhancedNetwork olarak ayarlayıp DescribeNetworkInterfaceAttribute işlemini çağırın. EnableRSS=true değeri etkin olduğunu; false değeri ise devre dışı olduğunu gösterir.

  ENI için RSS değiştirilmemişse, bu işlem EnableRSS parametresini döndürmez; bu da özelliğin etkin olmadığı anlamına gelir.

Karma Anahtarını Yapılandırma

Trafik dengesiz dağıtılıyorsa (örneğin, bazı kuyrukların rx_packets değeri diğerlerinden belirgin şekilde yüksekse) veya saldırganların karma değerini tersine mühendislikle analiz ederek trafik modellerini çıkarmasını önlemek için RSS karma anahtarını yeniden oluşturun.

1. ENI'nin geçerli karma anahtarını görüntüleyin.

   ENI yüklendiğinde, ENI sürücüsü 40 baytlık varsayılan bir karma anahtarı oluşturur.

   ethtool -x eth0

   

2. OpenSSL kullanarak yeni bir rastgele anahtar oluşturun.

   openssl rand -hex 40 | fold -w2 | paste -sd: -

3. Yeni anahtarı ENI'ye uygulayın.

   Önemli

   Bu geçici bir ayardır. Örnek yeniden başlatıldığında veya ENI yeniden eklendiğinde geçerliliğini yitirir. ENI sürücüsü otomatik olarak rastgele bir varsayılan yapılandırmayı başlatır.

   ethtool -X eth0 hkey <hash key>

   <hash key> yerine önceki adımda oluşturduğunuz yeni anahtarı yazın.

4. Yeni anahtarın etkili olduğunu doğrulayın.

   ethtool -x eth0

   Çıktı, yeni anahtarın etkili olduğunu gösterir:

   

Dolaylı Tabloyu Yapılandırma

RSS dolaylı tablosunun dağıtım modu, karma değerlerini belirli alma kuyruklarına eşleyen temel mekanizmadır. Önceden tanımlanmış bir dolaylı tablo kullanılarak, karma hesaplamanın sonucu bir kuyruk indeksine dönüştürülür. Bu sayede, trafik birden fazla çekirdek arasında esnek bir şekilde dağıtılabilir.

Eşit dağıtım ve ağırlıklı dağıtım gibi farklı dağıtım modları, trafiğin CPU çekirdekleri arasında nasıl dağıtılacağını doğrudan etkiler. Bu durum da sistem aktarım hızını, gecikme süresini, kaynak kullanımını ve hizmet performansını etkiler.

Senaryonuz için bir dağıtım modu seçin.

• Eşit dağıtım modu: İlk N kuyruk, karma kovalarını döngüsel olarak doldurur. Genel yüksek eşzamanlılık senaryoları için uygundur.

  ethtool -X eth0 equal <Number of queues N>

  Değer 64 olarak ayarlanırsa, dolaylı tablo 0,1,2,...,63,0,1,2...63, şeklinde döngüsel olarak doldurulur.

  

• Ağırlıklı dağıtım: Karma kovalarını ağırlık oranlarına göre tahsis edin. Farklılaştırılmış iş önceliklerine sahip senaryolar (örneğin, kuyruk 0 gerçek zamanlı trafiği işler ve kuyruk 1 arka plan görevlerini işler) veya karışık CPU performansı durumları için uygundur.

  ethtool -X eth0 weight <queue 0 weight> <queue 1 weight> ...

  Aşağıdaki örnekte, kuyruk 0 %60 ve kuyruk 1 %40 alır:

  Not

  Toplam dört kuyruk varsa ancak yalnızca iki kuyruk için ağırlık belirlerseniz, dolaylı tablo yalnızca kuyruk 0 ve kuyruk 1 için eşlemeler oluşturur.

  ethtool -X eth0 weight 6 4

  

• Kısmi kuyruk dağıtımı: Belirtilen bir kuyruktan başlayarak, ardışık kuyrukları kullanarak karma kovalarını döngüsel olarak doldurun. Trafiği belirli bir CPU aralığına (örneğin, bir NUMA düğümüne) yönlendirmek için uygundur.

  ethtool -X eth0 start <start queue> equal <number of queues>

  Aşağıdaki örnekte, kuyruk 2'den başlayan 40 kuyruk (kuyruk 2-41) karma kovalarını doldurur:

  ethtool -X eth0 start 2 equal 40

  

Ön Koşullar

Aşağıdaki yapılandırmalara sahip iki ECS örneği satın alın:

• Gönderen ECS örneği (10.0.0.252): Farklı özelliklere sahip trafik oluşturmak için hping3 yüklenmiş bir örnek.

• Alıcı ECS örneği: Türü ENI'ler için çoklu kuyruğu destekleyen, ikincil bir ENI eklenmiş (10.0.0.5) ve ikincil ENI eth1'de özel RSS etkinleştirilmiş bir örnek.

  Not

  • Bu örnekte test için dört kuyruk kullanılmaktadır.

  • Birincil ENI'deki SSH oturum açma trafiğinin etkisini ortadan kaldırmak için test amacıyla ikincil ENI eth1'de özel RSS etkinleştirilmiştir.

• Ağ bağlantısı: İki ECS örneği aynı güvenlik grubundadır ve iç ağ üzerinden birbirleriyle iletişim kurabilir.

Yordam

1. Alıcı ECS örneğinde oturum açın, ikincil ENI'nin RSS yapılandırmasını kontrol edin ve beklenen trafik dağıtımını onaylayın. Bkz. Bir ENI'nin RSS Yapılandırmasını Görüntüleme.

   

2. Gönderen ECS örneğinde oturum açın ve hping3 yükleyin.

   yum install -y hping3

3. Alıcı ECS örneğinde, kuyruk paket sayılarını gerçek zamanlı olarak izleyin.

   watch -n 1 "ethtool -S eth1 | grep rx[0,1,2,3]_packets"

   Kuyruk numarası yapılandırmasını alıcı ENI'nin gerçek yapılandırmasıyla değiştirin.

4. Gönderen ECS örneğinde oturum açın ve farklı trafik kalıplarını simüle edin.

   • Senaryo 1: Rastgele hedef bağlantı noktalarıyla alıcı IP adresine yüksek hızda 10.000 SYN paketi gönderin. Bu, trafik karmasının dağıldığını sağlar ve karma dengelemesini doğrular.

     sudo hping3 10.0.0.5 -S -a 10.0.0.252 --rand-dest -p 0 --baseport 10000 -c 10000 -i u100 -I eth0

     • rand-dest: Rastgele hedef bağlantı noktası

     • -p 0: rand-dest ile birlikte kullanılır

     • --baseport 10000: Kaynak bağlantı noktası için başlangıç değeri.

     • -c 10000: 10.000 paket gönder

     • -i u100: Yüksek hızlı gönderim için paketler arasında 100 mikrosaniyelik bir aralık belirtir.

     • -I eth0: Gönderenin ağ arayüzünü belirtmek için rand-dest ile birlikte kullanılır

     Alıcı örneğinde, dört kuyruğun paket sayıları eşit şekilde artmalıdır:

     

   • Senaryo 2: Sabit kaynak IP adresi ve bağlantı noktasıyla trafik gönderin. Bu, aynı trafiğin aynı kuyruğa eşlenip eşlenmediğini test eder ve karma tutarlılığını doğrular.

     Aşağıdaki komut, kaynak IP'si 10.0.0.252 ve kaynak bağlantı noktası 12345 olarak sabitlenmiş şekilde, hedef 10.0.0.5:80 adresine 10.000 TCP SYN paketi gönderir.

     sudo hping3 10.0.0.5 -S -p 80 -c 10000 -s 12345 -a 10.0.0.252 --keep -i u100

     • Karma indeks değeri RSS betiği kullanılarak hesaplanır. Trafiğin kuyruk 0 tarafından işlenmesi beklenir:

       

     • Alıcı ECS örneğinde (10.0.0.5) gözlemlenen gerçek sonuç:

       

5. Trafik dağıtımı beklentileri karşılamıyorsa (örneğin, bir kuyruğun yükü belirgin şekilde yüksekse), karma anahtarını ayarlayarak veya dolaylı tabloyu yapılandırarak optimizasyon yapın.

Bir ECS Örneğinde DPDK'yı Yükleme ve Yapılandırma

testpmd Kullanarak RSS Yapılandırma

Testpmd, ENI sürücüsü özelliklerini doğrulamak ve veri düzlemi uygulamalarında hata ayıklamak için kullanılan bir DPDK test aracıdır. Bkz. Testpmd Çalışma Zamanı İşlevleri.

1. VNC kullanarak bir örneğe bağlanın.

2. DPDK testpmd paket iletimi test aracını başlatın.

   dpdk-testpmd -a 0000:00:05.0 --socket-mem 1024 -- -i --portmask=0x1 --rxq=64 --txq=64  --forward-mode=rxonly

   • -a 0000:00:05.0: PCI adresi 0000:00:05.0 olan ENI'yi DPDK'ya ekler. PCI adresini bulmak için dpdk-devbind.py --status komutunu çalıştırın.

   • --socket-mem 1024: NUMA düğümü başına 1024 MB dev sayfa belleği önceden tahsis eder.

   • -i: Yapılandırmayı dinamik olarak ayarlamak ve istatistikleri görüntülemek için etkileşimli komut satırı modunu başlatır. Çıkmak için quit girin.

   • --portmask=0x1: Port maskesi 0x1 (ikili 0001) etkinleştirir; yalnızca ilk ENI'yi (PCI adresi 0000:00:05.0) kullanır.

     • portmask değerinin her ikili biti bir porta karşılık gelir (0x1 port 0'ı, 0x3 port 0 ve 1'i etkinleştirir).

     • Yalnızca bir cihaz (0000:00:05.0) eklendiğinden, DPDK port numarası 0'dır.

   • --rxq=64 / --txq=64: Çoklu kuyruk işlemesi için port başına RX ve TX kuyruk sayısını 64 olarak ayarlar. 64 değerini gerçek ENI kuyruk sayısı ile değiştirin.

   • --forward-mode=rxonly: Yalnızca alma modu (paketler alınır ve atılır). ENI alma performansını test etmek veya paket yakalamak için kullanılır.

3. Etkileşimli moda girin ve geçerli RSS yapılandırmasını sorgulayın.

   • Karma yapılandırma bilgilerini sorgulama: show port info <port_id>

     port_id: Porttur. Bu örnekte port 0'dır.

     Örnek çıktıyı görüntülemek için tıklayın

     

   • Karma anahtarını sorgulama: show port <port_id> rss-hash key

     

   • Dolaylı tablo yapılandırmasını sorgulama: show port <port_id> rss reta <size> <mask0, mask1...>

     • size: Sorgulanacak dolaylı tablo girişi sayısıdır. Değer sabit olarak 128 olarak ayarlanmıştır.

     • mask0, mask1: Görüntülenecek karma indeks aralığını filtrelemek için kullanılan ve onaltılık biçimde belirtilen maskelerdir. Örneğin, mask0=0xff değeri, 0 ile 7 arasındaki karma indeksleri için girişlerin görüntülendiğini gösterir.

       Dolaylı tablo boyutu sabit olarak 128'dir. Her biri 64 indeks bloğunu kapsayan iki maske gereklidir. Tüm 128 indeks-kuyruk eşleştirmelerini döndürmek için show port 0 rss reta 128 (0xffffffffffffffff,0xffffffffffffffff) komutunu çalıştırın:

       Örnek çıktıyı görüntülemek için tıklayın

       

4. Gereksinimlerinize göre RSS'i yapılandırın.

   • Yeni bir karma anahtarı yapılandırın.

     OpenSSL ile yeni bir rastgele anahtar oluşturun.

     port config <port_id> rss-hash-key (ipv4|ipv4-frag|\
                       ipv4-tcp|ipv4-udp|ipv4-sctp|ipv4-other|\
                       ipv6|ipv6-frag|ipv6-tcp|ipv6-udp|ipv6-sctp|\
                       ipv6-other|l2-payload|ipv6-ex|ipv6-tcp-ex|\
                       ipv6-udp-ex <string of hex digits \
                       (variable length, NIC dependent)>)

     IPv4 üzerinden TCP için, port config 0 rss-hash-key ipv4 6D5A56DA255B0EC24167253D43A38FB0D0CA2BCBAE7B30B477CB2DA38030F20C6A42B73BBEAC01FC komutunu çalıştırarak karma anahtarını yapılandırın ve doğrulayın:

     

   • Karma değerlerini belirtilen kuyruklara eşlemek için RSS dolaylı tablosunu yapılandırın.

     port config all rss reta <hash,queue>,<hash,queue>..

     Gerçek kuyruk sayısına göre yapılandırın:

     • hash: Karma indeksi. Aralık, dolaylı tablo boyutuna bağlıdır (örneğin, 64 giriş için 0-63).

     • queue: Hedef alma kuyruğu numarası.

l3fwd'de RSS Uygulama

Bir DPDK uygulamasında RSS'i etkinleştirmek için, kodunuzda karma anahtarı ve dolaylı tablo yapılandırmasını uygulayın. Aşağıda L3FWD örnek olarak kullanılmıştır.

L3FWD (Katman 3 Yönlendirme), sıfır kopyalama ve Yoklama Modu Sürücüleri (PMD'ler) kullanarak yüksek performanslı IP tabanlı paket yönlendirmeyi gösteren bir DPDK örnek uygulamasıdır.

1. DPDK'daki L3FWD kaynak kodunu (examples/l3fwd/main.c) değiştirin.

   • L3FWD örnek kodunda static struct rte_eth_conf port_conf port başlatma bölümünü değiştirin.

     Kod değişikliğini görüntülemek için tıklayın

     #define RSS_HASH_KEY_LENGTH 	40
     #define RSS_RETA_SIZE 			128
     
     static uint8_t hash_key[RSS_HASH_KEY_LENGTH] = {
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
     };
     
     static struct rte_eth_conf port_conf = {
     	.rxmode = {
     		.mq_mode = RTE_ETH_MQ_RX_RSS,
     		.offloads = RTE_ETH_RX_OFFLOAD_UDP_CKSUM | RTE_ETH_RX_OFFLOAD_TCP_CKSUM,
     	},
     	.rx_adv_conf = {
     		.rss_conf = {
     			.rss_key = hash_key,
     			.rss_hf = RTE_ETH_RSS_IP,
     			.rss_key_len = RSS_HASH_KEY_LENGTH,
     		},
     	},
     	.txmode = {
     		.mq_mode = RTE_ETH_MQ_TX_NONE,
     	},
     };

   • Karma dolaylı tablosunu ve karma anahtarını yapılandırmak için işlevler ekleyin.

     Eklenen kodu görüntülemek için tıklayın

     /**
      * @brief Configure the RSS RETA (Redirection Table Array) for a given port.
      * 
      * @param port_id The ID of the port to configure.
      */
     
     void configure_rss_reta(uint16_t port_id) {
         struct rte_eth_rss_reta_entry64 reta_conf[RSS_RETA_SIZE / RTE_ETH_RETA_GROUP_SIZE];
         unsigned int i;
         uint16_t reta_size;
     	uint16_t nb_queues;
     	struct rte_eth_dev_info dev_info;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         if (rte_eth_dev_info_get(port_id, &dev_info) != 0) {
     		printf("Failed to get device info for port %d\n", port_id);
     		return;
     	}
     
         reta_size = dev_info.reta_size;
         if (reta_size == 0) {
             printf("Device does not support RSS RETA configuration.\n");
             return;
         }
     
     	nb_queues = dev_info.nb_rx_queues;
     	if (nb_queues == 0) {
     		printf("port %d RX queues = 0\n", port_id);
     		return;
     	}
     
         // Initialize RETA table
         memset(reta_conf, 0, sizeof(reta_conf));
         for (i = 0; i < reta_size; i++) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].reta[i % RTE_ETH_RETA_GROUP_SIZE] = (uint16_t)(i % nb_queues);
         }
     
         // Configure RETA table mask
         for (i = 0; i < reta_size; i += RTE_ETH_RETA_GROUP_SIZE) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].mask = UINT64_MAX;
         }
     
     	// Update RSS RETA table to device
     	if (rte_eth_dev_rss_reta_update(port_id, reta_conf, reta_size) != 0) {
     		printf("Failed to update RSS RETA table for port %u\n", port_id);
     		return;
     	}
     }
     
     /**
      * @brief Configure the RSS hash key for a given port.
      * 
      * @param port_id The ID of the port to configure.
      */
     void configure_rss_hash_key(uint16_t port_id) {
         struct rte_eth_rss_conf rss_conf;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         memset(&rss_conf, 0, sizeof(rss_conf));
         rss_conf.rss_key = hash_key;
         rss_conf.rss_key_len = sizeof(hash_key);
         
         // Update RSS hash key to device
         if (rte_eth_dev_rss_hash_update(port_id, &rss_conf) != 0) {
             printf("Failed to update RSS hash key for port %u\n", port_id);
     		return;
         }
     }

   • rte_eth_dev_start sonrasında yeni yapılandırma işlevlerini çağırın.

     main içindeki çağrı kodunu görüntülemek için tıklayın

     @@ -1472,12 +1576,15 @@ main(int argc, char **argv)
                     /* Start device */
     		ret = rte_eth_dev_start(portid);
     		if (ret < 0)
     			rte_exit(EXIT_FAILURE,
     				"rte_eth_dev_start: err=%d, port=%d\n",
     				ret, portid);
     				
     		configure_rss_reta(portid);
     		configure_rss_hash_key(portid);

2. Kaynak kodunu değiştirdikten sonra L3FWD'yi yeniden derleyin.

   cd ~/dpdk-stable-22.11.3/
   rm -rf build
   # Initialize the build directory and configure project options, specifying to build the l3fwd Layer 3 forwarding example.
   meson setup -Dexamples=l3fwd build
   cd build
   # Compile.
   ninja
   # Install the compiled files to the system directory.
   sudo ninja install
   # Update the system's shared library cache.
   sudo ldconfig

3. Port-kuyruk-çekirdek bağlamalarını belirtin ve L3FWD'yi başlatın.

   cd ~/dpdk-stable-22.11.3/build/examples
   ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(PORT_ID, QUEUE_ID, LCORE_ID), (PORT_ID, QUEUE_ID, LCORE_ID), ..." --parse-ptype

   • --config: Her üçlü şunları belirtir:

     • PORT_ID: Port kimliği (0'dan başlar).

     • QUEUE_ID: Alma kuyruğu kimliği (0'dan başlar).

     • LCORE_ID: Mantıksal çekirdek kimliği (0'dan başlar).

   • Aşağıdaki örnekte iki çekirdek ve iki kuyruk kullanılmaktadır:

     ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(0.0.0),(0.1.1)"  --parse-ptype

     • İlk üçlü (0,0,0): Mantıksal çekirdek 0 (lcore0), port 0'ın kuyruk 0'ını işler.

     • İkinci üçlü (0,1,1): Mantıksal çekirdek 1 (lcore1), port 0'ın kuyruk 1'ini işler.

     

Aşağıdaki örnekte, 64 kuyruğa sahip bir ENI'nin RSS yapılandırması kullanılmaktadır:

Aşağıdaki 5-tuple bilgilerini kullanarak betikle RSS karma değerini hesaplayın (değerleri ihtiyaca göre değiştirin).

• Hedef IP adresi (-r): RSS yapılandırılmış alıcı örneğinin ENI'sinin IP adresi olan 10.0.0.1.

• Kaynak IP adresi (-t): Gönderenin ENI'sinin IP adresi olan 10.0.0.251.

• Hedef bağlantı noktası (-R): 26000

• Kaynak bağlantı noktası (-T): 18042

• Karma anahtarı: RSS dolaylı tablo yapılandırmasından edinin.

python ali_ecs_rss_calc.py -r 10.0.0.1 -t 10.0.0.251 -R 26000 -T 18042 -k 69:e8:7c:56:bf:03:9f:63:d7:c5:e5:96:b3:00:36:93:02:8c:d2:8f:cc:a9:00:65:fd:c8:94:71:5f:fd:c8:de:7a:30:a9:73:b3:33:0c:c6

Betik, toeplitz algoritmasını kullanarak karmayı hesaplar. Aşağıdaki sonuçta, sistem 128 uzunluğunda bir dolaylı tablo kullanmaktadır. 117 karma indeksi, paketin 117 indeksindeki kuyruğa eşlendiği anlamına gelir.

Dolaylı tabloyu görüntüleyin: 117 indeksi kuyruk 53'e eşlenir, bu nedenle paketler kuyruk 53 tarafından işlenir.