：網卡自訂RSS

限制條件

• 網卡自訂RSS功能目前在按地區逐步開放中，當前支援的地區如下：

  地區名稱	地區ID
  中國香港	cn-hongkong

• 目前僅部分支援網卡多隊列的執行個體規格類型系列支援啟用自訂RSS，包括：通用型執行個體規格類型系列g9i、記憶體型執行個體規格類型系列r9i。

  您可以通過DescribeInstanceTypes介面查詢規格支援情況，傳回值RssSupport為true表示支援，false表示不支援。

• 推薦使用Alibaba Cloud Linux 3.2104 LTS 64位鏡像。

  • 如果使用其他公用鏡像，核心版本應大於等於6.12。

  • 如果在DPDK應用中使用自訂RSS功能，DPDK版本應大於等於21.11。

如何開啟/關閉

網卡自訂RSS功能預設關閉，您可以在建立網卡時或者網卡建立後，開啟、關閉網卡自訂RSS功能：

• 您可以在調用CreateNetworkInterface介面時，設定EnhancedNetwork參數中的EnableRss為true、false，實現建立開啟、關閉自訂RSS功能的彈性網卡。

  網卡自訂RSS功能在網卡綁定到執行個體上後生效。

• 您也可以通過調用ModifyNetworkInterfaceAttribute，設定EnhancedNetwork參數中的EnableRss為true、false修改網卡的自訂RSS功能，開啟/關閉後，網卡自訂RSS功能在重新綁定到執行個體的時候生效：

  • 對於已綁定執行個體的輔助網卡，您需要解除綁定彈性網卡後再建立並使用彈性網卡生效。

  • 對於主網卡，您需要重啟執行個體生效。

• 您可以通過DescribeNetworkInterfaceAttribute，指定Attribute為enhancedNetwork查詢網卡是否啟用自訂RSS，返回的EnableRSS為true表示啟用，false表示未啟用。

  當網卡沒有修改過RSS功能時，此介面不返回EnableRSS參數，即未啟用。

配置雜湊密鑰

如果您發現流量分布不均勻，如發現某些隊列的 rx_packets 顯著高於其他隊列，或者為防止潛在攻擊者通過逆向雜湊值推斷流量模式，您可能需要重建RSS雜湊密鑰。

1. 執行以下命令，查看當前網卡的雜湊密鑰。

   ECS執行個體網卡驅動在初始化載入網卡時，會產生一個40位元組的預設雜湊密鑰。

   ethtool -x eth0

   

2. 執行以下命令，使用OpenSSL產生新的隨機密鑰。

   openssl rand -hex 40 | fold -w2 | paste -sd: -

3. 執行以下命令，應用新密鑰到網卡。

   重要

   此方式為臨時設定方式，在執行個體重啟、網卡重新插拔後會失效，網卡驅動會自動初始化一個隨機的預設配置。

   ethtool -X eth0 hkey <hash key>

   替換<hash key>為上一步產生的新的密鑰。

4. 執行以下命令，驗證新密鑰是否生效。

   ethtool -x eth0

   可以看到新的密鑰已經生效：

   

配置間接表

RSS間接表分發模式是RSS中用於將雜湊值對應到具體接收隊列的核心機制，通過預定義間接表，將雜湊計算結果轉換為隊列索引，從而實現流量在多核中靈活分發。

不同分發模式（包括均勻分發模式、權重分發模式等）直接影響流量在多核CPU上的分布特性，進而影響系統輸送量、延遲、資源使用率及業務效能。

不同分發模式適用於不同的業務情境，您可以根據實際需求進行配置調整。

• 均勻分發模式：將RSS間接表配置為均勻分發模式，使用前N個隊列迴圈填充雜湊桶，適用於通用的高並發業務情境。

  ethtool -X eth0 equal <隊列數N>

  若設定為64，間接表會按 0,1,2,...,63,0,1,2...63,迴圈填充。

  

• 按權重分發：按權重比例分配雜湊桶，支援非對稱負載。適用於業務優先順序分級（如隊列0處理即時資料流量、隊列1處理背景工作）、混合CPU效能等情境。

  ethtool -X eth0 weight <隊列0權重> <隊列1權重> ...

  如下樣本，隊列0為60%，隊列1為60%，隊列2為40%：

  說明

  如果一共4個隊列，您只設定了兩個隊列權重，那麼間接表中只會產生和隊列0，1的映射。

  ethtool -X eth0 weight 6 4

  

• 部分隊列分發：從指定隊列開始，使用連續隊列迴圈填充雜湊桶，適用於定向流量到特定 CPU 範圍（如 NUMA 節點）的情境。

  ethtool -X eth0 start <起始隊列> equal <隊列數>

  如下樣本，使用隊列2開始共40個隊列（隊列2-41）迴圈填充雜湊桶：

  ethtool -X eth0 start 2 equal 40

  

準備工作

購買兩台ECS執行個體，配置如下：

• 發送端ECS執行個體（10.0.0.252）：安裝hping3，用於產生不同特徵的流量。

• 接收端ECS執行個體：執行個體規格支援網卡多隊列，綁定輔助網卡（10.0.0.5），並且輔助網卡eth1啟用自訂RSS。

  說明

  • 本樣本中以4個隊列為例測試。

  • 為排除遠程SSH登入接收端執行個體（主網卡）的流量影響，我們在輔助網卡eth1上開啟自訂RSS測試。

• 網路互連：兩台ECS執行個體在同一安全性群組內網互連。

操作步驟

1. 遠程登入接收端ECS執行個體，查看輔助網卡的RSS配置，確認預期流量分布。RSS配置說明，請參見查看網卡RSS。

   

2. 遠程登入發送端ECS執行個體，執行以下命令，安裝hping3。

   yum install -y hping3

3. 在接收端ECS執行個體執行以下命令，即時監控隊列包計數。

   watch -n 1 "ethtool -S eth1 | grep rx[0,1,2,3]_packets"

   根據實際情況，替換接收端網卡的隊列數配置。

4. 遠程登入發送端ECS執行個體，執行以下命令，類比不同流量模式。

   • 情境一：向接收端IP高速發送1萬個SYN包，隨機目標連接埠，確保流量雜湊分散，驗證雜湊均衡性。

     sudo hping3 10.0.0.5 -S -a 10.0.0.252 --rand-dest -p 0 --baseport 10000 -c 10000 -i u100 -I eth0

     • rand-dest：隨機目標連接埠

     • -p 0：與rand-dest配合使用

     • --baseport 10000：源連接埠起始值

     • -c 10000：發送1萬個包

     • -i u100：發包間隔100微秒，高速發送

     • -I eth0：與rand-dest配合使用，指定發送端的網路介面

     觀察接收端ECS執行個體的輸出，預期四個隊列的包計數接近均衡增長：

     

   • 情境二：固定源IP和連接埠發送流量，測試同一流量是否映射到同一隊列，驗證雜湊一致性。

     以下命令表示向目標 10.0.0.5:80 發送1萬個源IP固定（10.0.0.252）的 TCP SYN 包，源連接埠固定為 12345。

     sudo hping3 10.0.0.5 -S -p 80 -c 10000 -s 12345 -a 10.0.0.252 --keep -i u100

     • 根據RSS指令碼計算雜湊索引值，預期流量進入隊列0處理：

       

     • 實際接收端ECS執行個體（10.0.0.5）上觀察結果：

       

5. 如果查看業務流量分布結果不符合預期，如某個隊列負載顯著偏高，負載不均衡，您可以嘗試通過調整雜湊密鑰、配置間接表等方式最佳化。

ECS執行個體上安裝並配置DPDK

通過testpmd配置RSS

testpmd（Test Packet Mode Driver）是DPDK中的一個核心測試載入器，主要用於快速驗證DPDK的功能、測試網卡驅動的效能，以及調試資料平面應用。關於更多使用testpmd的資訊，請參見Testpmd Runtime Functions。

1. 通過VNC串連執行個體。

2. 執行以下命令，啟動DPDK的testpmd資料包轉寄測試載入器。

   dpdk-testpmd -a 0000:00:05.0 --socket-mem 1024 -- -i --portmask=0x1 --rxq=64 --txq=64  --forward-mode=rxonly

   • -a 0000:00:05.0：綁定PCI地址為0000:00:05.0的網卡到DPDK，您可以通過dpdk-devbind.py --status查看PCI地址。

   • --socket-mem 1024：為每個NUMA節點預分配1024MB大頁記憶體。

   • -i：啟動後進入互動式命令列模式，允許動態調整配置（如修改轉寄模式、查看統計資訊）。輸入quit退出。

   • --portmask=0x1：啟用連接埠掩碼 0x1（二進位 0001），表示僅使用第一個網卡（即PCI地址0000:00:05.0 對應的網卡）。

     • 在DPDK中，portmask的每個二進位位對應一個連接埠號碼（例如 0x1 表示啟用連接埠0，0x3 表示啟用連接埠0和1）。

     • 本樣本中，只有1個裝置（0000:00:05.0）被綁定到DPDK，所以所在DPDK中的連接埠號碼是0。

   • --rxq=64 / --txq=64：設定每個連接埠的接收隊列（RXQ）和發送隊列（TXQ）數量為 64，支援多隊列平行處理。您可以替換為實際查詢到的彈性網卡的隊列數。

   • --forward-mode=rxonly：指定轉寄模式為僅接收（接收資料包後丟棄，不發送），用於測試網卡接收效能或抓包。

3. 進入互動模式，查詢網卡當前RSS配置。

   • 查詢雜湊配置資訊：show port info <port_id>

     port_id：指定連接埠，本樣本中為port 0。

     點擊查看樣本輸出

     

   • 查詢雜湊密鑰：show port <port_id> rss-hash key

     

   • 查詢間接表配置：show port <port_id> rss reta <size> <mask0, mask1...>

     • size：查詢的間接表條目數量，當前固定為128位元組。

     • mask0，mask1：掩碼，篩選要顯示的雜湊索引範圍（十六進位格式），如掩碼0=0xff 表示顯示雜湊索引 0-7 的條目。

       當前間接表大小為固定的128，需要2個掩碼，每個掩碼覆蓋 64 個索引塊，則輸入show port 0 rss reta 128 (0xffffffffffffffff,0xffffffffffffffff)返回所有128個索引塊和隊列的映射資訊：

       點擊查看樣本輸出

       

4. 根據不同的需求，進行RSS配置。

   • 執行以下命令，配置新產生的雜湊密鑰。

     您可以使用OpenSSL產生新的隨機密鑰。

     port config <port_id> rss-hash-key (ipv4|ipv4-frag|\
                       ipv4-tcp|ipv4-udp|ipv4-sctp|ipv4-other|\
                       ipv6|ipv6-frag|ipv6-tcp|ipv6-udp|ipv6-sctp|\
                       ipv6-other|l2-payload|ipv6-ex|ipv6-tcp-ex|\
                       ipv6-udp-ex <string of hex digits \
                       (variable length, NIC dependent)>)

     以TCP over IPv4為，可執行port config 0 rss-hash-key ipv4 6D5A56DA255B0EC24167253D43A38FB0D0CA2BCBAE7B30B477CB2DA38030F20C6A42B73BBEAC01FC 配置雜湊密鑰並確定生效：

     

   • 執行以下命令，配置RSS間接表，將特定的雜湊值對應到指定的隊列。

     port config all rss reta <hash,queue>,<hash,queue>..

     您需要根據實際隊列數進行配置：

     • hash：雜湊值的索引，範圍取決於間接表大小（例如 0-63 對應 64 條目表）。

     • queue：目標接收隊列號，如隊列0，隊列1。

在l3fwd中應用RSS

如果您需要在DPDK應用程式中啟用RSS，需要在相關代碼中實現RSS雜湊密鑰、間接表等配置，以下以L3FWD為例說明。

L3FWD（Layer 3 Forwarding）是 DPDK（Data Plane Development Kit）中的一個三層網路轉寄樣本應用，用於示範如何基於 IP 位址 實現高效能的資料包路由和轉寄。它通過 DPDK 的零拷貝、輪詢模式驅動（PMD）等技術，實現接近線速的三層轉寄效能。

1. 修改DPDK中L3FWD源碼（examples/l3fwd/main.c）。

   • 修改L3FWD範例程式碼中連接埠初始化部分static struct rte_eth_conf port_conf。

     點擊查看修改代碼

     #define RSS_HASH_KEY_LENGTH 	40
     #define RSS_RETA_SIZE 			128
     
     static uint8_t hash_key[RSS_HASH_KEY_LENGTH] = {
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
     };
     
     static struct rte_eth_conf port_conf = {
     	.rxmode = {
     		.mq_mode = RTE_ETH_MQ_RX_RSS,
     		.offloads = RTE_ETH_RX_OFFLOAD_UDP_CKSUM | RTE_ETH_RX_OFFLOAD_TCP_CKSUM,
     	},
     	.rx_adv_conf = {
     		.rss_conf = {
     			.rss_key = hash_key,
     			.rss_hf = RTE_ETH_RSS_IP,
     			.rss_key_len = RSS_HASH_KEY_LENGTH,
     		},
     	},
     	.txmode = {
     		.mq_mode = RTE_ETH_MQ_TX_NONE,
     	},
     };

   • 新增配置雜湊間接表函數和配置雜湊密鑰函數。

     點擊查看新增代碼

     /**
      * @brief Configure the RSS RETA (Redirection Table Array) for a given port.
      * 
      * @param port_id The ID of the port to configure.
      */
     
     void configure_rss_reta(uint16_t port_id) {
         struct rte_eth_rss_reta_entry64 reta_conf[RSS_RETA_SIZE / RTE_ETH_RETA_GROUP_SIZE];
         unsigned int i;
         uint16_t reta_size;
     	uint16_t nb_queues;
     	struct rte_eth_dev_info dev_info;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         if (rte_eth_dev_info_get(port_id, &dev_info) != 0) {
     		printf("Failed to get device info for port %d\n", port_id);
     		return;
     	}
     
         reta_size = dev_info.reta_size;
         if (reta_size == 0) {
             printf("Device does not support RSS RETA configuration.\n");
             return;
         }
     
     	nb_queues = dev_info.nb_rx_queues;
     	if (nb_queues == 0) {
     		printf("port %d RX queues = 0\n", port_id);
     		return;
     	}
     
         // Initialize RETA table
         memset(reta_conf, 0, sizeof(reta_conf));
         for (i = 0; i < reta_size; i++) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].reta[i % RTE_ETH_RETA_GROUP_SIZE] = (uint16_t)(i % nb_queues);
         }
     
         // Configure RETA table mask
         for (i = 0; i < reta_size; i += RTE_ETH_RETA_GROUP_SIZE) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].mask = UINT64_MAX;
         }
     
     	// Update RSS RETA table to device
     	if (rte_eth_dev_rss_reta_update(port_id, reta_conf, reta_size) != 0) {
     		printf("Failed to update RSS RETA table for port %u\n", port_id);
     		return;
     	}
     }
     
     /**
      * @brief Configure the RSS hash key for a given port.
      * 
      * @param port_id The ID of the port to configure.
      */
     void configure_rss_hash_key(uint16_t port_id) {
         struct rte_eth_rss_conf rss_conf;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         memset(&rss_conf, 0, sizeof(rss_conf));
         rss_conf.rss_key = hash_key;
         rss_conf.rss_key_len = sizeof(hash_key);
         
         // Update RSS hash key to device
         if (rte_eth_dev_rss_hash_update(port_id, &rss_conf) != 0) {
             printf("Failed to update RSS hash key for port %u\n", port_id);
     		return;
         }
     }

   • rte_eth_dev_start之後調用新增的配置函數。

     點擊查看main中調用部分代碼

     @@ -1472,12 +1576,15 @@ main(int argc, char **argv)
                     /* Start device */
     		ret = rte_eth_dev_start(portid);
     		if (ret < 0)
     			rte_exit(EXIT_FAILURE,
     				"rte_eth_dev_start: err=%d, port=%d\n",
     				ret, portid);
     				
     		configure_rss_reta(portid);
     		configure_rss_hash_key(portid);

2. 修改源碼後，重新編譯L3FWD。

   cd ~/dpdk-stable-22.11.3/
   rm -rf build
   # 初始化構建目錄並設定項目選項，指定構建l3fw三層轉寄樣本
   meson setup -Dexamples=l3fwd build
   cd build
   #編譯
   ninja
   #將編譯好的檔案安裝到系統目錄
   sudo ninja install
   #更新系統的共用庫緩衝
   sudo ldconfig

3. 執行以下命令，指定連接埠、隊列與核心的綁定關係，啟動L3FWD。

   cd ~/dpdk-stable-22.11.3/build/examples
   ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(PORT_ID, QUEUE_ID, LCORE_ID), (PORT_ID, QUEUE_ID, LCORE_ID), ..." --parse-ptype

   • --config：每個三元組表示：

     • PORT_ID：綁定的連接埠號碼（從 0 開始）。

     • QUEUE_ID：該連接埠的接收隊列號（從 0 開始）。

     • LCORE_ID：處理該隊列的邏輯核心（lcore）號（從 0 開始）。

   • 以2個核心、2個隊列為例測試：

     ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(0,0,0),(0,1,1)"  --parse-ptype

     • 第一個三元組 (0,0,0)：連接埠0 的隊列0 由邏輯核心0（lcore0）處理。

     • 第二個三元組 (0,1,1)：連接埠0 的隊列1 由邏輯核心1（lcore1）處理。

     

以如下64個隊列的網卡RSS配置為例說明：

基於以下五元組資訊（您可以根據實際情況修改），通過RSS計算指令碼計算RSS雜湊值：

• 目標IP地址（-r）：10.0.0.1，即配置了RSS的接收端執行個體網卡的IP

• 源IP地址（-t）：10.0.0.251，即發送端網卡的IP

• 目標連接埠（-R）：26000

• 源連接埠（-T）：18042

• 雜湊密鑰：從RSS間接表配置擷取

python ali_ecs_rss_calc.py -r 10.0.0.1 -t 10.0.0.251 -R 26000 -T 18042 -k 69:e8:7c:56:bf:03:9f:63:d7:c5:e5:96:b3:00:36:93:02:8c:d2:8f:cc:a9:00:65:fd:c8:94:71:5f:fd:c8:de:7a:30:a9:73:b3:33:0c:c6

指令碼根據傳入的以上參數，基於toeplitz演算法進行雜湊計算，如下圖返回結果所示，當前僅支援長度為128的間接表，那麼此次計算結果雜湊索引值為117，即此次串連的資料包由RSS間接表中的117號索引對應的隊列處理。

再次查看RSS間接表配置，可以看到117號索引對應的隊列為53，即資料包由隊列53處理。