:Customize RSS for ENIs

Requisitos previos

• El RSS personalizado se está implementando por fases. Está disponible en las siguientes regiones:

  Nombre de región	ID de región
  China (Hong Kong)	cn-hongkong

• Solo algunas familias de instancias de múltiples colas admiten RSS personalizado, incluidas general-purpose instance family g9i y memory-optimized instance family r9i.

  Llame a la operación de API DescribeInstanceTypes para comprobar la compatibilidad. RssSupport=true indica que la función es compatible.

• Se recomienda la imagen Alibaba Cloud Linux 3.2104 LTS de 64 bits.

  • Si utiliza otras imágenes públicas, la versión del kernel debe ser 6.12 o posterior.

  • Si utiliza la función de RSS personalizado en una aplicación DPDK, la versión de DPDK debe ser 21.11 o posterior.

Cómo habilitar o deshabilitar

El RSS personalizado está deshabilitado de forma predeterminada. Puede habilitarlo o deshabilitarlo al crear una ENI o después de crearla.

• Al llamar a CreateNetworkInterface, establezca EnableRss en EnhancedNetwork como true o false.

  El RSS personalizado entra en vigor después de que la ENI se adjunta a una instancia.

• Llame a ModifyNetworkInterfaceAttribute y establezca EnableRss en EnhancedNetwork como true o false. Después de habilitar o deshabilitar, el cambio entra en vigor cuando la ENI se vuelve a adjuntar:

  • Para una ENI secundaria adjunta a una instancia, debe detach the ENI y luego attach the ENI para que el cambio surta efecto.

  • Para la ENI principal, restart the instance para que el cambio surta efecto.

• Llame a DescribeNetworkInterfaceAttribute con Attribute establecido en enhancedNetwork para consultar si el RSS personalizado está habilitado. EnableRSS=true significa habilitado; false significa deshabilitado.

  Si no se ha modificado el RSS para la ENI, esta operación no devuelve el parámetro EnableRSS, lo que significa que la función no está habilitada.

Configurar la clave de hash

Regenere la clave de hash de RSS si el tráfico se distribuye de manera desigual (por ejemplo, rx_packets de algunas colas es significativamente mayor que en otras), o para evitar que los atacantes infieran patrones de tráfico mediante ingeniería inversa del valor de hash.

1. Consulte la clave de hash actual de la ENI.

   El controlador de la ENI genera una clave de hash predeterminada de 40 bytes cuando se carga la ENI.

   ethtool -x eth0

   

2. Genere una nueva clave aleatoria mediante OpenSSL.

   openssl rand -hex 40 | fold -w2 | paste -sd: -

3. Aplique la nueva clave a la ENI.

   Importante

   Esta es una configuración temporal. Deja de ser válida después de reiniciar la instancia o volver a adjuntar la ENI. El controlador de la ENI inicializa automáticamente una configuración predeterminada aleatoria.

   ethtool -X eth0 hkey <hash key>

   Reemplace <hash key> con la nueva clave que generó en el paso anterior.

4. Compruebe que la nueva clave haya surtido efecto.

   ethtool -x eth0

   La salida muestra que la nueva clave ha surtido efecto:

   

Configurar la tabla de redirección

El modo de distribución de la tabla de redirección de RSS es el mecanismo principal que asigna valores de hash a colas de recepción específicas. Mediante una tabla de redirección predefinida, el resultado del cálculo de hash se convierte en un índice de cola. Esto permite una distribución flexible del tráfico entre varios núcleos.

Los diferentes modos de distribución, como la distribución uniforme y la distribución ponderada, afectan directamente la forma en que el tráfico se distribuye entre los núcleos de CPU. Esto, a su vez, afecta el throughput del sistema, la latencia, la utilización de recursos y el rendimiento del servicio.

Elija un modo de distribución según su escenario.

• Modo de distribución uniforme: Las primeras N colas llenan los buckets de hash en un bucle. Adecuado para escenarios generales de alta concurrencia.

  ethtool -X eth0 equal <Number of queues N>

  Si el valor se establece en 64, la tabla de redirección se llena en bucle con 0,1,2,...,63,0,1,2...63,.

  

• Distribución ponderada: Asigne buckets de hash según proporciones de peso. Adecuado para escenarios con prioridades de negocio diferenciadas (por ejemplo, la cola 0 procesa tráfico en tiempo real y la cola 1 procesa tareas en segundo plano) o rendimiento mixto de CPU.

  ethtool -X eth0 weight <queue 0 weight> <queue 1 weight> ...

  En el siguiente ejemplo, la cola 0 obtiene el 60% y la cola 1 obtiene el 40%:

  Nota

  Si hay cuatro colas en total, pero solo establece pesos para dos colas, la tabla de redirección solo generará asignaciones para la cola 0 y la cola 1.

  ethtool -X eth0 weight 6 4

  

• Distribución parcial de colas: A partir de una cola especificada, utilice colas consecutivas para llenar buckets de hash en un bucle. Adecuado para dirigir tráfico a un rango específico de CPU, como un nodo NUMA.

  ethtool -X eth0 start <start queue> equal <number of queues>

  En el siguiente ejemplo, las colas 2-41 (40 colas a partir de la cola 2) llenan los buckets de hash:

  ethtool -X eth0 start 2 equal 40

  

Requisitos previos

Adquiera dos instancias ECS con estas configuraciones:

• Instancia ECS emisora (10.0.0.252): Una instancia con hping3 instalado para generar tráfico con diferentes características.

• Instancia ECS receptora: Una instancia cuyo tipo admite multi-queue for ENIs, con a secondary ENI attached (10.0.0.5) y custom RSS enabled on the secondary ENI eth1.

  Nota

  • Este ejemplo utiliza cuatro colas para las pruebas.

  • Para eliminar el impacto del tráfico de inicio de sesión SSH en la ENI principal, se habilita el RSS personalizado en la ENI secundaria eth1 para las pruebas.

• Conectividad de red: Las dos instancias ECS están en el mismo security group y pueden comunicarse entre sí a través de la red interna.

Procedimiento

1. Inicie sesión en la instancia ECS receptora, compruebe la configuración de RSS de la ENI secundaria y confirme la distribución de tráfico esperada. Consulte View the RSS configuration of an ENI.

   

2. Inicie sesión en la instancia ECS emisora e instale hping3.

   yum install -y hping3

3. En la instancia ECS receptora, monitoree los conteos de paquetes de cola en tiempo real.

   watch -n 1 "ethtool -S eth1 | grep rx[0,1,2,3]_packets"

   Reemplace la configuración del número de cola con la configuración real de la ENI receptora.

4. Inicie sesión en la instancia ECS emisora y simule diferentes patrones de tráfico.

   • Escenario 1: Envíe 10,000 paquetes SYN a alta velocidad a la dirección IP receptora con puertos de destino aleatorios. Esto asegura que el hash de tráfico se disperse y verifica el balanceo de hash.

     sudo hping3 10.0.0.5 -S -a 10.0.0.252 --rand-dest -p 0 --baseport 10000 -c 10000 -i u100 -I eth0

     • rand-dest: Puerto de destino aleatorio

     • -p 0: Se usa con rand-dest

     • --baseport 10000: El valor inicial para el puerto de origen.

     • -c 10000: Enviar 10,000 paquetes

     • -i u100: Especifica un intervalo de 100 microsegundos entre paquetes para envío a alta velocidad.

     • -I eth0: Se usa con rand-dest para especificar la interfaz de red del emisor

     En la instancia receptora, los conteos de paquetes de las cuatro colas deberían aumentar uniformemente:

     

   • Escenario 2: Envíe tráfico con una dirección IP de origen y un puerto fijos. Esto prueba si el mismo tráfico se asigna a la misma cola y verifica la consistencia del hash.

     El siguiente comando envía 10,000 paquetes TCP SYN al objetivo 10.0.0.5:80, con la IP de origen fija en 10.0.0.252 y el puerto de origen fijo en 12345.

     sudo hping3 10.0.0.5 -S -p 80 -c 10000 -s 12345 -a 10.0.0.252 --keep -i u100

     • El valor del índice de hash se calcula según RSS script. Se espera que el tráfico sea procesado por la cola 0:

       

     • Resultado de observación real en la instancia ECS receptora (10.0.0.5):

       

5. Si la distribución del tráfico no cumple con las expectativas (por ejemplo, una cola tiene una carga significativamente mayor), optimice mediante adjusting the hash key o configuring the indirection table.

Instalar y configurar DPDK en una instancia ECS

Configurar RSS mediante testpmd

Testpmd es una herramienta de pruebas de DPDK para verificar las funciones del controlador ENI y depurar aplicaciones del plano de datos. Consulte Funciones en tiempo de ejecución de Testpmd.

1. Connect to an instance using VNC.

2. Inicie la herramienta de prueba de reenvío de paquetes testpmd de DPDK.

   dpdk-testpmd -a 0000:00:05.0 --socket-mem 1024 -- -i --portmask=0x1 --rxq=64 --txq=64  --forward-mode=rxonly

   • -a 0000:00:05.0: Conecta la ENI en la dirección PCI 0000:00:05.0 a DPDK. Ejecute dpdk-devbind.py --status para obtener la dirección PCI.

   • --socket-mem 1024: Preasigna 1024 MB de memoria de páginas grandes por nodo NUMA.

   • -i: Inicia el modo interactivo de línea de comandos para ajustar dinámicamente la configuración y consultar estadísticas. Introduzca quit para salir.

   • --portmask=0x1: Habilita la máscara de puerto 0x1 (binario 0001), y utiliza únicamente la primera ENI (dirección PCI 0000:00:05.0).

     • Cada bit binario de portmask corresponde a un puerto (0x1 habilita el puerto 0, 0x3 habilita los puertos 0 y 1).

     • Solo hay un dispositivo conectado (0000:00:05.0), por lo que su número de puerto DPDK es 0.

   • --rxq=64 / --txq=64: Establece la cantidad de colas RX y TX por puerto en 64 para el procesamiento multicola. Reemplace 64 con la ENI queue count real.

   • --forward-mode=rxonly: Modo de solo recepción (los paquetes se reciben y se descartan). Se usa para probar el rendimiento de recepción de la ENI o para capturar paquetes.

3. Ingrese al modo interactivo y consulte la configuración actual de RSS.

   • Consultar información de configuración de hash: show port info <port_id>

     port_id: El puerto. En este ejemplo, el puerto 0.

     Haga clic para ver un ejemplo de salida

     

   • Consultar clave de hash: show port <port_id> rss-hash key

     

   • Consultar configuración de tabla de indirección: show port <port_id> rss reta <size> <mask0, mask1...>

     • size: La cantidad de entradas de la tabla de indirección que se van a consultar. El valor es fijo: 128.

     • mask0, mask1: Las máscaras utilizadas para filtrar el rango de índices de hash que se mostrarán, especificadas en formato hexadecimal. Por ejemplo, mask0=0xff indica que se muestran las entradas correspondientes a los índices de hash 0 a 7.

       El tamaño de la tabla de indirección es fijo: 128. Se requieren dos máscaras, cada una cubre 64 bloques de índices. Ejecute show port 0 rss reta 128 (0xffffffffffffffff,0xffffffffffffffff) para obtener las 128 asignaciones de índice a cola:

       Haga clic para ver un ejemplo de salida

       

4. Configure RSS según sus necesidades.

   • Configure una nueva clave de hash.

     Generate a new random key with OpenSSL.

     port config <port_id> rss-hash-key (ipv4|ipv4-frag|\
                       ipv4-tcp|ipv4-udp|ipv4-sctp|ipv4-other|\
                       ipv6|ipv6-frag|ipv6-tcp|ipv6-udp|ipv6-sctp|\
                       ipv6-other|l2-payload|ipv6-ex|ipv6-tcp-ex|\
                       ipv6-udp-ex <string of hex digits \
                       (variable length, NIC dependent)>)

     Para TCP sobre IPv4, ejecute port config 0 rss-hash-key ipv4 6D5A56DA255B0EC24167253D43A38FB0D0CA2BCBAE7B30B477CB2DA38030F20C6A42B73BBEAC01FC para configurar la clave de hash y verifíquela:

     

   • Configure la tabla de indirección RSS para asignar valores de hash a colas específicas.

     port config all rss reta <hash,queue>,<hash,queue>..

     Realice la configuración según la cantidad real de colas:

     • hash: El índice de hash. El rango depende del tamaño de la tabla de indirección (por ejemplo, 0-63 para 64 entradas).

     • queue: El número de la cola de recepción destino.

Aplicar RSS en l3fwd

Para habilitar RSS en una aplicación DPDK, implemente la configuración de la clave de hash y de la tabla de indirección en su código. A continuación se utiliza L3FWD como ejemplo.

L3FWD (Layer 3 Forwarding) es una aplicación de ejemplo de DPDK que demuestra el enrutamiento de paquetes basado en IP de alto rendimiento mediante copia cero y controladores en modo de sondeo (PMD).

1. Modifique el código fuente de L3FWD en DPDK (examples/l3fwd/main.c).

   • Modifique la sección de inicialización de puertos static struct rte_eth_conf port_conf en el código de ejemplo de L3FWD.

     Haga clic para ver la modificación del código

     #define RSS_HASH_KEY_LENGTH 	40
     #define RSS_RETA_SIZE 			128
     
     static uint8_t hash_key[RSS_HASH_KEY_LENGTH] = {
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
     };
     
     static struct rte_eth_conf port_conf = {
     	.rxmode = {
     		.mq_mode = RTE_ETH_MQ_RX_RSS,
     		.offloads = RTE_ETH_RX_OFFLOAD_UDP_CKSUM | RTE_ETH_RX_OFFLOAD_TCP_CKSUM,
     	},
     	.rx_adv_conf = {
     		.rss_conf = {
     			.rss_key = hash_key,
     			.rss_hf = RTE_ETH_RSS_IP,
     			.rss_key_len = RSS_HASH_KEY_LENGTH,
     		},
     	},
     	.txmode = {
     		.mq_mode = RTE_ETH_MQ_TX_NONE,
     	},
     };

   • Agregue funciones para configurar la tabla de indirección de hash y la clave de hash.

     Haga clic para ver el código agregado

     /**
      * @brief Configure the RSS RETA (Redirection Table Array) for a given port.
      * 
      * @param port_id The ID of the port to configure.
      */
     
     void configure_rss_reta(uint16_t port_id) {
         struct rte_eth_rss_reta_entry64 reta_conf[RSS_RETA_SIZE / RTE_ETH_RETA_GROUP_SIZE];
         unsigned int i;
         uint16_t reta_size;
     	uint16_t nb_queues;
     	struct rte_eth_dev_info dev_info;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         if (rte_eth_dev_info_get(port_id, &dev_info) != 0) {
     		printf("Failed to get device info for port %d\n", port_id);
     		return;
     	}
     
         reta_size = dev_info.reta_size;
         if (reta_size == 0) {
             printf("Device does not support RSS RETA configuration.\n");
             return;
         }
     
     	nb_queues = dev_info.nb_rx_queues;
     	if (nb_queues == 0) {
     		printf("port %d RX queues = 0\n", port_id);
     		return;
     	}
     
         // Initialize RETA table
         memset(reta_conf, 0, sizeof(reta_conf));
         for (i = 0; i < reta_size; i++) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].reta[i % RTE_ETH_RETA_GROUP_SIZE] = (uint16_t)(i % nb_queues);
         }
     
         // Configure RETA table mask
         for (i = 0; i < reta_size; i += RTE_ETH_RETA_GROUP_SIZE) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].mask = UINT64_MAX;
         }
     
     	// Update RSS RETA table to device
     	if (rte_eth_dev_rss_reta_update(port_id, reta_conf, reta_size) != 0) {
     		printf("Failed to update RSS RETA table for port %u\n", port_id);
     		return;
     	}
     }
     
     /**
      * @brief Configure the RSS hash key for a given port.
      * 
      * @param port_id The ID of the port to configure.
      */
     void configure_rss_hash_key(uint16_t port_id) {
         struct rte_eth_rss_conf rss_conf;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         memset(&rss_conf, 0, sizeof(rss_conf));
         rss_conf.rss_key = hash_key;
         rss_conf.rss_key_len = sizeof(hash_key);
         
         // Update RSS hash key to device
         if (rte_eth_dev_rss_hash_update(port_id, &rss_conf) != 0) {
             printf("Failed to update RSS hash key for port %u\n", port_id);
     		return;
         }
     }

   • Después de rte_eth_dev_start, llame a las nuevas funciones de configuración.

     Haga clic para ver el código de llamada en main

     @@ -1472,12 +1576,15 @@ main(int argc, char **argv)
                     /* Start device */
     		ret = rte_eth_dev_start(portid);
     		if (ret < 0)
     			rte_exit(EXIT_FAILURE,
     				"rte_eth_dev_start: err=%d, port=%d\n",
     				ret, portid);
     				
     		configure_rss_reta(portid);
     		configure_rss_hash_key(portid);

2. Vuelva a compilar L3FWD después de modificar el código fuente.

   cd ~/dpdk-stable-22.11.3/
   rm -rf build
   # Initialize the build directory and configure project options, specifying to build the l3fwd Layer 3 forwarding example.
   meson setup -Dexamples=l3fwd build
   cd build
   # Compile.
   ninja
   # Install the compiled files to the system directory.
   sudo ninja install
   # Update the system's shared library cache.
   sudo ldconfig

3. Especifique las vinculaciones puerto-cola-núcleo e inicie L3FWD.

   cd ~/dpdk-stable-22.11.3/build/examples
   ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(PORT_ID, QUEUE_ID, LCORE_ID), (PORT_ID, QUEUE_ID, LCORE_ID), ..." --parse-ptype

   • --config: Cada tríada especifica:

     • PORT_ID: El ID del puerto (comienza en 0).

     • QUEUE_ID: El ID de la cola de recepción (comienza en 0).

     • LCORE_ID: El ID del núcleo lógico (comienza en 0).

   • El siguiente ejemplo utiliza dos núcleos y dos colas:

     ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(0,0,0),(0,1,1)"  --parse-ptype

     • La primera tríada (0,0,0): El núcleo lógico 0 (lcore0) procesa la cola 0 del puerto 0.

     • La segunda tríada (0,1,1): El núcleo lógico 1 (lcore1) procesa la cola 1 del puerto 0.

     

El siguiente ejemplo utiliza la configuración RSS de una ENI con 64 colas:

Calcule el valor de hash RSS mediante el script con la siguiente información de 5-tupla (modifique los valores según sea necesario).

• Dirección IP de destino (-r): 10.0.0.1, que es la dirección IP de la ENI de la instancia receptora con RSS configurado.

• Dirección IP de origen (-t): 10.0.0.251, que es la dirección IP de la ENI del remitente.

• Puerto de destino (-R): 26000

• Puerto de origen (-T): 18042

• Clave de hash: Obténgala de la configuración de la tabla de indirección RSS.

python ali_ecs_rss_calc.py -r 10.0.0.1 -t 10.0.0.251 -R 26000 -T 18042 -k 69:e8:7c:56:bf:03:9f:63:d7:c5:e5:96:b3:00:36:93:02:8c:d2:8f:cc:a9:00:65:fd:c8:94:71:5f:fd:c8:de:7a:30:a9:73:b3:33:0c:c6

El script calcula el hash mediante el algoritmo toeplitz. En el resultado siguiente, el sistema utiliza una longitud de tabla de indirección de 128. Un índice de hash de 117 significa que el paquete se asigna a la cola en el índice 117.

Consulte la tabla de indirección: el índice 117 se asigna a la cola 53, por lo que los paquetes son procesados por la cola 53.