:ENI のカスタム RSS

前提条件

• カスタム RSS は段階的に展開されています。次のリージョンで利用できます：

  リージョン名	リージョン ID
  中国 (香港)	cn-hongkong

• カスタム RSS をサポートするのは、一部のマルチキューインスタンスファミリーのみです。これには、汎用インスタンスファミリー g9i と メモリ最適化インスタンスファミリー r9i が含まれます。

  サポート状況を確認するには、DescribeInstanceTypes API を呼び出します。 RssSupport=true の場合、この機能がサポートされています。

• Alibaba Cloud Linux 3.2104 LTS 64-bit イメージを推奨します。

  • 他のパブリックイメージを使用する場合、カーネルバージョンは 6.12 以降である必要があります。

  • DPDK アプリケーションでカスタム RSS 機能を使用する場合、DPDK バージョンは 21.11 以降である必要があります。

有効化または無効化の方法

カスタム RSS は デフォルトで無効 です。ENI の作成時、または ENI の作成後に有効化または無効化できます。

• CreateNetworkInterface API を呼び出す際に、 EnhancedNetwork の EnableRss を true または false に設定します。

  カスタム RSS は、ENI がインスタンスにアタッチされた後に有効になります。

• ModifyNetworkInterfaceAttribute API を呼び出して、 EnhancedNetwork の EnableRss を true または false に設定します。 有効化または無効化 した後、変更は ENI が 再アタッチ されたときに有効になります：

  • インスタンスにアタッチされているセカンダリ ENI の場合、変更を有効にするには、ENI をデタッチしてから、ENI をアタッチする必要があります。

  • プライマリ ENI の場合、変更を有効にするには、インスタンスを再起動する必要があります。

• カスタム RSS が有効かどうかを照会するには、 Attribute を enhancedNetwork に設定して DescribeNetworkInterfaceAttribute API を呼び出します。 EnableRSS=true は有効、false は無効を示します。

  ENI の RSS が変更されていない場合、この API は EnableRSS パラメータを返しません。この場合、機能は有効になっていません。

ハッシュキーの設定

トラフィックが不均一に分散されている場合 (たとえば、一部のキューの rx_packets が他のキューよりも著しく多い場合)、または攻撃者がハッシュ値をリバースエンジニアリングしてトラフィックパターンを推測するのを防ぐために、RSS ハッシュキーを再生成します。

1. ENI の現在のハッシュキーを表示します。

   ENI ドライバーは、ENI の読み込み時に 40 バイトのデフォルトハッシュキーを生成します。

   ethtool -x eth0

   

2. OpenSSL を使用して新しいランダムキーを生成します。

   openssl rand -hex 40 | fold -w2 | paste -sd: -

3. 新しいキーを ENI に適用します。

   重要

   これは一時的な設定です。インスタンスの再起動または ENI の再アタッチ後は無効になります。ENI ドライバーは、ランダムなデフォルト設定を自動的に初期化します。

   sudo ethtool -X eth0 hkey <hash key>

   <hash key> を、前の手順で生成した新しいキーに置き換えてください。

4. 新しいキーが有効になったことを確認します。

   ethtool -x eth0

   出力には、新しいキーが有効になったことが示されます。

   

間接参照テーブルの設定

RSS 間接参照テーブルの分散モードは、ハッシュ値を特定の受信キューにマッピングする中核となるメカニズムです。事前定義された間接参照テーブルを使用して、ハッシュ計算の結果がキューインデックスに変換されます。これにより、複数のコアにわたる柔軟なトラフィック分散が可能になります。

一様分布や重み付き分布などの異なる分散モードは、トラフィックが CPU コア全体にどのように分散されるかに直接影響します。これにより、システムのスループット、レイテンシー、リソース使用率、およびサービスのパフォーマンスに影響を与えます。

シナリオに基づいて分散モードを選択してください。

• 一様分布モード：最初の N 個のキューがハッシュバケットをループで埋めます。一般的な高並行性 シナリオに適しています。

  sudo ethtool -X eth0 equal <Number of queues N>

  値が 64 に設定されている場合、間接参照テーブルは 0、1、2、...、63、0、1、2、...、63 でループ状に埋められます。

  

• 重み付き分布：重み比率に基づいてハッシュバケットを割り当てます。差別化されたビジネス優先度 のシナリオ (たとえば、キュー 0 がリアルタイムトラフィックを処理し、キュー 1 がバックグラウンドタスクを処理する場合) や、混合 CPU パフォーマンスに適しています。

  ethtool -X eth0 weight <queue 0 weight> <queue 1 weight> ...

  次の例では、キュー 0 に 60%、キュー 1 に 40% が割り当てられます。

  説明

  合計で 4 つのキューがある場合でも、2 つのキューにのみ重みを設定した場合、間接参照テーブルはキュー 0 とキュー 1 のマッピングのみを生成します。

  sudo ethtool -X eth0 weight 6 4

  

• 部分キュー分散：指定されたキューから開始して、連続するキューを使用してハッシュバケットをループで埋めます。NUMA ノードなど、特定の CPU 範囲にトラフィックを誘導する 場合に適しています。

  ethtool -X eth0 start <start queue> equal <number of queues>

  次の例では、キュー 2～41 (キュー 2 から開始する 40 個のキュー) がハッシュバケットを埋めます。

  sudo ethtool -X eth0 start 2 equal 40

  

前提条件

次の構成で 2 つの Elastic Compute Service (ECS) インスタンスを用意します。

• 送信側 ECS インスタンス (10.0.0.252)： さまざまな特性を持つトラフィックを生成するためにhping3 がインストールされたインスタンス。

• 受信側 ECS インスタンス： ENI のマルチキューをサポートするインスタンスタイプで、セカンダリ ENI がアタッチされ (10.0.0.5) 、セカンダリ ENI eth1 でカスタム RSS が有効化されています。

  説明

  • この例では、テスト用に 4 つのキューを使用します。

  • プライマリ ENI への SSH ログインによるトラフィックの影響を避けるため、テストはセカンダリ ENI eth1 でカスタム RSS を有効にして実施します。

• ネットワーク接続： 2 つの ECS インスタンスは同じセキュリティグループ内にあり、内部ネットワーク経由で相互に通信できます。

操作手順

1. 受信側 ECS インスタンスにログインし、セカンダリ ENI の RSS 設定と、期待されるトラフィック分散を確認します。詳細については、「ENI の RSS 設定の確認」をご参照ください。

   

2. 送信側 ECS インスタンスにログインし、hping3 をインストールします。

   yum install -y hping3

3. 受信側 ECS インスタンスで、キューのパケット数をリアルタイムで監視します。

   watch -n 1 "ethtool -S eth1 | grep rx[0,1,2,3]_packets"

   キュー番号の設定を、受信側 ENI の実際の設定に置き換えてください。

4. 送信側 ECS インスタンスにログインし、さまざまなトラフィックパターンをシミュレートします。

   • シナリオ 1： ランダムな宛先 IP アドレスを使用して、受信側 IP アドレスに 10,000 個の SYN パケットを高速で送信します。これにより、トラフィックハッシュを分散させ、ハッシュバランシングを検証します。

     sudo hping3 10.0.0.5 -S -a 10.0.0.252 --rand-dest -p 0 --baseport 10000 -c 10000 -i u100 -I eth0

     • rand-dest： ランダムな宛先 IP アドレス

     • -p 0： rand-dest と併用

     • --baseport 10000： 送信元ポートの開始値。

     • -c 10000： 10,000 個のパケットを送信

     • -i u100： 高速送信のため、パケット間の間隔を 100 マイクロ秒に指定します。

     • -I eth0： rand-dest と併用して、送信元のネットワークインターフェースを指定

     受信側インスタンスでは、4 つのキューのパケット数が均等に増加します。

     

   • シナリオ 2： 送信元 IP アドレスとポートを固定してトラフィックを送信します。これにより、同じトラフィック が同じキューにマッピングされるかをテストし、ハッシュの一貫性を検証します。

     次のコマンドは、送信元 IP を10.0.0.252、送信元ポートを12345 に固定し、ターゲット10.0.0.5:80 に 10,000 個の TCP SYN パケットを送信します。

     sudo hping3 10.0.0.5 -S -p 80 -c 10000 -s 12345 -a 10.0.0.252 --keep -i u100

     • ハッシュインデックス値は、RSS スクリプトに基づいて計算されます。トラフィックはキュー 0 で処理されます。

       

     • 受信側 ECS インスタンス (10.0.0.5) での実際の観察結果：

       

5. トラフィック分散が期待どおりでない場合 (たとえば、あるキューのロードが著しく高い場合) 、ハッシュキーを調整するか、インダイレクションテーブルを設定して最適化します。

ECS インスタンスへの DPDK のインストールと設定

testpmd を使用した RSS の設定

Testpmd は、ENI ドライバー機能の検証とデータプレーンアプリケーションのデバッグのための DPDK テストツールです。詳細については、「Testpmd Runtime Functions」をご参照ください。

1. VNC を使用してインスタンスに接続します。

2. DPDK testpmd パケット転送テストツールを起動します。

   dpdk-testpmd -a 0000:00:05.0 --socket-mem 1024 -- -i --portmask=0x1 --rxq=64 --txq=64  --forward-mode=rxonly

   • -a 0000:00:05.0 は、PCI アドレス 0000:00:05.0 の ENI を DPDK にアタッチします。 PCI アドレスを検索するには、dpdk-devbind.py --status を実行します。

   • --socket-mem 1024: NUMA ノードごとに 1024 MB のヒュージページメモリを事前割り当てします。

   • -i: 対話型コマンドラインモードを開始し、動的に設定を調整したり、統計情報を表示したりできるようにします。quit と入力して終了します。

   • --portmask=0x1：ポートマスク 0x1 (2進数 0001) を有効にし、最初の ENI (PCI アドレス 0000:00:05.0) のみを使用します。

     • portmask の各バイナリビットはポートに対応します (0x1 はポート 0 を有効にし、0x3 はポート 0 と 1 を有効にします)。

     • デバイス (0000:00:05.0) が 1 つだけアタッチされているため、その DPDK ポート番号は 0 です。

   • --rxq=64 / --txq=64: マルチキュー処理のために、ポートごとの RX および TX キュー数を 64 に設定します。64 を実際の ENI キュー数に置き換えます。

   • --forward-mode=rxonly：受信専用モード（パケットは受信後に破棄されます）。ENI の受信パフォーマンスのテスト、またはパケットキャプチャに使用されます。

3. 対話モードに入り、現在の RSS 設定を照会します。

   • クエリ ハッシュ設定情報: show port info <port_id>

     port_id： ポート。この例では、ポート 0 です。

     クリックして出力例を表示

     

   • クエリハッシュキー： show port <port_id> rss-hash key

     

   • 間接テーブル構成の照会: show port <port_id> rss reta <size> <mask0, mask1...>

     • size: クエリするインダイレクションテーブルのエントリー数。値は 128 に固定されています。

     • mask0, mask1：表示するハッシュインデックスの範囲を絞り込むためのマスクで、16 進数形式で指定されます。 例えば、mask0=0xff は、ハッシュインデックス 0 から 7 のエントリが表示されることを示します。

       間接テーブルのサイズは 128 に固定されています。2 つのマスクが必要で、それぞれが 64 個のインデックスブロックをカバーします。128 個すべてのインデックスとキューのマッピングを返すには、show port 0 rss reta 128 (0xffffffffffffffff,0xffffffffffffffff) を実行します:

       クリックして出力例を表示

       

4. 要件に基づいて RSS を設定します。

   • 新しいハッシュキーを設定します。

     OpenSSL で新しいランダムキーを生成してください。

     port config <port_id> rss-hash-key (ipv4|ipv4-frag|\
                       ipv4-tcp|ipv4-udp|ipv4-sctp|ipv4-other|\
                       ipv6|ipv6-frag|ipv6-tcp|ipv6-udp|ipv6-sctp|\
                       ipv6-other|l2-payload|ipv6-ex|ipv6-tcp-ex|\
                       ipv6-udp-ex <string of hex digits \
                       (variable length, NIC dependent)>)

     IPv4 経由の TCP の場合、port config 0 rss-hash-key ipv4 6D5A56DA255B0EC24167253D43A38FB0D0CA2BCBAE7B30B477CB2DA38030F20C6A42B73BBEAC01FC を実行してハッシュキーを設定し、検証します：

     

   • ハッシュ値を指定されたキューにマッピングするために、RSS インダイレクションテーブルを設定します。

     port config all rss reta <hash,queue>,<hash,queue>..

     実際のキュー数に基づいて設定してください。

     • hash: ハッシュインデックス。範囲はインダイレクションテーブルのサイズによって決まります (たとえば、64 エントリの場合は 0～63)。

     • queue: 対象の受信キュー番号。

l3fwd での RSS の適用

DPDK アプリケーションで RSS を有効にするには、コードにハッシュキーとインダイレクションテーブルの設定を実装します。以下では、L3FWD を例として使用します。

L3FWD (Layer 3 Forwarding) は、ゼロコピーとポーリングモードドライバー (PMD) を使用した高性能 IP ベースのパケットルーティングを実証する DPDK サンプルアプリケーションです。

1. DPDK の L3FWD ソースコード（examples/l3fwd/main.c）を変更します。

   • L3FWD サンプルコードのポート初期化セクション static struct rte_eth_conf port_conf を修正してください。

     クリックしてコードの変更を表示

     // RSS ハッシュキーの長さ
     #define RSS_HASH_KEY_LENGTH 	40
     // RSS リダイレクションテーブルのサイズ
     #define RSS_RETA_SIZE 			128
     
     // 対称的な RSS ハッシュを実現するための静的ハッシュキー
     static uint8_t hash_key[RSS_HASH_KEY_LENGTH] = {
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
         0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A, 0x6D, 0x5A,
     };
     
     // ポート設定
     static struct rte_eth_conf port_conf = {
     	.rxmode = {
     		.mq_mode = RTE_ETH_MQ_RX_RSS, // RSS のためのマルチキューモードを有効化
     		// チェックサムオフロードを有効化
     		.offloads = RTE_ETH_RX_OFFLOAD_UDP_CKSUM | RTE_ETH_RX_OFFLOAD_TCP_CKSUM,
     	},
     	.rx_adv_conf = {
     		.rss_conf = {
     			.rss_key = hash_key, // カスタムハッシュキー
     			.rss_hf = RTE_ETH_RSS_IP, // IP ヘッダーに基づいてハッシュを計算
     			.rss_key_len = RSS_HASH_KEY_LENGTH, // ハッシュキーの長さ
     		},
     	},
     	.txmode = {
     		.mq_mode = RTE_ETH_MQ_TX_NONE,
     	},
     };

   • ハッシュインダイレクションテーブルとハッシュキーを設定する関数を追加します。

     クリックして追加されたコードを表示

     /**
      * @brief 指定されたポートの RSS RETA (リダイレクションテーブル) を設定します。
      * 
      * @param port_id 設定するポートの ID。
      */
     
     void configure_rss_reta(uint16_t port_id) {
         struct rte_eth_rss_reta_entry64 reta_conf[RSS_RETA_SIZE / RTE_ETH_RETA_GROUP_SIZE];
         unsigned int i;
         uint16_t reta_size;
     	uint16_t nb_queues;
     	struct rte_eth_dev_info dev_info;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         if (rte_eth_dev_info_get(port_id, &dev_info) != 0) {
     		printf("Failed to get device info for port %d\n", port_id);
     		return;
     	}
     
         reta_size = dev_info.reta_size;
         if (reta_size == 0) {
             printf("Device does not support RSS RETA configuration.\n");
             return;
         }
     
     	nb_queues = dev_info.nb_rx_queues;
     	if (nb_queues == 0) {
     		printf("port %d RX queues = 0\n", port_id);
     		return;
     	}
     
         // RETA テーブルを初期化します
         memset(reta_conf, 0, sizeof(reta_conf));
         for (i = 0; i < reta_size; i++) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].reta[i % RTE_ETH_RETA_GROUP_SIZE] = (uint16_t)(i % nb_queues);
         }
     
         // RETA テーブルマスクを設定します
         for (i = 0; i < reta_size; i += RTE_ETH_RETA_GROUP_SIZE) {
             reta_conf[i / RTE_ETH_RETA_GROUP_SIZE].mask = UINT64_MAX;
         }
     
     	// RSS RETA テーブルをデバイスに更新します
     	if (rte_eth_dev_rss_reta_update(port_id, reta_conf, reta_size) != 0) {
     		printf("Failed to update RSS RETA table for port %u\n", port_id);
     		return;
     	}
     }
     
     /**
      * @brief 指定されたポートの RSS ハッシュキーを設定します。
      * 
      * @param port_id 設定するポートの ID。
      */
     void configure_rss_hash_key(uint16_t port_id) {
         struct rte_eth_rss_conf rss_conf;
     
     	if (port_id >= RTE_MAX_ETHPORTS) {
             printf("port_id %d exceed max eth ports\n", port_id);
             return;
         }
     
         memset(&rss_conf, 0, sizeof(rss_conf));
         rss_conf.rss_key = hash_key;
         rss_conf.rss_key_len = sizeof(hash_key);
         
         // RSS ハッシュキーをデバイスに更新します
         if (rte_eth_dev_rss_hash_update(port_id, &rss_conf) != 0) {
             printf("Failed to update RSS hash key for port %u\n", port_id);
     		return;
         }
     }

   • rte_eth_dev_start の後、新しい設定関数を呼び出します。

     クリックしてmainでの呼び出しコードを表示

     @@ -1472,12 +1576,15 @@ main(int argc, char **argv)
                     /* デバイスを起動します */
     		ret = rte_eth_dev_start(portid);
     		if (ret < 0)
     			rte_exit(EXIT_FAILURE,
     				"rte_eth_dev_start: err=%d, port=%d\n",
     				ret, portid);
     				
     		configure_rss_reta(portid);
     		configure_rss_hash_key(portid);

2. ソースコードを変更した後、L3FWD を再コンパイルします。

   cd ~/dpdk-stable-22.11.3/
   rm -rf build
   # ビルドディレクトリを初期化し、プロジェクトオプションを設定して、l3fwd レイヤー 3 転送のサンプルをビルドするように指定します。
   meson setup -Dexamples=l3fwd build
   cd build
   # コンパイルします。
   ninja
   # コンパイルされたファイルをシステムディレクトリにインストールします。
   sudo ninja install
   # システムの共有ライブラリキャッシュを更新します。
   sudo ldconfig

3. ポート-キュー-コアのバインディングを指定し、L3FWD を起動します。

   cd ~/dpdk-stable-22.11.3/build/examples
   ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(PORT_ID, QUEUE_ID, LCORE_ID), (PORT_ID, QUEUE_ID, LCORE_ID), ..." --parse-ptype

   • --config: 各 3 つ組は、以下を指定します。

     • PORT_ID： ポート ID (0 から開始)。

     • QUEUE_ID： 受信キュー ID (0 から開始)。

     • LCORE_ID： 論理コア ID (0 から開始)。

   • 次の例では、2 つのコアと 2 つのキューを使用します。

     ./dpdk-l3fwd --legacy-mem -a 0000:00:05.0 --socket-mem 1024 -- -p 0x1 --config="(0,0,0),(0,1,1)"  --parse-ptype

     • 最初の 3つ組 (0,0,0) では、論理コア 0 (lcore0) がポート 0 のキュー 0 を処理します。

     • 2つ目の 3つ組 (0,1,1)：論理コア 1 (lcore1) がポート 0 のキュー 1 を処理します。

     

次の例では、キュー数が 64 の ENI の RSS 設定を使用します。

次の 5 タプル情報を使用し、スクリプトで RSS ハッシュ値を計算します。値は必要に応じて変更してください。

• 宛先 IP アドレス (-r)：10.0.0.1。これは、RSS が設定された受信側インスタンスの ENI の IP アドレスです。

• 送信元 IP アドレス (-t)：10.0.0.251。これは、送信側の ENI の IP アドレスです。

• 宛先ポート (-R)： 26000

• 送信元ポート (-T)： 18042

• ハッシュキー： RSS インダイレクションテーブル設定から取得します。

python ali_ecs_rss_calc.py -r 10.0.0.1 -t 10.0.0.251 -R 26000 -T 18042 -k 69:e8:7c:56:bf:03:9f:63:d7:c5:e5:96:b3:00:36:93:02:8c:d2:8f:cc:a9:00:65:fd:c8:94:71:5f:fd:c8:de:7a:30:a9:73:b3:33:0c:c6

スクリプトは、toeplitz アルゴリズムを使用してハッシュを計算します。以下の結果では、システムは長さが 128 の間接化テーブルを使用します。ハッシュインデックスが 117 の場合、パケットはインデックス 117 のキューにマップされます。

インダイレクションテーブルを見ると、インデックス 117 はキュー 53 にマッピングされているため、パケットはキュー 53 で処理されます。