Elastic Compute Service:SMC の使用

準備

1. eRDMA ネットワークインターフェース (ERI) をサポートする Elastic Compute Service (ECS) インスタンスを作成します。

   SMC-R は、リモートダイレクトメモリアクセス (RDMA) に依存しています。Alibaba Cloud で SMC-R を使用するには、ERI 機能をサポートする ECS インスタンスを作成して、クラウドで Elastic RDMA (eRDMA) 機能を取得する必要があります。詳細については、「エンタープライズレベルインスタンスで eRDMA を有効にする」をご参照ください。

   重要

   • Alibaba Cloud eRDMA デバイスと SMC は、IPv6 アドレスをサポートしていません。アプリケーションが IPv6 を使用する場合、SMC は TCP にフォールバックします。詳細については、「IPv6 アドレスが使用されている場合、SMC は TCP にフォールバックする」をご参照ください。

   • カーネルバージョン ANCK 5.10.134-17.3 以降、SMC は IPv4-mapped IPv6 アドレスをサポートしています。

2. 次のコマンドを実行して、smc および smc_diag カーネルモジュールをロードします。

   sudo modprobe smc
   sudo modprobe smc_diag

   dmesg コマンドを実行して、カーネル関連のメッセージを表示します。カーネルモジュールがロードされている場合、次の情報が表示されます。

   smc: smc: load SMC module with reserve_mode
   NET: Registered protocol family 43
   smc: netns <netns ID> reserved ports [65500 ~ 65515] for eRDMA OOB
   smc: adding ib device erdma_0 with port count 1
   smc:    ib device erdma_0 port 1 has pnetid

   (オプション) SMC を使用しなくなった場合は、次のコマンドを実行して SMC モジュールをアンインストールします。

   sudo rmmod smc_diag
   sudo rmmod smc

3. 次のコマンドを実行して、smc-tools および aliyun-smc-extensions O&M ツールセットをインストールします。

   sudo yum install -y smc-tools
   sudo yum install -y aliyun-smc-extensions

SMC スタックで TCP ソケットアプリケーションを実行する

Alibaba Cloud Linux 3 SMC-R を使用すると、[ネット名前空間] レベルおよびプロセスレベルでアプリケーションを TCP ソケットから SMC ソケットに変換できます。

ネット名前空間レベルのソケット変換

Alibaba Cloud Linux 3 は、net namespace レベルの透過的なソケット変換機能を提供します。この機能を使用すると、sysctl net.smc.tcp2smc コマンドを実行することで、net namespace 内の次の条件を満たすすべての TCP ソケットを SMC ソケットに変換できます。

• family の値は AF_INET です。

• type の値は SOCK_STREAM です。

• protocol の値は IPPROTO_IP(0) または IPPROTO_TCP(6) です。

次の図は、変換プロセスを示しています。

net namespace レベルの透過的なソケット変換を実行するには、次の手順を実行します。

1. 次のコマンドを実行して net.smc.tcp2smc を 1 に設定し、現在の net namespace の透過的なソケット変換を有効にします。

   net namespace の透過的なソケット変換が有効になると、net namespace 内の以降の新しい TCP ソケットは SMC ソケットに変換されます。既存の TCP ソケットは影響を受けません。

   sudo sysctl net.smc.tcp2smc=1

   デフォルトでは、sysctl net.smc.tcp2smc は 0 に設定されています。これは、透過的なソケット変換が無効になっていることを示します。

2. 次のコマンドを実行して、現在の net namespace で TCP ソケットアプリケーションを実行します。

   次のコマンドでは、foo を実際のアプリケーション名に置き換えます。

   ./<foo>

   foo アプリケーションによって作成された TCP ソケットは透過的に SMC ソケットに置き換えられ、アプリケーションのネットワーク動作は SMC-R スタックによって処理されます。「概要」で説明されているように、ピアも SMC-R をサポートし、ネゴシエーションが成功した場合、データは RDMA ネットワークを介してローカルノードとピアノード間で転送されます。そうでない場合、ノードは安全に TCP にフォールバックしてデータ転送を行います。

3. (オプション) 次のコマンドを実行して、現在の net namespace の透過的なソケット変換を無効にします。net namespace の透過的なソケット変換が無効になると、net namespace 内の以降の新しい TCP ソケットは SMC ソケットに変換されなくなりますが、既存の変換済み SMC ソケットは影響を受けます。

   sudo sysctl net.smc.tcp2smc=0

プロセスレベルのソケット変換

Alibaba Cloud Linux 3 は、smc-tools ツールセットに基づいて、プロセスレベルの透過的なソケット変換機能も提供します。

smc-tools ツールセットの smc_run スクリプトを使用してアプリケーションを実行できます。smc_run は、LD_PRELOAD [環境変数] を使用して、smc-tools ツールセットの libsmc-preload.so を最初にロードする動的ライブラリとして定義します。libsmc-preload.so は、アプリケーションとその [子プロセス] 内の次の条件を満たす TCP ソケットを SMC ソケットに変換します。

• family の値は AF_INET です。

• type の値は SOCK_STREAM です。

• protocol の値は IPPROTO_IP(0) または IPPROTO_TCP(6) です。

説明

smc_run は LD_PRELOAD を使用して glibc の socket() システムコールをインターセプトするため、glibc を使用しないアプリケーションや静的にリンクされたアプリケーションには使用できません。

次の図は、変換プロセスを示しています。

プロセスレベルの透過的なソケット変換を実行するには、次の操作を実行します。

次のコマンドを実行して、foo アプリケーションの実行可能ファイルの前に smc_run プレフィックスを追加します。

次のコマンドでは、foo を実際のプロセス名に置き換えます。

smc_run ./<foo>

foo アプリケーションによって作成された TCP ソケットは透過的に SMC ソケットに置き換えられ、アプリケーションのネットワーク動作は SMC-R スタックによって処理されます。「概要」で説明されているように、ピアも SMC-R をサポートし、ネゴシエーションが成功した場合、データは RDMA ネットワークを介してローカルノードとピアノード間で転送されます。そうでない場合、ノードは安全に TCP にフォールバックしてデータ転送を行います。

smc-ebpf ツールのロード

次のコマンドを実行して、smc-ebpf ツールをロードします。

sudo smc-ebpf policy load

• 次のコマンド出力は、smc-ebpf ツールがロードされていることを示しています。

  # sudo smc-ebpf policy load
  Registered smc_sock_negotiator_ops anolis_smc id xxx // smc_sock_negotiator_ops anolis_smc id xxx を登録しました

• 異なるコマンド出力は、現在の環境ではツールを使用できないことを示しています。問題のトラブルシューティングを行うには、次の操作を実行します。

  • オペレーティング システム カーネルのバージョンが ANCK 5.10.134-016 以降であることを確認します。uname -r コマンドを使用して、カーネル バージョンを表示できます。

  • BPF プログラムをロードする権限があることを確認します。一般的な理由は、使用しているポッド コンテナーに BPF プログラムをロードする機能がないか、権限レベルが不十分である可能性があります。詳細については、環境プロバイダーにお問い合わせください。

ポート ポリシーのデフォルトの動作

smc-ebpf ツールがロードされた後、ターゲット ポートに一致するポート ポリシーがない場合、ターゲット ポートは SMC ネゴシエーションの使用が禁止されます。

例：

• ポート ポリシーを設定せずに smc-ebpf ツールをロードした場合、すべてのポートで SMC ネゴシエーションの使用が禁止されます。

• ポート 80 で SMC ネゴシエーションの使用を許可するポリシーのみで smc-ebpf ツールをロードした場合、ポート 8080 など、使用中の他のポートは、ポート 8080 に一致するポリシーがないため、SMC ネゴシエーションの使用が禁止されます。

具体的には、ポート 0 の --mode を enable に設定する次のコマンドを実行して、ポート ポリシーがポートに一致しない場合のデフォルトの動作を SMC ネゴシエーションの使用を許可するように変更できます。

sudo smc-ebpf policy config --port 0 --mode enable

同様に、ポート 0 の --mode を disable に設定する次のコマンドを実行して、ポート ポリシーがポートに一致しない場合のデフォルトの動作を SMC ネゴシエーションの使用を禁止するように戻すことができます。

sudo smc-ebpf policy config --port 0 --mode disable

ポート ポリシーの設定

デフォルトの動作に基づいて、特定のポートのポリシーを追加できます。

例：

• 例 1: ポート 80 のみが SMC ネゴシエーションを使用できるようにし、他のすべてのポートは SMC ネゴシエーションの使用を禁止します。

  ポート 80 で SMC ネゴシエーションの使用を許可するポリシーを追加するには、次のコマンドを実行します。

  sudo smc-ebpf policy config --port 80 --mode enable

  ポート ポリシーが追加されているかどうかを確認するには、次のコマンドを実行します。

  sudo smc-ebpf policy dump

  コマンド出力の例：

  • "key": 80 は、ポリシーがポート 80 を対象としていることを示します。

  • "mode": は、SMC ネゴシエーションの使用が許可されているかどうかを示します。値 2 は SMC ネゴシエーションの使用が許可されていることを示し、値 0 は SMC ネゴシエーションの使用が禁止されていることを示します。

  # sudo smc-ebpf policy dump
  [{
          "key": 80,
          "value": {
              "mode": 2,
              // 一般ユーザーが注意を払う必要のないその他のフィールド
          }
      }
  ]

  ポリシーが不要になった場合は、次のコマンドを実行してポート 80 のポリシーを削除します。

  sudo smc-ebpf policy delete --port 80

  dump コマンドを再度実行します。次のコマンド出力は、ポリシーが削除されたことを示しています。

  # sudo smc-ebpf policy dump
  []

• 例 2: ポート 80 で SMC ネゴシエーションの使用を禁止し、他のすべてのポートは SMC ネゴシエーションの使用を許可します。

  次のコマンドを実行して、ポート ポリシーがターゲット ポートに一致しない場合のデフォルトの動作を SMC ネゴシエーションの使用を許可するように変更し、ポート 80 で SMC ネゴシエーションの使用を禁止するポリシーを追加します。

  sudo smc-ebpf policy config --port 0 --mode enable
  sudo smc-ebpf policy config --port 80 --mode disable

  上記のコマンドを実行した後、ポート 80 のみが SMC ネゴシエーションの使用を禁止され、ポート ポリシーがポートに一致しない場合、他のすべてのポートは SMC ネゴシエーションの使用が許可されます。

IPv4 アドレス ポリシーのデフォルトの動作

ポート ポリシーとは異なり、IPv4 アドレス ポリシーはクライアント ソケットにのみ有効であり、サーバーの IPv4 アドレスに基づいてクライアントがサーバーに接続するときに SMC ネゴシエーションを使用するかどうかを制御するために使用されます。

smc-ebpf ツールがロードされた後、ターゲット サーバーの IP アドレスに一致する IPv4 アドレス ポリシーがない場合、クライアントはターゲット サーバーの IP アドレスに対して SMC ネゴシエーションを使用することが許可されます。

例：

• IPv4 アドレス ポリシーを設定せずに smc-ebpf ツールをロードした場合、クライアント ソケットはすべてのサーバー IP アドレスに接続するときに SMC ネゴシエーションを使用することが許可されます。

• smc-ebpf ツールをロードした後、ツールは 192.168.1.0/24 へのアクセスに対して SMC ネゴシエーションの使用を禁止するポリシーのみを設定します。この場合、192.168.3.11 に一致するポリシーはなく、192.168.3.11 にアクセスするときに SMC ネゴシエーションが許可されます。

具体的には、0.0.0.0/32 の --mode を disable に設定する次のコマンドを実行して、サーバーの IP アドレスに一致する IPv4 アドレス ポリシーがない場合のデフォルトの動作を SMC ネゴシエーションの使用を禁止するように変更できます。

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable

同様に、0.0.0.0/32 の --mode を enable に設定する次のコマンドを実行して、サーバーの IP アドレスに一致する IPv4 アドレス ポリシーがない場合のデフォルトの動作を SMC ネゴシエーションの使用を許可するように戻すことができます。

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode enable

IPv4 アドレス ポリシーの設定

デフォルトの動作に基づいて IPv4 アドレス ポリシーを設定して、クライアントが特定のサーバー IP アドレスに接続するときに SMC ネゴシエーションを使用するかどうかを制御できます。

例：

• 例 1: クライアントが 192.168.2.0/24 に接続するときにのみ SMC ネゴシエーションを使用できるようにし、他のサーバー IP アドレスにアクセスするときは SMC ネゴシエーションの使用を禁止します。

  0.0.0.0/32 の --mode を disable に設定する次のコマンドを実行して、サーバーの IP アドレスに一致する IPv4 アドレス ポリシーがない場合のデフォルトの動作を SMC ネゴシエーションの使用を禁止するように変更し、192.168.2.0/24 のサーバー IP アドレスに対して SMC ネゴシエーションの使用を許可するポリシーを追加します。

  sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable
  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode enable

  IPv4 ポリシー設定を表示するには、次のコマンドを実行します。

  sudo smc-ebpf policy dump

  コマンド出力の例：

  • key: ポリシーの対象となる IPv4 アドレスを示します。

  • value: SMC ネゴシエーションの使用が許可されているかどうかを示します。値 pass は SMC ネゴシエーションの使用が許可されていることを示し、値 denied は SMC ネゴシエーションの使用が禁止されていることを示します。

  # sudo smc-ebpf policy dump
  key:     0.0.0.0/32           value:   "denied" // キー: 0.0.0.0/32 値: "denied"
  key:     192.168.2.0/24       value:   "pass" // キー: 192.168.2.0/24 値: "pass"

  上記の IPv4 アドレス ポリシーが不要になった場合は、次のコマンドを実行して 0.0.0.0/32 と 192.168.2.0/24 のポリシーを削除します。

  sudo smc-ebpf policy delete --ip 192.168.2.0 --mask 24
  sudo smc-ebpf policy delete --ip 0.0.0.0 --mask 32

• 例 2: クライアントが 192.168.2.0/24 に接続するときにのみ SMC ネゴシエーションの使用を禁止し、他のサーバー IP アドレスにアクセスするときは SMC ネゴシエーションの使用を許可します。

  192.168.2.0/24 のサーバー IP アドレスに対して SMC ネゴシエーションの使用を禁止するポリシーを追加するには、次のコマンドを実行します。

  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode disable

  smc-ebpf ツールがロードされた後、ターゲット サーバーの IP アドレスに一致する IPv4 アドレス ポリシーがない場合、クライアントはターゲット サーバーの IP アドレスに対して SMC ネゴシエーションを使用することが許可されるため、他の操作は必要ありません。192.168.2.0/24 以外のサーバー IP アドレスに対しては、SMC ネゴシエーションの使用が許可されます。

ポリシーのクリア

設定されているすべてのポリシーをクリアするには、次のコマンドを実行します。

sudo smc-ebpf policy clear

上記のコマンドを実行した後、設定されているすべてのポリシーが削除され、デフォルトの動作が SMC ネゴシエーションの禁止に戻ります。この場合、すべてのポートで SMC ネゴシエーションの使用が禁止され、すべての IPv4 アドレスで SMC ネゴシエーションの使用が許可されます。ポート ポリシーと IPv4 アドレス ポリシーは、論理 AND を使用して評価されます。その結果、すべての接続で SMC ネゴシエーションの使用が禁止されます。

sysfs を使用して以下のパラメーターを構成する

ユースケース：EID を使用してゾーン間の SMC-R 通信を防止する

パフォーマンスの向上に SMC-R を活用するには、同じゾーン内では SMC-R を使用し、ゾーン間では TCP 通信を使用することをお勧めします。ゾーン ID を EID として追加することで、同じゾーン内での SMC-R と、ゾーン間での TCP への自動フォールバックを実装できます。

• 方法 1：EID をステップバイステップで構成する

  1. 次のコマンドを実行して、Alibaba Cloud ECS インスタンスメタデータからゾーン ID を取得します。

     ZONE_ID=$(curl -s -m 1 100.100.100.200/latest/meta-data/zone-id | tr "[:lower:]" "[:upper:]")

  2. 次のコマンドを実行して、ゾーン ID を EID として追加します。

     sudo smcr ueid add $ZONE_ID

  3. 次のコマンドを実行して、SMCV2-DEFAULT-UEID 値を削除します。

     smcr ueid | grep SMCV2-DEFAULT-UEID > /dev/null && sudo smcr ueid del SMCV2-DEFAULT-UEID

• 方法 2：aliyun-smc-extensions ツールの aliyunsmc-ueid サービスを使用して、ワンクリックで EID を構成する

  1. 次のコマンドを実行して、aliyunsmc-ueid サービスを開始します。このサービスは、ゾーン ID を EID として自動的に追加し、デフォルトの EID を削除します。

     sudo systemctl start aliyunsmc-ueid

  2. （オプション）次のコマンドを実行して、aliyunsmc-ueid サービスが起動時に自動的に開始されるように構成します。これは、EID の構成が永続的ではなく、オペレーティングシステムの再起動時にデフォルトの状態に復元されるためです。

     sudo systemctl enable aliyunsmc-ueid

ユースケース： PNET ID を使用してポッドのイーサネットインターフェイスをホストの ERI に関連付ける

複数のポッドがホスト上の 1 つ以上の ERI を共有するセルフビルドコンテナシナリオでは、ポッドの仮想イーサネットインターフェイス（vEth）とホストの ERI に同じ PNET ID を設定できます。このようにして、コンテナで SMC-R が有効になった後、カーネルプロトコルスタックはホストの ERI を正しく検出し、RDMA ネットワークを使用してコンテナ内の vEth のネットワークトラフィックを高速化できます。

次の手順を実行します。

1. コンテナの net 名前空間 で、eth0 などの vEth の PNET ID を設定します。

   sudo ip netns exec <pod netns> smc_pnet -a <PNET ID> -I eth0

2. ホストの net 名前空間 で、erdma_0 などの ERI の PNET ID を設定します。

   sudo smc_pnet -a <PNET ID> -D erdma_0