Alibaba Cloud Linux：共用記憶體通訊（SMC）使用說明

前期準備

1. 建立支援ERI的ECS執行個體。

   SMC-R基於RDMA實現，在阿里雲上使用SMC-R需要建立支援ERI功能的ECS執行個體，以獲得雲上彈性RDMA（eRDMA）能力。具體操作，請參見在企業級執行個體上使用eRDMA。

   重要

   • 阿里雲eRDMA裝置與SMC目前均不支援使用IPv6地址。如果應用程式層使用IPv6地址，會導致SMC回退到TCP協議棧。更多資訊，請參見啟用SMC後使用IPv6地址出現回退。

   • 自ANCK 5.10.134-17.3版本開始，SMC支援使用IPv4-mapped IPv6地址。

2. 載入smc和smc_diag核心模組。

   sudo modprobe smc
   sudo modprobe smc_diag

   通過dmesg命令查看核心列印資訊。如果看到如下資訊，說明載入成功。

   smc: smc: load SMC module with reserve_mode
   NET: Registered protocol family 43
   smc: netns <netns ID> reserved ports [65500 ~ 65515] for eRDMA OOB
   smc: adding ib device erdma_0 with port count 1
   smc:    ib device erdma_0 port 1 has pnetid

   （可選）不再使用SMC後可通過下述方式卸載SMC模組。

   sudo rmmod smc_diag
   sudo rmmod smc

3. 執行以下命令，安裝smc-tools和aliyun-smc-extensions營運工具。

   sudo yum install -y smc-tools
   sudo yum install -y aliyun-smc-extensions

將應用程式的TCP socket運行於SMC協議棧

Alibaba Cloud Linux 3 SMC-R支援兩個維度socket協議透明轉換。

smc_run ./<foo>

載入smc-ebpf

執行下列命令，載入smc-ebpf。

sudo smc-ebpf policy load

• 結果如下所示，表示載入成功。

  # sudo smc-ebpf policy load
  Registered smc_sock_negotiator_ops anolis_smc id xxx

• 否則，在當前環境中無法使用這項功能。原因排查方向包括：

  • 確認作業系統核心版本在ANCK 5.10.134-016及以上。您可以通過uname -r命令查看核心版本。

  • 確認您有許可權載入BPF程式，一個常見的原因可能是您使用的POD容器沒有載入BPF程式的能力或者您的使用者特權等級不足，您可以向您環境的供應商諮詢更多資訊。

連接埠策略預設行為

smc-ebpf載入後，若沒有任何連接埠策略匹配目標連接埠時，預設禁止目標連接埠使用SMC協商。

例如：

• smc-ebpf載入後未配置任何連接埠策略，那麼所有連接埠都被禁止使用SMC協商；

• smc-ebpf載入後僅配置一條允許80連接埠使用SMC協商的策略。那麼使用8080連接埠時，由於沒有任何策略匹配到8080連接埠，則禁止8080連接埠使用SMC協商；

特別地，您可以通過執行以下命令，將連接埠0配置為enable來修改預設行為到：在沒有任何連接埠策略匹配目標連接埠時，允許目標連接埠使用SMC協商。

sudo smc-ebpf policy config --port 0 --mode enable

同樣地，您可以通過執行以下命令，將連接埠0配置為disable來再次改變預設行為到：在沒有任何連接埠策略匹配目標連接埠時，禁止目標連接埠使用SMC協商。

sudo smc-ebpf policy config --port 0 --mode disable

配置基於連接埠的策略

在預設行為的基礎上，可添加針對特定連接埠的策略。

例如：

• 樣本一：只允許80連接埠使用SMC協商，其他連接埠均禁止使用SMC協商。

  執行以下命令，添加允許80連接埠使用SMC協商的策略。

  sudo smc-ebpf policy config --port 80 --mode enable

  執行以下命令，查看連接埠策略配置結果。

  sudo smc-ebpf policy dump

  輸出結果樣本：

  • "key": 80代表策略針對連接埠80。

  • "mode": 代表禁止或允許使用SMC協商，2代表允許，0代表禁止。

  # sudo smc-ebpf policy dump
  [{
          "key": 80,
          "value": {
              "mode": 2,
              [其餘欄位普通使用者無需關注]
          }
      }
  ]

  若不再需要此策略，執行以下命令，刪除上述針對80連接埠的策略。

  sudo smc-ebpf policy delete --port 80

  再次執行dump命令，結果如下所示，說明配置被成功刪除。

  # sudo smc-ebpf policy dump
  []

• 樣本二：只禁止80連接埠使用SMC協商，其他連接埠均允許使用SMC協商。

  執行以下命令，修改預設行為到：在沒有任何連接埠策略匹配目標連接埠時，允許目標連接埠使用SMC協商。並添加禁止80連接埠使用SMC協商的策略。

  sudo smc-ebpf policy config --port 0 --mode enable
  sudo smc-ebpf policy config --port 80 --mode disable

  此後只有80連接埠被禁止使用SMC協商，其他沒有匹配策略的連接埠則被允許使用SMC協商。

IPv4地址策略預設行為

與連接埠策略不同的是，IPv4地址策略僅對Client socket有效，用於在Client socket串連Server時根據Server IPv4地址控制Client是否使用SMC協商。

smc-ebpf載入後，若沒有任何IPv4地址策略匹配目標Server IP時，預設允許對目標Server IP使用SMC協商。

例如：

• smc-ebpf載入後未配置任何IPv4地址策略，那麼Client socket串連所有Server IP時都被允許使用SMC協商；

• smc-ebpf載入後僅配置一條禁止在訪問192.168.1.0/24時使用SMC協商的策略。那麼在訪問192.168.3.11時，由於沒有任何策略匹配到192.168.3.11，則允許在訪問192.168.3.11時使用SMC協商；

特別地，您可以通過執行以下命令，將0.0.0.0/32配置為disable來修改預設行為到：在沒有任何IPv4地址策略匹配目標Server IP時，禁止對目標Server IP使用SMC協商。

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable

同樣地，您可以通過執行以下命令，將0.0.0.0/32配置為enable來恢複預設行為到：在沒有任何IPv4地址策略匹配目標Server IP時，允許對目標Server IP使用SMC協商。

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode enable

配置基於IPv4地址的策略

在預設行為的基礎上，可配置針對IPv4地址的策略，用於在Client socket串連特定Server IP時控制Client是否使用SMC協商。

例如：

• 樣本一：只允許Client在串連192.168.2.0/24時使用SMC協商，訪問其他服務端時均禁止使用SMC協商。

  執行以下指令，將0.0.0.0/32配置為disable來修改預設行為到：在沒有任何IPv4地址策略匹配目標Server IP時，禁止對目標Server IP使用SMC協商。並添加允許對192.168.2.0/24服務端地址使用SMC協商的策略。

  sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable
  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode enable

  執行以下指令，查看IPv4原則設定結果。

  sudo smc-ebpf policy dump

  輸出結果樣本：

  • key：代表策略針對的IPv4地址；

  • value：代表禁止或允許使用SMC協商，pass代表允許，denied代表禁止。

  # sudo smc-ebpf policy dump
  key:     0.0.0.0/32           value:   "denied"
  key:     192.168.2.0/24       value:   "pass"

  若不再需要上述IPv4地址策略，執行以下命令，刪除針對0.0.0.0/32和192.168.2.0/24的策略。

  sudo smc-ebpf policy delete --ip 192.168.2.0 --mask 24
  sudo smc-ebpf policy delete --ip 0.0.0.0 --mask 32

• 樣本二：只禁止Client在串連192.168.2.0/24時使用SMC協商，訪問其他服務端時均允許使用SMC協商。

  執行以下指令，添加禁止對192.168.2.0/24服務端地址使用SMC協商的策略。

  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode disable

  無需其他動作，因為smc-ebpf載入後，若沒有任何IPv4地址策略匹配目標Server IP時，預設允許對目標Server IP使用SMC協商。所以除192.168.2.0/24以外的服務端地址均允許使用SMC協商。

清除策略

執行以下命令，清除所有配置的策略。

sudo smc-ebpf policy clear

執行後所有配置將會被刪除，此時預設行為將恢複到：禁止協商SMC，即針對所有連接埠均禁止使用SMC協商，針對所有IPv4地址均允許使用SMC協商，兩類策略共同組成“與”邏輯，最終禁止所有串連使用SMC協商。

通過sysfs配置參數

案例：使用EID避免跨可用性區域的SMC-R通訊

為了更好地發揮SMC-R的加速效果，推薦在同可用性區域內使用SMC-R加速，跨可用性區域仍使用TCP通訊。通過將可用性區域ID添加為EID，實現在同可用性區域內使用SMC-R加速，跨可用性區域時自動回退到TCP通訊。具體配置步驟如下。

• 方式一：分步配置EID

  1. 執行以下命令，通過阿里雲ECS執行個體中繼資料擷取可用性區域ID。詳細內容，請參考執行個體中繼資料。

     ZONE_ID=$(curl -s -m 1 100.100.100.200/latest/meta-data/zone-id | tr "[:lower:]" "[:upper:]")

  2. 執行以下命令，將可用性區域ID添加為EID。

     sudo smcr ueid add $ZONE_ID

  3. 執行以下命令，刪除預設的SMCV2-DEFAULT-UEID。

     smcr ueid | grep SMCV2-DEFAULT-UEID > /dev/null && sudo smcr ueid del SMCV2-DEFAULT-UEID

• 方式二：使用aliyun-smc-extensions工具的aliyunsmc-ueid服務一鍵配置EID

  1. 執行以下命令，啟動aliyunsmc-ueid服務，此服務會自動將可用性區域ID添加為EID，同時刪除預設EID。

     sudo systemctl start aliyunsmc-ueid

  2. （可選）執行以下命令，配置開機自啟動aliyunsmc-ueid服務。這是由於EID配置不具備持久化的功能，在OS重啟時會恢複到預設狀態。

     sudo systemctl enable aliyunsmc-ueid

案例：使用PNET ID關聯POD乙太網路介面和宿主機eRDMA介面

在共用宿主機ERI的自建容器情境中，多個POD共用宿主機上的一個或多個eRDMA網卡。通過為POD乙太網路介面veth和宿主機eRDMA介面設定相同的PNET ID，可使容器內開啟SMC-R後，核心協議棧能夠正確地尋找到宿主機上的eRDMA網路介面，進而使用RDMA網路加速容器veth介面上的網路流量。

具體配置步驟如下。

1. 在容器net namespace下為容器乙太網路介面（以eth0為例）配置PNET ID。

   sudo ip netns exec <pod netns> smc_pnet -a <PNET ID> -I eth0

2. 在宿主機net namespace下為eRDMA介面（以erdma_0為例）配置PNET ID。

   sudo smc_pnet -a <PNET ID> -D erdma_0