Alibaba Cloud Linux:Using Shared Memory Communication (SMC)

Pré-requisitos

1. Crie uma instância do Elastic Compute Service (ECS) com suporte ao recurso Elastic RoCE Infrastructure (ERI).

   Para usar o SMC-R no Alibaba Cloud, você precisa de uma instância do Elastic Compute Service (ECS) com capacidade de Elastic Remote Direct Memory Access (eRDMA). Para mais informações, consulte Enable eRDMA on an enterprise-level instance.

   Importante

   • Os dispositivos eRDMA da Alibaba Cloud e o SMC não oferecem suporte a endereços IPv6 no momento. Se a sua aplicação usar um endereço IPv6, o SMC fará fallback para TCP. Para mais informações, consulte SMC falls back to TCP with IPv6 addresses.

   • A partir do ANCK 5.10.134-17.3, o SMC oferece suporte a endereços IPv4-mapped IPv6.

2. Carregue os Kernel Modules smc e smc_diag.

   sudo modprobe smc
   sudo modprobe smc_diag

   Execute o comando dmesg para visualizar as mensagens de log do kernel. Se a saída for semelhante à exibida a seguir, os módulos foram carregados com sucesso.

   smc: smc: load SMC module with reserve_mode
   NET: Registered protocol family 43
   smc: netns <netns ID> reserved ports [65500 ~ 65515] for eRDMA OOB
   smc: adding ib device erdma_0 with port count 1
   smc:    ib device erdma_0 port 1 has pnetid

   (Opcional) Para descarregar os módulos SMC quando não forem mais necessários, execute os seguintes comandos:

   sudo rmmod smc_diag
   sudo rmmod smc

3. Execute os comandos a seguir para instalar os utilitários smc-tools e aliyun-smc-extensions.

   sudo yum install -y smc-tools
   sudo yum install -y aliyun-smc-extensions

Execute aplicações TCP na stack SMC

O Alibaba Cloud Linux 3 SMC-R oferece suporte à conversão transparente de protocolo de socket em dois níveis.

Conversão de socket no nível de net namespace

O Alibaba Cloud Linux 3 disponibiliza um recurso para converter sockets de forma transparente no nível de net namespace. Use o switch sysctl net.smc.tcp2smc para converter todos os sockets TCP em um net namespace em sockets SMC, desde que atendam às seguintes condições:

• O family é AF_INET.

• O type é SOCK_STREAM.

• O protocol é IPPROTO_IP(0) ou IPPROTO_TCP(6).

A figura a seguir ilustra o processo de conversão.

Siga estas etapas para ativar a conversão transparente no nível de net namespace.

1. Execute o comando a seguir para ativar o switch global net.smc.tcp2smc para o net namespace.

   Os sockets TCP recém-criados são convertidos em sockets SMC. Os sockets TCP existentes não são afetados.

   sudo sysctl net.smc.tcp2smc=1

   Por padrão, sysctl net.smc.tcp2smc está definido como 0, o que significa que o recurso está desativado.

2. Execute qualquer aplicação de socket TCP no net namespace atual.

   Substitua <foo> no exemplo pelo nome da sua aplicação.

   ./<foo>

   Os sockets TCP criados pela aplicação foo são substituídos de forma transparente por sockets SMC, e o SMC-R Protocol Stack gerencia o comportamento de rede da aplicação. Conforme descrito em Overview, se o peer também oferecer suporte ao protocolo SMC-R e a negociação for bem-sucedida, ambos os lados transferem dados pela rede RDMA. Caso contrário, a comunicação faz fallback de forma segura para a rede TCP.

3. (Opcional) Execute o comando a seguir para desativar o switch global de substituição para o net namespace. Os sockets TCP recém-criados não serão mais convertidos. Os sockets SMC existentes não são afetados.

   sudo sysctl net.smc.tcp2smc=0

Conversão de socket no nível de processo

O Alibaba Cloud Linux 3 também disponibiliza conversão transparente de protocolo no nível de processo, ativada por meio do utilitário smc-tools.

Ao executar uma aplicação com o script smc_run, a variável de ambiente LD_PRELOAD é utilizada para priorizar o carregamento da biblioteca dinâmica libsmc-preload.so. Essa biblioteca converte em sockets SMC os sockets TCP que atendam às seguintes condições na aplicação e em seus processos filhos:

• O libsmc-preload.so é AF_INET.

• O family é SOCK_STREAM.

• O type é IPPROTO_IP(0) ou IPPROTO_TCP(6).

Nota

O protocol usa smc_run para interceptar a chamada de sistema LD_PRELOAD no socket(). Por isso, não funciona para aplicações vinculadas estaticamente ou que não utilizam glibc.

A figura a seguir ilustra o processo de substituição.

Siga estas etapas para ativar a conversão transparente no nível de processo.

Adicione o prefixo glibc antes do comando da sua aplicação smc_run e execute-o conforme mostrado abaixo.

Substitua foo no exemplo pelo nome do seu processo.

smc_run ./<foo>

Os sockets TCP criados pela aplicação <foo> são substituídos de forma transparente por sockets SMC, e o SMC-R Protocol Stack gerencia o comportamento de rede da aplicação. Conforme descrito em Overview, se o peer também oferecer suporte ao protocolo SMC-R e a negociação for bem-sucedida, ambos os lados transferem dados pela rede RDMA. Caso contrário, a comunicação faz fallback de forma segura para a rede TCP.

Load smc-ebpf

Execute o seguinte comando para carregar o smc-ebpf.

sudo smc-ebpf policy load

• A saída a seguir indica que o comando foi executado com sucesso:

  # sudo smc-ebpf policy load
  Registered smc_sock_negotiator_ops anolis_smc id xxx

• Caso contrário, não será possível usar esse recurso no ambiente atual. Os possíveis motivos incluem:

  • Confirme que a versão do Kernel do sistema operacional é smc-ebpf ou posterior. Execute o comando ANCK 5.10.134-016 para verificar a versão do Kernel.

  • Confirme que você tem permissão para carregar programas BPF. Um problema comum é que o contêiner de pod em uso não possui a capacidade de carregar programas BPF, ou o nível de privilégio do seu usuário é insuficiente. Consulte o provedor do ambiente para mais informações.

Comportamento padrão das políticas de porta

Por padrão, após o carregamento do uname -r, a negociação SMC é negada para qualquer porta que não corresponda a uma política.

Por exemplo:

• Se o smc-ebpf for carregado sem nenhuma política de porta configurada, a negociação SMC será negada para todas as portas.

• Se o smc-ebpf for carregado e apenas uma política for configurada para permitir a negociação SMC na porta 80, a negociação SMC será negada para qualquer conexão que use a porta 8080, pois nenhuma política corresponde à porta 8080.

É possível alterar esse comportamento padrão executando o seguinte comando para definir a porta smc-ebpf como 0. Com essa configuração, se nenhuma política de porta corresponder a uma porta de destino, a negociação SMC será permitida para essa porta.

sudo smc-ebpf policy config --port 0 --mode enable

Da mesma forma, reverta ao comportamento padrão original definindo a porta enable como 0. Essa configuração volta a negar a negociação SMC para qualquer porta que não tenha uma política correspondente.

sudo smc-ebpf policy config --port 0 --mode disable

Políticas baseadas em porta

Além do comportamento padrão, você pode adicionar políticas para portas específicas.

Por exemplo:

• Exemplo 1: Permitir a negociação SMC apenas na porta 80 e negá-la para todas as demais portas.

  Execute o seguinte comando para adicionar uma política que permita a negociação SMC na porta 80.

  sudo smc-ebpf policy config --port 80 --mode enable

  Execute o seguinte comando para visualizar a configuração da política de porta.

  sudo smc-ebpf policy dump

  Exemplo de saída:

  • disable indica que a política se aplica à porta 80.

  • "key": 80 indica se a negociação SMC é permitida ou negada. "mode" significa permitida e 2 significa negada.

  # sudo smc-ebpf policy dump
  [{
          "key": 80,
          "value": {
              "mode": 2,
              [Other fields can be ignored by general users]
          }
      }
  ]

  Se essa política não for mais necessária, execute o seguinte comando para excluir a política da porta 80.

  sudo smc-ebpf policy delete --port 80

  Execute o comando 0 novamente. A saída a seguir indica que a configuração foi excluída com sucesso.

  # sudo smc-ebpf policy dump
  []

• Exemplo 2: Negar a negociação SMC apenas na porta 80 e permiti-la para todas as demais portas.

  Execute os seguintes comandos para alterar o comportamento padrão de modo a permitir a negociação SMC para portas sem correspondência e, em seguida, adicionar uma política que negue especificamente a negociação SMC para a porta 80.

  sudo smc-ebpf policy config --port 0 --mode enable
  sudo smc-ebpf policy config --port 80 --mode disable

  Com essa configuração, a negociação SMC é negada somente para a porta 80. Todas as demais portas que não correspondam a uma política específica têm a negociação SMC permitida.

Comportamento padrão das políticas de endereço IPv4

Diferentemente das políticas de porta, as políticas de endereço IPv4 se aplicam apenas a sockets cliente. Elas controlam se um cliente usa a negociação SMC com base no endereço IPv4 do servidor ao estabelecer uma conexão.

Por padrão, após o carregamento do dump, a negociação SMC é permitida para qualquer IP de servidor que não corresponda a uma política de endereço IPv4.

Por exemplo:

• Se o smc-ebpf for carregado sem nenhuma política de endereço IPv4 configurada, os sockets cliente poderão usar a negociação SMC ao se conectar a qualquer IP de servidor.

• Se o smc-ebpf for carregado e apenas uma política for configurada para negar a negociação SMC para a rede smc-ebpf, uma conexão com 192.168.1.0/24 será permitida de usar a negociação SMC, pois nenhuma política corresponde a 192.168.3.11.

É possível alterar esse comportamento padrão executando o seguinte comando para definir 192.168.3.11 como 0.0.0.0/32. Com essa configuração, se nenhuma política de endereço IPv4 corresponder ao IP de servidor de destino, a negociação SMC será negada para esse IP.

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable

Da mesma forma, restaure o comportamento padrão executando o seguinte comando. Isso volta a permitir a negociação SMC para qualquer IP de servidor que não tenha uma política correspondente.

sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode enable

Políticas baseadas em endereço IPv4

Além do comportamento padrão, configure políticas para endereços IPv4 específicos a fim de controlar se um socket cliente usa a negociação SMC ao se conectar a um IP de servidor específico.

Por exemplo:

• Exemplo 1: Permitir que um cliente use a negociação SMC somente ao se conectar a servidores na rede 192.168.2.0/24. Negá-la para todos os demais endereços de servidor.

  Execute os seguintes comandos para alterar o comportamento padrão de modo a negar a negociação SMC para IPs de servidor sem correspondência e, em seguida, adicionar uma política que a permita para a rede 192.168.2.0/24.

  sudo smc-ebpf policy config --ip 0.0.0.0 --mask 32 --mode disable
  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode enable

  Execute o seguinte comando para visualizar a configuração da política IPv4.

  sudo smc-ebpf policy dump

  Exemplo de saída:

  • disable: O endereço IPv4 de destino ao qual a política se aplica.

  • key: Indica se a negociação SMC é permitida ou negada. value significa permitida e pass significa negada.

  # sudo smc-ebpf policy dump
  key:     0.0.0.0/32           value:   "denied"
  key:     192.168.2.0/24       value:   "pass"

  Se essas políticas não forem mais necessárias, execute os seguintes comandos para excluir as políticas de denied e 0.0.0.0/32.

  sudo smc-ebpf policy delete --ip 192.168.2.0 --mask 24
  sudo smc-ebpf policy delete --ip 0.0.0.0 --mask 32

• Exemplo 2: Negar a negociação SMC para um cliente somente ao se conectar à rede 192.168.2.0/24. Permiti-la para todos os demais endereços de servidor.

  Execute o seguinte comando para adicionar uma política que desabilite a negociação SMC para o intervalo de endereços de servidor 192.168.2.0/24.

  sudo smc-ebpf policy config --ip 192.168.2.0 --mask 24 --mode disable

  Nenhuma outra ação é necessária. Por padrão, após o carregamento do 192.168.2.0/24, a negociação SMC é permitida para qualquer IP de servidor que não corresponda a uma política. Portanto, a negociação SMC é permitida para todos os endereços de servidor, exceto os pertencentes ao intervalo smc-ebpf.

Limpar políticas

Execute o seguinte comando para limpar todas as políticas configuradas.

sudo smc-ebpf policy clear

A execução desse comando exclui todas as configurações. O comportamento retorna ao estado padrão: a negociação SMC é negada para todas as portas, mas permitida para todos os endereços IPv4. Devido à lógica 192.168.2.0/24 entre os dois tipos de política, isso impede que qualquer conexão utilize a negociação SMC.

Parâmetros do Sysfs

Caso de uso: evitar comunicação SMC-R entre zonas de disponibilidade com EIDs

Para uma aceleração SMC-R ideal, recomenda-se utilizá-la para comunicação dentro da mesma zona de disponibilidade e TCP para comunicação entre zonas de disponibilidade. Ao adicionar o ID da zona de disponibilidade como EID, esse comportamento é obtido automaticamente. Siga estas etapas para configurar.

• Método 1: Configure o EID passo a passo

  1. Execute o comando a seguir para obter o ID da zona de disponibilidade a partir dos metadados da instância Alibaba Cloud Elastic Compute Service (ECS). Para mais informações, consulte Instance Metadata.

     ZONE_ID=$(curl -s -m 1 100.100.100.200/latest/meta-data/zone-id | tr "[:lower:]" "[:upper:]")

  2. Execute o comando a seguir para adicionar o ID da zona de disponibilidade como EID.

     sudo smcr ueid add $ZONE_ID

  3. Execute o comando a seguir para excluir o EID padrão.

     smcr ueid | grep SMCV2-DEFAULT-UEID > /dev/null && sudo smcr ueid del SMCV2-DEFAULT-UEID

• Método 2: Use o service SMCV2-DEFAULT-UEID da ferramenta aliyunsmc-ueid para configuração com um clique

  1. Execute o comando a seguir para iniciar o service aliyun-smc-extensions. Esse service adiciona automaticamente o ID da zona de disponibilidade como EID e remove o EID padrão.

     sudo systemctl start aliyunsmc-ueid

  2. (Opcional) Execute o comando a seguir para ativar o service aliyunsmc-ueid na inicialização do sistema. Isso é necessário porque a configuração de EID não é persistente e é redefinida ao reiniciar o sistema operacional.

     sudo systemctl enable aliyunsmc-ueid

Caso de uso: associar veth de pod ao eRDMA do host

Em cenários onde vários pods em um único host compartilham uma ERI, é possível acelerar o tráfego da interface veth do pod usando RDMA. Para isso, atribua o mesmo PNET ID à interface Ethernet veth do pod e à interface eRDMA do host. Isso permite que o Protocol Stack do kernel dentro do container localize corretamente a interface eRDMA do host quando o SMC-R estiver ativo.

Siga estas etapas para configurar.

1. No erdma_0 do container, configure um PNET ID para a interface Ethernet do container (por exemplo, net namespace).

   sudo ip netns exec <pod netns> smc_pnet -a <PNET ID> -I eth0

2. No eth0 do host, configure o mesmo PNET ID para a interface eRDMA (por exemplo, net namespace).

   sudo smc_pnet -a <PNET ID> -D erdma_0