Em comparação com o Remote Direct Memory Access (RDMA) tradicional, o elastic RDMA (eRDMA) abrange uma ampla variedade de cenários, como bancos de dados de cache baseados em Redis, análise de big data com Spark, Weather Research and Forecasting Model (WRF) em computação de alto desempenho (HPC) e treinamento de IA. O eRDMA permite implantar aplicações de HPC na nuvem para criar clusters de aplicações de alto desempenho com alta elasticidade e baixo custo. Você também pode substituir uma VPC por uma rede eRDMA para acelerar aplicações.
O que é o eRDMA?
O eRDMA é uma rede elastic Remote Direct Memory Access (RDMA) desenvolvida pela Alibaba Cloud para a nuvem. O eRDMA reutiliza virtual private clouds (VPCs) como link subjacente e utiliza um algoritmo de controle de congestionamento (CC) desenvolvido pela Alibaba Cloud. O eRDMA oferece alto throughput e baixa latência com base em suporte RDMA. Em comparação com o RDMA convencional, o eRDMA permite redes RDMA em larga escala em questão de segundos. O eRDMA oferece suporte a aplicações tradicionais de HPC, aplicações de IA e aplicações Transmission Control Protocol/Internet Protocol (TCP/IP).
Por que o eRDMA?
A pilha de protocolos TCP/IP fornece os protocolos de comunicação de rede predominantes sobre os quais diversas aplicações são construídas. Com a evolução dos negócios relacionados a data centers, os requisitos de desempenho de rede se tornaram mais exigentes, como menor latência e maior throughput. O TCP/IP se tornou um gargalo que restringe o desempenho das redes de comunicação devido a limitações como alta sobrecarga de cópia, processamento entre pilhas de protocolo, algoritmo CC complexo e troca de contexto frequente.
O RDMA resolve esses problemas. O RDMA oferece recursos como zero-copy e kernel bypass, eliminando a sobrecarga de cópia de dados e a troca frequente de contexto. Em comparação com a comunicação TCP/IP, o RDMA apresenta baixa latência, alto throughput e baixa utilização de CPU. No entanto, o RDMA possui poucos cenários de uso devido aos altos preços e custos de O&M.
O eRDMA da Alibaba Cloud foi projetado para ter compatibilidade ampla com diversos ambientes de nuvem. O eRDMA fornece baixa latência e reduz os requisitos para que diversas aplicações se adaptem a ambientes de nuvem e melhorem seu desempenho.
Benefícios do eRDMA
Alto desempenho
O RDMA ignora a pilha do kernel para transferir dados de programas no modo de usuário para o Host Channel Adapter (HCA) para transmissão em rede. Isso reduz significativamente a carga da CPU e a latência. O eRDMA oferece as vantagens das interfaces RDMA tradicionais e aplica RDMA a VPCs. O eRDMA fornece a latência ultrabaixa que o RDMA proporciona às redes de nuvem.
nullUm HCA é uma placa de interface de rede (NIC) de hardware que conecta um servidor a uma rede e oferece suporte para RDMA.
Inclusividade
Ative o eRDMA gratuitamente. Para ativá-lo, basta selecionar a opção Elastic RDMA Interface ao adquirir uma instância ECS.
Implantação em larga escala
O RDMA tradicional é baseado em redes sem perda, o que torna a implantação em larga escala cara e difícil. O eRDMA utiliza o algoritmo CC desenvolvido pela Alibaba Cloud para controlar a qualidade de transmissão em VPCs, como latência e perda de pacotes. O eRDMA oferece bom desempenho em redes com perda.
Escalabilidade
Diferente do RDMA que requer uma NIC de hardware separada, o eRDMA utiliza uma placa HCA RDMA com atributos de nuvem baseada na arquitetura Shenlong. O eRDMA adiciona dispositivos dinamicamente durante o uso do ECS e oferece suporte a migração a quente, permitindo implantação flexível.
VPCs compartilhadas
O eRDMA depende de elastic network interfaces (ENIs) e reutiliza as redes às quais as ENIs pertencem. Isso permite ativar o recurso RDMA em redes existentes sem a necessidade de modificar a rede do serviço.
Implementar a comunicação eRDMA
Ativar o eRDMA para instâncias do Elastic Compute Service (ECS): A Alibaba Cloud fornece opções de configuração flexíveis e convenientes para configurar rapidamente o eRDMA em instâncias ECS, ativar o recurso RDMA em VPCs e estabelecer conexões RDMA para comunicação. Para ativar o eRDMA em uma instância ECS, selecione um tipo de instância compatível com eRDMA, instale o driver eRDMA na instância e vincule elastic RDMA interfaces (ERIs) à instância. Para mais informações, consulte Ativar o eRDMA em uma instância ECS.
Adaptação rápida de aplicações ao eRDMA: Para implementar e configurar a lógica RDMA em suas aplicações e atender aos requisitos de baixa latência, alta largura de banda e baixa utilização de CPU, utilize o Network Accelerator (NetACC) ou o Server Migration Center (SMC) para adaptar suas aplicações. Para mais informações, consulte Adaptar o eRDMA e aplicações.
Capacidades básicas e especificações do eRDMA
Na comunicação de rede RDMA, Queue Pair (QP), Completion Queue (CQ), Memory Region (MR) e verbs Opcode são os componentes principais. Eles desempenham papéis importantes na comunicação RDMA e garantem alta eficiência e baixa latência na comunicação de rede RDMA.
Esta seção descreve as especificações do eRDMA. Ao usar o eRDMA, verifique se os requisitos de especificação do serviço são atendidos. Caso contrário, suas aplicações podem não funcionar conforme o esperado.
QP
Um QP é uma entidade básica de comunicação em RDMA. Ele consiste em uma Send Queue (SQ) e uma Receive Queue (RQ). O QP gerencia os dados enviados e recebidos.
Recursos: O QP permite que aplicações enviem e recebam dados. Ele é o núcleo da comunicação RDMA. A máquina de estados do QP gerencia o status das conexões, desde a inicialização até o encerramento.
Especificações de QP do eRDMA:
Item
Especificações
Descrição
Método de estabelecimento de conexão
RDMA_CM
O RDMA_CM gerencia o estabelecimento, a manutenção e o encerramento de conexões RDMA. Ele simplifica o processo de gerenciamento de conexões RDMA e facilita o uso do recurso RDMA pelas aplicações. É comumente usado em cenários como Message Passing Interface (MPI), Shared Memory Communications over Remote Direct Memory Access (SMC-R) e PolarDB SCC. Para mais informações, consulte Linux rdma_cm.
nullPor padrão, as famílias de instâncias baseadas em CPU compatíveis com eRDMA instalam o driver de modo kernel do eRDMA no modo Standard. Neste modo, apenas o método de estabelecimento de conexão RDMA_CM é suportado.
O eRDMA fornece o modo Compat para aplicações em cenários out-of-band (OOB), como TensorFlow, NVIDIA Collective Communications Library (NCCL) e better Remote Procedure Call (bRPC).
nullPor padrão, as famílias de instâncias baseadas em GPU compatíveis com eRDMA instalam o driver de modo kernel do eRDMA no modo Compat. Neste modo, os métodos de estabelecimento de conexão RDMA_CM e OOB são suportados.
Utilize a CLI para ativar a compatibilidade entre os métodos de estabelecimento de conexão RDMA_CM e OOB. Para mais informações, consulte Alterar o modo de estabelecimento de conexão do eRDMA para compatibilidade com bRPC.
No modo Compat, o eRDMA ocupa 16 portas TCP adicionais no intervalo de 30608 a 30623.
Tipos de QP
RC
QPs do tipo RC fornecem serviços de conexão confiável. Um QP do tipo RC suporta operações de envio, operações de gravação RDMA, operações de leitura RDMA e operações atômicas.
Shared Receive Queue (SRQ)
Não suportado.
Nenhuma.
Máximo de QPs (max_qp_num)
Este parâmetro varia conforme a família de instâncias. É possível criar até 131.071 QPs.
O número máximo de QPs que podem ser criados em um dispositivo RDMA ou interface de rede.
Este parâmetro determina o número máximo de conexões simultâneas em uma rede RDMA, afetando a extensibilidade e as capacidades de processamento simultâneo da rede.
Profundidade máxima de Work Request (WR) de envio (max_send_wr)
8.192
O número máximo de work requests da fila de envio de um QP.
Este parâmetro determina o número de operações de transmissão que o QP pode iniciar simultaneamente, afetando o desempenho de transmissão e o throughput do QP.
Profundidade máxima de WR de recebimento (max_recv_wr)
32.768
O número máximo de work requests na fila de recebimento de um QP.
Este parâmetro determina o número de operações de recebimento que o QP pode processar simultaneamente, afetando o desempenho e o throughput de recebimento do QP.
Máximo de SGEs em um WR de envio (max_send_sge)
null6
O número máximo de scatter-gather elements (SGEs) em um WR de envio.
Este parâmetro determina o número máximo de segmentos de memória que um QP pode processar em uma única operação de envio, afetando a eficiência e a flexibilidade das transferências de dados.
Máximo de SGEs em um WR de recebimento (max_recv_sge)
1
O número máximo de SGEs em um WR de recebimento.
Este parâmetro determina o número máximo de segmentos de memória que um QP pode processar em uma operação de recebimento, afetando a eficiência e a flexibilidade do recebimento de dados.
CQ
O CQ notifica uma aplicação sobre a conclusão de um WR. Quando uma operação RDMA, como envio ou recebimento de dados, é concluída, as informações relevantes de conclusão são inseridas no CQ.
Recursos: O CQ é fundamental para a notificação de conclusão de operações assíncronas no RDMA. O CQ ajuda aplicações a gerenciar eventos assíncronos e tratar erros, fornecendo um mecanismo que notifica aplicações sobre operações concluídas, essencial para o gerenciamento de operações assíncronas.
Especificações de CQ do eRDMA:
Item
Especificações
Descrição
CQs
O número de CQs varia conforme o tipo de instância. O número máximo de CQs é o dobro do número de QPs.
Nenhuma.
Vetores em um CQ (vector_num)
O número de vetores em um CQ varia conforme o tipo de instância. O número máximo de vetores em um CQ é 31. O número de CPUs está relacionado ao número de QPs.
Cada vetor corresponde a uma interrupção de hardware. Na prática, cada CPU pode ser configurada com até um vetor para atender aos requisitos de comunicação.
Cada vetor está associado a uma completion event queue (CEQ) no eRDMA.
Profundidade máxima de CEQ
4.096
A profundidade máxima de CEQ é 256 na versão 0.2.34.
No modo de evento, não vincule mais de 4.096 CQs a cada vetor. Caso contrário, pode ocorrer overflow de CEQ.
Profundidade máxima de CQ
1.048.576
Nenhuma.
Gerenciamento de memória RDMA
MR e Memory Window (MW) são conceitos importantes para o gerenciamento de memória no RDMA.
MR: especifica uma área de memória acessível via RDMA. Após registrar o MR, uma aplicação pode conceder ao hardware RDMA acesso direto a essa área de memória.
Recursos: O MR permite que o RDMA realize operações diretamente, como leitura e gravação, na memória de um host remoto. Essa é a base do recurso zero-copy do RDMA.
Especificações de MR do eRDMA:
Item
Especificações
MRs
O número de MRs varia conforme o tipo de instância. O número máximo de MRs é o dobro do número de QPs.
Tamanho máximo de MR
O tamanho dos MRs varia conforme o hardware subjacente. O tamanho mínimo de MR suportado é 2 GB e o tamanho máximo suportado é 64 GB.
MW: A Alibaba Cloud não oferece suporte a MW.
Interfaces verbs
verbs é a base da programação RDMA, definindo um conjunto de interfaces para controlar o comportamento de dispositivos RDMA. Opcode é o código usado nessas interfaces para especificar um tipo específico de operação.
Recursos: O Opcode define os tipos de operações RDMA, como envio (SEND), recebimento (RECEIVE), leitura (READ) e gravação (WRITE). O Opcode fornece instruções específicas ao hardware RDMA, permitindo que aplicações interajam diretamente com o hardware RDMA para transferências de dados eficientes.
Suporte a Opcode:
Opcode
Suporte à operação
RDMA Write
Suportado
RDMA Write with Immediate
Suportado
RDMA Read
Suportado
Send
Suportado
Send with Invalidate
Suportado
Send with Immediate
Suportado
Send with Solicited Event
Suportado
Local Invalidate
Suportado
Atomic Operation
Suportado