Monitorar e diagnosticar eRDMA - Elastic Compute Service: Central de Documentação do Alibaba Cloud

Use o CloudMonitor, o eadm, o iproute2 e a ferramenta diagnose para monitorar o tráfego eRDMA, localizar falhas e avaliar o desempenho da rede.

Pré-requisitos

O eRDMA deve estar instalado e implantado na instância ECS de destino. Consulte Ativar eRDMA para uma instância ECS.

Monitorar eRDMA com o CloudMonitor

O CloudMonitor rastreia o status do eRDMA e oferece suporte a alertas personalizados. Consulte Monitoramento personalizado.

Visualizar as métricas de monitoramento compatíveis com eRDMA

Faça logon no console do CloudMonitor.
Na caixa de pesquisa da lista de métricas, insira eri para visualizar as métricas de monitoramento do eRDMA.

Diagnosticar eRDMA com a ferramenta eadm

O eadm é uma ferramenta de espaço de usuário implantada junto com o driver eRDMA. Ele fornece monitoramento e diagnósticos em tempo real para ajudar a localizar falhas. Os principais recursos incluem:

Monitoramento de tráfego e diagnóstico assistido: estatísticas de tráfego em tempo real para todo o dispositivo.
Consulta e definição de configurações: configuração do recurso de ACK atrasado e do algoritmo CC.

Veja a seguir os comandos comuns do eadm. Para outros comandos, execute eadm -h.

Aviso

Esta ferramenta destina-se apenas a diagnósticos e depuração. Ela pode sofrer alterações no futuro e sua disponibilidade não é garantida em todos os cenários.

Visualize a ajuda do comando eadm.
```
eadm -h
```
Monitore o tráfego em tempo real de um dispositivo eRDMA

Requer a versão do driver 0.2.34 ou posterior.
```
eadm stat -d <ibdev_name> -l
```
<ibdev_name>: nome do dispositivo eRDMA. Execute ibv_devinfo para obtê-lo. Se houver apenas um dispositivo eRDMA, omita -d <ibdev_name>.
Obtenha estatísticas do dispositivo eRDMA, como contagens de mensagens CM e verbs, além de contagens de tráfego.
```
eadm stat -d <ibdev_name>
```
<ibdev_name>: nome do dispositivo eRDMA. Execute ibv_devinfo para obtê-lo. Caso haja apenas um dispositivo eRDMA, omita -d <ibdev_name>.
Verifique a versão atual do driver eRDMA.
```
eadm ver
```

Nota

Outros comandos, como info, dump e conf, possuem restrições de uso. Não os execute a menos que seja necessário.

Monitorar e diagnosticar eRDMA com iproute2

O iproute2 é um kit de ferramentas de rede Linux que fornece utilitários como ip e ss para gerenciar interfaces de rede, tabelas de roteamento e controle de tráfego. Use o comando integrado rdma para monitorar e diagnosticar o subsistema RDMA.

Nota

A maioria das distribuições Linux, como Alibaba Cloud Linux 3 e Ubuntu 20.04 ou posterior, inclui o iproute2 por padrão. Consulte a documentação do seu sistema operacional para obter detalhes.

Consulte o status do dispositivo eRDMA.
```
rdma link
```
Verifique o uso de recursos do eRDMA, como o número de CQs, QPs e MRs.

Nota
Na comunicação de rede RDMA, Queue Pair (QP), Completion Queue (CQ), Memory Region (MR) e Opcode verbs são os componentes principais. Eles desempenham papéis fundamentais na comunicação RDMA, garantindo alta eficiência e baixa latência na rede.

Consulte Capacidades e especificações do eRDMA.
```
rdma res
```
Obtenha estatísticas de desempenho do eRDMA, incluindo contagem de conexões, status das conexões e contagem de pacotes.
```
rdma -p stat
```

Diagnosticar e avaliar eRDMA com a ferramenta diagnose

A ferramenta diagnose suporta verificações de funções básicas, verificações de ambiente HPC e testes de latência para eRDMA.

Resultados possíveis de uma verificação diagnose

PASS: a verificação foi aprovada.
SKIP: a versão atual do sistema não suporta esta verificação.
FAIL: a ferramenta de verificação não está instalada ou a verificação falhou. O comando com falha está listado em fail info.
Outras mensagens INFO: detalhes da configuração do eRDMA, como modo de instalação, versão do driver e algoritmo CC.

Instalar diagnose

Em uma instância configurada com eRDMA, baixe a ferramenta diagnose:

Baixar de uma URL interna

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

Baixar de uma URL pública

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

Como usar a ferramenta diagnose

python diagnose.py -h

Diagnosticar funções básicas do eRDMA

O teste funcional básico verifica a instalação do driver, a conectividade de rede e o modo de instalação do driver de kernel eRDMA.

Itens de diagnóstico de função básica do eRDMA

Item de verificação	Descrição	Saída esperada	Falha e solução
`erdma device`	Verifica se existe um dispositivo eRDMA.	`PASS`	`FAIL`: O RDMA não foi ativado para a ENI primária ou nenhuma ENI secundária com RDMA ativado foi anexada durante a criação da instância. Consulte Ativar eRDMA para uma instância ECS.
`erdma installed`	Verifica se o driver eRDMA está instalado corretamente.	`PASS`	`FAIL`: O driver não está instalado corretamente. Verifique as etapas de instalação ou reinstale o driver. Consulte Etapa 2: Instalar o driver eRDMA para uma instância ECS.
`erdma loaded`	Verifica se o driver eRDMA foi carregado corretamente.	`PASS`	`FAIL`: O driver não está carregado. Isso pode ocorrer se o host não tiver sido reiniciado após a instalação. Execute `modprobe erdma` para resolver.
`ibverbs loaded`	Verifica se o driver ib_verbs está carregado corretamente.	`PASS`	`FAIL`: Execute `modprobe ib_uverbs` para resolver.
`erdma tools`	Verifica se as ferramentas relacionadas ao eRDMA estão instaladas.	`PASS`	`FAIL`: Execute `eadm \| rdma \| ibv_devinfo` para identificar ferramentas ausentes. Essas ferramentas são instaladas junto com o driver eRDMA. Verifique as etapas de instalação ou reinstale. Consulte Etapa 2: Instalar o driver eRDMA para uma instância ECS.
`hca detected`	Verifica se o driver de espaço de usuário detectou corretamente o dispositivo eRDMA.	`PASS`	`FAIL`: Uma das verificações de pré-requisito (`erdma device`, `erdma installed`, `erdma loaded` ou `ibverbs loaded`) falhou. Certifique-se de que o driver eRDMA esteja instalado e carregado.
`hca active`	Verifica se a ENI correspondente ao dispositivo eRDMA está em estado normal.	`PASS`	`FAIL`: A ENI correspondente ao dispositivo eRDMA não está `UP`. Isso pode ocorrer em versões mais antigas do kernel. Execute `dhclient -v ethx` para ativar o dispositivo eth e, em seguida, verifique se o dispositivo eRDMA está `ACTIVE`. Consulte Verificar a configuração do eRDMA.
`erdma stats`	Verifica se o dispositivo eRDMA possui contadores de erro.	`PASS`	`SKIP`: O sistema operacional pode não suportar `rdma stat`. `FAIL`: Podem existir contadores de erro. Forneça a saída de `rdma -p stat` ao entrar em contato com o suporte técnico.
`network config`	Verifica se a conectividade de rede está normal.	`PASS`	`FAIL`: Múltiplas interfaces de rede possuem endereços IP na mesma sub-rede, o que pode causar mau funcionamento do eRDMA.
`erdma dmesg`	Verifica se há alertas de kernel relacionados ao eRDMA.	`PASS`	`FAIL`: Existem alertas de kernel relacionados ao eRDMA. Verifique os detalhes do alerta e tente recarregar o driver.
`atomic support`	Verifica se o dispositivo eRDMA suporta operações atômicas RDMA.	`PASS`	`FAIL`: O dispositivo eRDMA não suporta operações atômicas RDMA. Ignore isso se sua aplicação não exigir operações atômicas. Nota Uma operação atômica realiza operações de memória no nível atômico para garantir integridade e consistência. Este recurso aplica-se apenas a casos de uso específicos.
`go-back-n support`	Verifica se o dispositivo eRDMA suporta o recurso Go-back-N.	`PASS`	`SKIP`: O dispositivo eRDMA pode não suportar a consulta da configuração Go-back-N. `FAIL`: A ferramenta eadm pode não estar instalada ou o dispositivo eRDMA pode não suportar Go-back-N. Nota Go-back-N é um recurso estendido do eRDMA para casos de uso específicos. Ignore erros relacionados se não for necessário.
`erdma install mode`	Modo de instalação do driver de kernel eRDMA.	`Standard`: Suporta apenas conexões RDMA_CM. Importante Por padrão, as famílias de instâncias baseadas em CPU que suportam eRDMA instalam o driver de modo kernel eRDMA no modo Standard. Neste modo, apenas o método de estabelecimento de conexão RDMA_CM é suportado. `Compat`: Suporta conexões RDMA_CM e OOB. Importante Por padrão, as famílias de instâncias baseadas em GPU que suportam eRDMA instalam o driver de modo kernel eRDMA no modo Compat. Neste modo, os métodos de estabelecimento de conexão RDMA_CM e OOB são suportados. Você pode usar a CLI para ativar a compatibilidade entre os métodos de estabelecimento de conexão RDMA_CM e OOB. Para mais informações, consulte Alterar o modo de estabelecimento de conexão do eRDMA para ser compatível com bRPC. No modo Compat, 16 portas TCP adicionais no intervalo de 30608 a 30623 são ocupadas.	`FAIL`: Modo de instalação não encontrado. Isso pode ocorrer se a verificação `erdma loaded` tiver falhado. Reinstale o driver eRDMA. Consulte Etapa 2: Instalar o driver eRDMA para uma instância ECS.
`kernel driver version`	Versão do driver de kernel eRDMA.	Versão atual do driver de kernel eRDMA, por exemplo, `0.2.37`.	`FAIL`: Versão do driver de kernel não encontrada. Isso pode ocorrer se a verificação `erdma loaded` ou `erdma tools` tiver falhado. Certifique-se de que o driver eRDMA esteja instalado e carregado. Consulte Verificar a configuração do eRDMA.
`rdma-core version`	Versão do driver de espaço de usuário eRDMA.	Versão do driver de espaço de usuário eRDMA, por exemplo, `44.1-2`.	`FAIL`: Versão do driver de espaço de usuário não encontrada. O driver de espaço de usuário pode não estar instalado corretamente. Reinstale o driver eRDMA. Consulte Etapa 2: Instalar o driver eRDMA para uma instância ECS.
`cc algorithm`	Algoritmo CC atualmente usado pelo eRDMA.	Algoritmo CC do eRDMA, por exemplo, `hpcc_rtt`.	`FAIL`: Algoritmo CC não encontrado. Isso pode ocorrer se a verificação `erdma loaded` ou `erdma tools` tiver falhado. Certifique-se de que o driver eRDMA esteja instalado e carregado.

Procedimento:

Faça logon na instância configurada com eRDMA.

Consulte Conectar-se a uma instância Linux usando o Workbench.

Baixe a ferramenta diagnose.

Baixar de uma URL interna

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

Baixar de uma URL pública

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

Verifique as funções básicas do eRDMA:
```
python diagnose.py -d
```
Veja a seguir um exemplo de saída. Para descrições dos itens de diagnóstico, consulte Itens de diagnóstico de função básica do eRDMA.

Diagnosticar o ambiente HPC do eRDMA

Aplicações HPC em um ambiente eRDMA podem exigir dependências e configurações adicionais. A ferramenta diagnose verifica essas dependências.

Verificações de dependência do ambiente HPC eRDMA

A verificação de dependência HPC valida o algoritmo CC, o status do Go-back-N e as dependências DAPL 1.0/2.0. Se você não utilizar certas dependências, ignore os erros relacionados.

Item de verificação	Descrição	Saída esperada	Falha e solução
`cc algorithm`	Algoritmo CC atualmente usado pelo eRDMA.	Algoritmo CC do eRDMA, por exemplo, hpcc_rtt.	`FAIL`: Algoritmo CC não encontrado. A ferramenta eadm pode não estar instalada corretamente ou pode não suportar a consulta do algoritmo CC.
`go-back-n support`	Verifica se o dispositivo eRDMA suporta o recurso Go-back-N.	`PASS`	`SKIP`: O dispositivo eRDMA pode não suportar a consulta da configuração Go-back-N. `FAIL`: A ferramenta eadm pode não estar instalada ou o dispositivo eRDMA pode não suportar Go-back-N. Este recurso pode afetar aplicações HPC. Ignore se não for necessário.
`dapl1 install`	Verifica se o dapl1 está instalado corretamente.	`PASS`	`FAIL`: Bibliotecas compartilhadas ou arquivos de configuração para dapl1 estão ausentes. Verifique a instalação do dapl1. Ignore se o dapl1 não for necessário.
`dapl1 config`	Verifica se o eRDMA está configurado no arquivo de configuração do dapl1.	`PASS`	`FAIL`: Nenhuma configuração eRDMA encontrada no arquivo de configuração do dapl1. Adicione a configuração do eRDMA ao arquivo. Ignore se o dapl1 não for necessário.
`dapl2 install`	Verifica se o dapl2 está instalado corretamente.	`PASS`	`FAIL`: Bibliotecas compartilhadas ou arquivos de configuração para dapl2 estão ausentes. Verifique a instalação do dapl2. Ignore se o dapl2 não for necessário.
`dapl2 config`	Verifica se o eRDMA está configurado no arquivo de configuração do dapl2.	`PASS`	`FAIL`: Nenhuma configuração eRDMA encontrada no arquivo de configuração do dapl2. Adicione a configuração do eRDMA ao arquivo. Ignore se o dapl2 não for necessário.
`dapl2 test`	Verifica se o dtest do dapl2 executa normalmente.	`PASS`	`FAIL`: O dtest falhou. O dapl2 pode não estar instalado ou configurado corretamente.

Procedimento:

Faça logon na instância configurada com eRDMA.

Consulte Conectar-se a uma instância Linux usando o Workbench.

Baixe a ferramenta diagnose.

Baixar de uma URL interna

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

Baixar de uma URL pública

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

Verifique as dependências do ambiente HPC:
```
python diagnose.py --hpc-check
```
Exemplo de saída. Para descrições dos itens de diagnóstico, consulte Verificações de dependência do ambiente HPC eRDMA.

Avaliar o desempenho de rede do eRDMA

Use o recurso perftest na ferramenta diagnose para testar o desempenho da rede entre instâncias.

Pré-requisitos

Antes de executar o teste:

O eRDMA deve estar instalado e implantado em todos os nós de teste. Consulte Ativar eRDMA para uma instância ECS.
O SSH sem senha deve estar configurado entre todos os nós de teste. Consulte Configurar logon SSH sem senha.

O Python paramiko deve estar instalado em todos os nós de teste.

Nota

A ferramenta diagnose utiliza o paramiko para conexões remotas.
Instale o paramiko com os seguintes comandos. Recomenda-se o uso do Python 3.

Alibaba Cloud Linux/CentOS

# python3
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install paramiko 
# python2
# If the pip module is not installed for Python 2, install python2-pip.
sudo yum -y install python2-pip
sudo python2 -m pip install --upgrade pip==20.3.4
sudo python2 -m pip install paramiko

Ubuntu

# python3
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install paramiko
# python2
# If python2-pip is not installed on the current node, install it.
sudo apt install software-properties-common
sudo add-apt-repository universe
sudo apt update
sudo apt install python2
sudo curl https://bootstrap.pypa.io/pip/2.7/get-pip.py --output get-pip.py
sudo python2 get-pip.py
sudo python2 -m pip install --upgrade pip==20.3.4
sudo python2 -m pip install paramiko

Procedimento
1. Faça logon na instância configurada com eRDMA.
  
  Consulte Conectar-se a uma instância Linux usando o Workbench.
2. Baixe a ferramenta diagnose.
  - Baixar de uma URL interna
```
wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py
```
  - Baixar de uma URL pública
```
wget https://mirrors.aliyun.com/erdma/tools/diagnose.py
```
3. Teste a latência do eRDMA:
```
python diagnose.py --perftest --hosts <n1> <n2> --user <username> --key-file </path/to/private_key>
```
  Parâmetros:
  - --hosts <n1> <n2>: nós de teste, separados por espaços. Substitua <n1> <n2> pelo endereço IP privado da ENI habilitada para eRDMA em cada nó.
  - --user <username>: nome de usuário para SSH sem senha.
  - --key-file </path/to/private_key>: caminho absoluto para o arquivo de chave privada para SSH.
  Exemplo de saída para teste de latência entre duas instâncias. Consulte Testes de desempenho de rede do eRDMA.
  
  Cada tabela mostra a latência para diferentes operações. As linhas representam os solicitantes e as colunas representam os respondedores. Os valores das células mostram a latência média em microssegundos (percentil 99,9 entre parênteses).