Elastic High Performance Computing:Deploy an Elastic High Performance Computing cluster with eRDMA

Crie um cluster E-HPC

Acesse a página Create Cluster e crie um cluster com a configuração a seguir. Para obter instruções completas de configuração, consulte Create a Standard Edition cluster.

Crie um usuário do cluster

Crie um usuário do cluster para executar jobs. Para obter instruções, consulte User management.

Execute o benchmark

1. Conecte-se ao cluster como o usuário criado.

2. Confirme se os módulos de ambiente necessários estão instalados:

   module avail

3. Baixe e extraia o pacote OSU-Benchmark pré-compilado:

   cd ~ && wget https://ehpc-perf.oss-cn-hangzhou.aliyuncs.com/AMD-Genoa/osu-bin.tar.gz
   tar -zxvf osu-bin.tar.gz

4. Navegue até o diretório de teste ponto a ponto e abra o script de job do Slurm:

   cd ~/pt2pt
   vim slurm.job

5. Substitua o conteúdo de slurm.job pelo script a seguir:

   Parâmetro	Descrição	Valor utilizado
   -np	Número total de processos MPI	2
   -ppn	Processos por nó	1 (um processo por nó de computação)
   -genv	Variável de ambiente aplicada a todos os processos	—
   FI_PROVIDER="verbs;ofi_rxm"	Protocolo Verbs (baseado em RDMA) com a camada de confiabilidade RXM. Utilize esta opção para desempenho eRDMA.	Testes eRDMA
   FI_PROVIDER="tcp;ofi_rxm"	tcp com a camada de confiabilidade RXM. Utilize esta opção como linha de base para comparação.	Testes tcp

   #!/bin/bash
   #SBATCH --job-name=osu-bench
   #SBATCH --ntasks-per-node=1
   #SBATCH --nodes=2
   #SBATCH --partition=comp
   #SBATCH --output=%j.out
   #SBATCH --error=%j.out
   
   # Load environment parameters
   module purge
   module load aocc/4.0.0 gcc/12.3.0 libfabric/1.16.0 mpich-aocc/4.0.3
   
   # Run MPI latency test: eRDMA
   echo -e "++++++ use erdma for osu_lat: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="verbs;ofi_rxm" ./osu_latency
   echo -e "------ use erdma for osu_lat: END\n"
   # Run MPI latency test: TCP
   echo -e "++++++ use tcp for osu_lat: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="tcp;ofi_rxm" ./osu_latency
   echo -e "------ use tcp for osu_lat: END\n"
   
   # Run MPI bandwidth test: eRDMA
   echo -e "++++++ use erdma for osu_bw: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="verbs;ofi_rxm" ./osu_bw
   echo -e "------ use erdma for osu_bw: END\n"
   # Run MPI bandwidth test: TCP
   echo -e "++++++ use tcp for osu_bw: START"
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="tcp;ofi_rxm" ./osu_bw
   echo -e "------ use tcp for osu_bw: END\n"

   O script executa os quatro testes sequencialmente. Os principais parâmetros do mpirun são: para desempenho eRDMA, utilize FI_PROVIDER="verbs;ofi_rxm". Para mais informações, consulte Alibaba Cloud eRDMA.

6. Envie o job:

   sbatch slurm.job

   A saída exibe o id do job.

   

7. Verifique o status do job:

   squeue

   Também é possível monitorar o status de armazenamento, jobs e nós no console E-HPC. Para mais detalhes, consulte View monitoring information.

   

Analise os resultados

Quando o job for concluído, abra o arquivo de log chamado {job-id}.out no diretório ~/pt2pt.

Resultados de latência (osu_latency)

A saída mostra a latência unidirecional em microssegundos para tamanhos de mensagem de 1 B a 4 MB.

Para mensagens pequenas (de 1 B a 8 KB), a latência do eRDMA é significativamente menor que a do tcp.

Resultados de largura de banda (osu_bw)

A saída apresenta a largura de banda em MB/s para tamanhos de mensagem de 1 B a 4 MB.

Para tamanhos de mensagem entre 16 KB e 64 KB, o eRDMA utiliza totalmente a largura de banda de rede disponível. O tcp introduz sobrecarga adicional de processamento para os mesmos tamanhos de mensagem.