Elastic High Performance Computing:eRDMA に基づく E-HPC クラスターデプロイメント

テスト手順は次のとおりです。

1. 作成したユーザーを使用して E-HPC クラスタに接続します。詳細については、「クラスタに接続する」をご参照ください。

2. 依存環境のコンポーネントが正しくインストールされているかどうかを確認します。

   module avail

3. プリコンパイル済みの osu-benchmark インストールパッケージをダウンロードして解凍します。

   cd ~ && wget https://ehpc-perf.oss-cn-hangzhou.aliyuncs.com/AMD-Genoa/osu-bin.tar.gz
   tar -zxvf osu-bin.tar.gz

4. テスト作業ディレクトリに移動し、slurm ジョブスクリプトを編集します。

   cd ~/pt2pt 
   vim slurm.job

   テストスクリプトの内容は次のとおりです。

   #!/bin/bash
   #SBATCH --job-name=osu-bench  // ジョブ名を設定
   #SBATCH --ntasks-per-node=1 // ノードあたりのタスク数を設定
   #SBATCH --nodes=2 // 使用するノード数を設定
   #SBATCH --partition=comp // パーティションを設定
   #SBATCH --output=%j.out // 標準出力をファイルにリダイレクト
   #SBATCH --error=%j.out // 標準エラー出力をファイルにリダイレクト
   
   # load env params // 環境パラメータを読み込み
   module purge // 現在のモジュールをすべて削除
   module load aocc/4.0.0 gcc/12.3.0 libfabric/1.16.0 mpich-aocc/4.0.3 // 必要なモジュールを読み込み
   
   # run mpi latency test: erdma // eRDMA を使用した MPI レイテンシテストを実行
   echo -e "++++++ use erdma for osu_lat: START" // 開始メッセージを出力
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="verbs;ofi_rxm" ./osu_latency // MPI 実行コマンド
   echo -e "------ use erdma for osu_lat: END\n" // 終了メッセージを出力
   # run mpi latency test: tcp // TCP を使用した MPI レイテンシテストを実行
   echo -e "++++++ use tcp for osu_lat: START" // 開始メッセージを出力
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="tcp;ofi_rxm" ./osu_latency // MPI 実行コマンド
   echo -e "------ use erdma for osu_lat: END\n" // 終了メッセージを出力
   
   # run mpi bandwidth test: erdma // eRDMA を使用した MPI 帯域幅テストを実行
   echo -e "++++++ use erdma for osu_bw: START" // 開始メッセージを出力
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="verbs;ofi_rxm" ./osu_bw // MPI 実行コマンド
   echo -e "------ use erdma for osu_bw: END\n" // 終了メッセージを出力
   # run mpi bandwidth test: tcp // TCP を使用した MPI 帯域幅テストを実行
   echo -e "++++++ use tcp for osu_bw: START" // 開始メッセージを出力
   mpirun -np 2 -ppn 1 -genv FI_PROVIDER="tcp;ofi_rxm" ./osu_bw // MPI 実行コマンド
   echo -e "------ use tcp for osu_bw: END\n" // 終了メッセージを出力
   

   説明

   • -np 2: プロセスの総数を指定します。ここでは 2 に設定されています。これは、MPI ジョブ全体で 2 つのプロセスが開始されることを意味します。

   • -ppn 1: 各ノードのプロセス数を指定します。この値を 1 に設定すると、各ノードで 1 つのプロセスが実行されます。

   • -genv: すべてのプロセスで有効になる環境変数を設定します。

     • FI_PROVIDER="tcp;ofi_rxm": TCP プロトコルが使用され、RXM フレームワークによって通信の信頼性が向上します。

     • FI_PROVIDER="verbs;ofi_rxm": 高性能 Verbs プロトコル（RDMA ベース）が優先的に使用され、RXM フレームワークを使用してメッセージ送信が最適化されます。このトピックでは、Alibaba Cloud eRDMA を使用して、高性能 eRDMA ネットワークを提供します。

5. ジョブを送信します。

   sbatch slurm.job

   コマンドラインはジョブ ID を出力します。

   

6. ジョブの状態をクエリします。テスト中は、コンソールで E-HPC 監視情報（ストレージ監視、ジョブ監視、ノード監視など）を表示することもできます。詳細については、「リソースプールの監視情報を表示する」をご参照ください。

   squeue

   

   現在のディレクトリにあるジョブ ID に対応するログファイルを表示できます。出力は次のとおりです。

   • ネットワークレイテンシテストの結果: メッセージサイズ（1 MB から 4 MB までのバイト単位）とネットワークレイテンシ（平均レイテンシ）の関係。テスト結果の例:

     Verbs プロトコル（eRDMA ベース）を使用する

     

     TCP を使用する

     

     テストデータから、小さなメッセージ（1B から 8KB）の場合、eRDMA のレイテンシは TCP よりも大幅に低いことがわかります。

   • 帯域幅テストの結果: メッセージサイズ（1 MB から 4 MB までのバイト単位）と帯域幅の関係。テスト結果の例:

     Verbs プロトコル（eRDMA ベース）を使用する

     

     TCP を使用する

     

     テストデータから、メッセージサイズが 16KB から 64KB の場合、eRDMA はネットワーク帯域幅を最大限に活用しますが、TCP プロトコルスタック処理は追加のオーバーヘッドをもたらすことがわかります。