eRDMA のモニタリングと診断 - Elastic Compute Service - Alibaba Cloud ドキュメントセンター

CloudMonitor、eadm、iproute2、および diagnose ツールを使用して、eRDMA トラフィックをモニタリングし、障害ポイントを特定し、ネットワークパフォーマンスを評価します。

前提条件

eRDMA が対象の Elastic Compute Service (ECS) インスタンスにインストールおよびデプロイ済みである必要があります。詳細については、「ECS インスタンスで eRDMA を有効化する」をご参照ください。

CloudMonitor による eRDMA のモニタリング

CloudMonitor は eRDMA のステータスを追跡し、カスタムアラートをサポートします。詳細については、「カスタムモニタリング」をご参照ください。

eRDMA がサポートする監視メトリクスの確認

CloudMonitor コンソールにログインします。
メトリクス一覧の検索ボックスに eri と入力して、eRDMA の監視メトリクスを表示します。

eadm ツールによる eRDMA の診断

eadm は eRDMA ドライバーとともにデプロイされるユーザースペースツールです。リアルタイムモニタリングおよび診断機能により、障害ポイントの特定を支援します。主な機能は以下のとおりです。

トラフィックモニタリングおよび補助診断：デバイス全体のリアルタイムトラフィック統計を提供します。
構成のクエリおよび設定：遅延 ACK 機能および CC アルゴリズムを設定できます。

以下は一般的な eadm コマンドです。その他のコマンドについては、eadm -h を実行してください。

警告

このツールは診断およびデバッグ専用です。今後変更される可能性があり、すべてのシナリオで利用可能であることは保証されていません。

eadm コマンドのヘルプを表示します。
```
eadm -h
```
eRDMA デバイスのリアルタイムトラフィックをモニタリングします

ドライバーバージョン 0.2.34 以降が必要です。
```
eadm stat -d <ibdev_name> -l
```
<ibdev_name>：eRDMA デバイス名です。ibv_devinfo を実行して確認できます。eRDMA デバイスが 1 つしかない場合は、-d <ibdev_name> を省略できます。
eRDMA デバイスの統計情報を取得します（例：CM および verbs メッセージ数、トラフィック数）。
```
eadm stat -d <ibdev_name>
```
<ibdev_name>：eRDMA デバイス名です。ibv_devinfo を実行して確認できます。eRDMA デバイスが 1 つしかない場合は、-d <ibdev_name> を省略できます。
現在の eRDMA ドライバーバージョンを取得します。
```
eadm ver
```

説明

info、dump、conf などの他のコマンドには使用制約があります。必要がない限り実行しないでください。

iproute2 による eRDMA のモニタリングと診断

iproute2 は Linux ネットワーキングツールキットであり、ネットワークインターフェース、ルーティングテーブル、トラフィックコントロールを管理するための ip や ss などのユーティリティを提供します。組み込みの rdma コマンドを使用して、RDMA サブシステムをモニタリングおよび診断できます。

説明

Alibaba Cloud Linux 3 や Ubuntu 20.04 以降など、ほとんどの Linux ディストリビューションでは、iproute2 がデフォルトで含まれています。詳細については、ご利用のオペレーティングシステムのドキュメントをご確認ください。

eRDMA デバイスのステータスをクエリします。
```
rdma link
```
eRDMA のリソース使用量（CQ、QP、MR の数など）をクエリします。

説明
RDMA ネットワーク通信において、キューペア (QP)、完了キュー (CQ)、メモリリージョン (MR)、および verbs Opcode はコアコンポーネントです。これらは RDMA 通信において重要な役割を果たし、RDMA ネットワーク通信の高効率性と低レイテンシーを確保します。

詳細については、「eRDMA の機能と仕様」をご参照ください。
```
rdma res
```
eRDMA のパフォーマンス統計（接続数、接続ステータス、パケット数など）をクエリします。
```
rdma -p stat
```

diagnose ツールによる eRDMA の診断と評価

diagnose ツールは、eRDMA の基本機能チェック、HPC 環境チェック、レイテンシーチェックをサポートします。

診断チェックの結果

PASS：チェックに合格しました。
SKIP：現在のシステムバージョンではこのチェックがサポートされていません。
FAIL：チェックツールがインストールされていないか、チェックに失敗しました。fail info に失敗したコマンドが記載されています。
その他の INFO メッセージ：eRDMA の構成詳細（インストールモード、ドライバーバージョン、CC アルゴリズムなど）。

diagnose のインストール

eRDMA が構成されたインスタンス上で、diagnose ツールをダウンロードします。

内部 URL からダウンロード

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

公開 URL からダウンロード

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

diagnose ツールの使用方法

python diagnose.py -h

eRDMA 基本機能の診断

基本機能テストでは、ドライバーのインストール、ネットワーク接続、および eRDMA カーネルドライバーのインストールモードを検証します。

eRDMA 基本機能診断項目

チェック項目	説明	期待される出力	失敗時の対処法
`erdma device`	eRDMA デバイスが存在するかどうかをチェックします。	`PASS`	`FAIL`：プライマリ ENI で RDMA が有効になっていないか、インスタンス作成時に RDMA が有効なセカンダリ ENI がアタッチされていません。詳細については、「ECS インスタンスで eRDMA を有効化する」をご参照ください。
`erdma installed`	eRDMA ドライバーが正しくインストールされているかどうかをチェックします。	`PASS`	`FAIL`：ドライバーが正しくインストールされていません。インストール手順を確認するか、ドライバーを再インストールしてください。詳細については、「ステップ 2：ECS インスタンスに eRDMA ドライバーをインストールする」をご参照ください。
`erdma loaded`	eRDMA ドライバーが正しくロードされているかどうかをチェックします。	`PASS`	`FAIL`：ドライバーがロードされていません。これは、インストール後にホストを再起動していない場合に発生することがあります。`modprobe erdma` を実行して解決してください。
`ibverbs loaded`	ib_verbs ドライバーが正しくロードされているかどうかをチェックします。	`PASS`	`FAIL`：`modprobe ib_uverbs` を実行して解決してください。
`erdma tools`	eRDMA 関連ツールがインストールされているかどうかをチェックします。	`PASS`	`FAIL`：`eadm｜rdma｜ibv_devinfo` を実行して、不足しているツールを特定してください。これらのツールは eRDMA ドライバーとともにインストールされます。インストール手順を確認するか、再インストールしてください。詳細については、「ステップ 2：ECS インスタンスに eRDMA ドライバーをインストールする」をご参照ください。
`hca detected`	ユーザースペースドライバーが eRDMA デバイスを正しく検出しているかどうかをチェックします。	`PASS`	`FAIL`：前提条件チェックのいずれか（`erdma device`、`erdma installed`、`erdma loaded`、または `ibverbs loaded`）が失敗しています。eRDMA ドライバーがインストールおよびロードされていることを確認してください。
`hca active`	eRDMA デバイスに対応する ENI が正常な状態かどうかをチェックします。	`PASS`	`FAIL`：eRDMA デバイスに対応する ENI が `UP` 状態ではありません。これは古いカーネルバージョンで発生することがあります。`dhclient -v ethx` を実行して eth デバイスを有効にし、その後 eRDMA デバイスが `ACTIVE` になっていることを確認してください。詳細については、「eRDMA 構成の検証」をご参照ください。
`erdma stats`	eRDMA デバイスにエラーカウンターがあるかどうかをチェックします。	`PASS`	`SKIP`：オペレーティングシステムが `rdma stat` をサポートしていない可能性があります。 `FAIL`：エラーカウンターが存在する可能性があります。テクニカルサポートに連絡する際は、`rdma -p stat` の出力を提供してください。
`network config`	ネットワーク接続が正常かどうかをチェックします。	`PASS`	`FAIL`：複数のネットワークインターフェースが同じサブネット内に IP アドレスを持ち、eRDMA が誤動作する可能性があります。
`erdma dmesg`	eRDMA 関連のカーネルアラートがないかどうかをチェックします。	`PASS`	`FAIL`：eRDMA 関連のカーネルアラートが存在します。アラートの詳細を確認し、ドライバーを再読み込みしてみてください。
`atomic support`	eRDMA デバイスが RDMA アトミック操作をサポートしているかどうかをチェックします。	`PASS`	`FAIL`：eRDMA デバイスが RDMA アトミック操作をサポートしていません。アプリケーションでアトミック操作を必要としない場合は、このエラーを無視しても問題ありません。説明アトミック操作は、メモリ操作をアトミックレベルで実行し、整合性と一貫性を確保します。この機能は特定のユースケースでのみ適用されます。
`go-back-n support`	eRDMA デバイスが Go-back-N 機能をサポートしているかどうかをチェックします。	`PASS`	`SKIP`：eRDMA デバイスが Go-back-N 構成のクエリをサポートしていない可能性があります。 `FAIL`：eadm ツールがインストールされていないか、eRDMA デバイスが Go-back-N をサポートしていません。説明 Go-back-N は特定のユースケース向けの拡張 eRDMA 機能です。必要としない場合は、関連エラーを無視しても問題ありません。
`erdma install mode`	eRDMA カーネルドライバーのインストールモード。	`Standard`：RDMA_CM 接続のみをサポートします。重要デフォルトでは、eRDMA をサポートする CPU ベースのインスタンスファミリーは、eRDMA カーネルモードドライバーを Standard モードでインストールします。このモードでは、RDMA_CM 接続確立方法のみがサポートされます。 `Compat`：RDMA_CM および OOB 接続の両方をサポートします。重要デフォルトでは、eRDMA をサポートする GPU ベースのインスタンスファミリーは、eRDMA カーネルモードドライバーを Compat モードでインストールします。このモードでは、RDMA_CM および OOB 接続確立方法がサポートされます。 CLI を使用して、RDMA_CM および OOB 接続確立方法間の互換性を有効にできます。詳細については、「eRDMA の接続確立モードを bRPC と互換にするように変更する」をご参照ください。 Compat モードでは、30608 ～ 30623 の範囲で追加の TCP ポート 16 個が使用されます。	`FAIL`：インストールモードが見つかりません。これは、`erdma loaded` チェックが失敗した場合に発生することがあります。eRDMA ドライバーを再インストールしてください。詳細については、「ステップ 2：ECS インスタンスに eRDMA ドライバーをインストールする」をご参照ください。
`kernel driver version`	eRDMA カーネルドライバーのバージョン。	現在の eRDMA カーネルドライバーバージョン（例：`0.2.37`）。	`FAIL`：カーネルドライバーバージョンが見つかりません。これは、`erdma loaded` または `erdma tools` チェックが失敗した場合に発生することがあります。eRDMA ドライバーがインストールおよびロードされていることを確認してください。詳細については、「eRDMA 構成の検証」をご参照ください。
`rdma-core version`	eRDMA ユーザースペースドライバーのバージョン。	eRDMA ユーザースペースドライバーバージョン（例：`44.1-2`）。	`FAIL`：ユーザースペースドライバーバージョンが見つかりません。ユーザースペースドライバーが正しくインストールされていない可能性があります。eRDMA ドライバーを再インストールしてください。詳細については、「ステップ 2：ECS インスタンスに eRDMA ドライバーをインストールする」をご参照ください。
`cc algorithm`	eRDMA で現在使用されている CC アルゴリズム。	eRDMA CC アルゴリズム（例：`hpcc_rtt`）。	`FAIL`：CC アルゴリズムが見つかりません。これは、`erdma loaded` または `erdma tools` チェックが失敗した場合に発生することがあります。eRDMA ドライバーがインストールおよびロードされていることを確認してください。

操作手順：

eRDMA が構成されたインスタンスにログインします。

詳細については、「Workbench を使用して Linux インスタンスに接続する」をご参照ください。
diagnose ツールをダウンロードします。
- 内部 URL からダウンロード
```
wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py
```
- 公開 URL からダウンロード
```
wget https://mirrors.aliyun.com/erdma/tools/diagnose.py
```
eRDMA の基本機能をチェックします。
```
python diagnose.py -d
```
以下は出力例です。診断項目の説明については、「eRDMA 基本機能診断項目」をご参照ください。

eRDMA HPC 環境の診断

eRDMA 環境における HPC アプリケーションでは、追加の依存関係および構成が必要になる場合があります。diagnose ツールはこれらの依存関係をチェックします。

eRDMA HPC 環境依存関係チェック

HPC 依存関係チェックでは、CC アルゴリズム、Go-back-N ステータス、DAPL 1.0/2.0 依存関係を検証します。特定の依存関係を使用しない場合は、関連エラーを無視しても問題ありません。

チェック項目	説明	期待される出力	失敗時の対処法
`cc algorithm`	eRDMA で現在使用されている CC アルゴリズム。	eRDMA CC アルゴリズム（例：hpcc_rtt）。	`FAIL`：CC アルゴリズムが見つかりません。eadm ツールが正しくインストールされていないか、CC アルゴリズムのクエリをサポートしていない可能性があります。
`go-back-n support`	eRDMA デバイスが Go-back-N 機能をサポートしているかどうかをチェックします。	`PASS`	`SKIP`：eRDMA デバイスが Go-back-N 構成のクエリをサポートしていない可能性があります。 `FAIL`：eadm ツールがインストールされていないか、eRDMA デバイスが Go-back-N をサポートしていません。この機能は HPC アプリケーションに影響を与える可能性があります。必要としない場合は無視しても問題ありません。
`dapl1 install`	dapl1 が正しくインストールされているかどうかをチェックします。	`PASS`	`FAIL`：dapl1 の共有ライブラリまたは構成ファイルが不足しています。dapl1 のインストールを確認してください。dapl1 を必要としない場合は、このエラーを無視しても問題ありません。
`dapl1 config`	dapl1 構成ファイルに eRDMA が構成されているかどうかをチェックします。	`PASS`	`FAIL`：dapl1 構成ファイルに eRDMA 構成が見つかりません。ファイルに eRDMA 構成を追加してください。dapl1 を必要としない場合は、このエラーを無視しても問題ありません。
`dapl2 install`	dapl2 が正しくインストールされているかどうかをチェックします。	`PASS`	`FAIL`：dapl2 の共有ライブラリまたは構成ファイルが不足しています。dapl2 のインストールを確認してください。dapl2 を必要としない場合は、このエラーを無視しても問題ありません。
`dapl2 config`	dapl2 構成ファイルに eRDMA が構成されているかどうかをチェックします。	`PASS`	`FAIL`：dapl2 構成ファイルに eRDMA 構成が見つかりません。ファイルに eRDMA 構成を追加してください。dapl2 を必要としない場合は、このエラーを無視しても問題ありません。
`dapl2 test`	dapl2 dtest が正常に実行されるかどうかをチェックします。	`PASS`	`FAIL`：dtest が失敗しました。dapl2 が正しくインストールまたは構成されていない可能性があります。

操作手順：

eRDMA が構成されたインスタンスにログインします。

詳細については、「Workbench を使用して Linux インスタンスに接続する」をご参照ください。
diagnose ツールをダウンロードします。
- 内部 URL からダウンロード
```
wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py
```
- 公開 URL からダウンロード
```
wget https://mirrors.aliyun.com/erdma/tools/diagnose.py
```
HPC 環境の依存関係をチェックします。
```
python diagnose.py --hpc-check
```
出力例です。診断項目の説明については、「eRDMA HPC 環境依存関係チェック」をご参照ください。

eRDMA ネットワークパフォーマンスの評価

diagnose ツールの perftest 機能を使用して、インスタンス間のネットワークパフォーマンスをテストします。

前提条件

テストを実行する前に:

すべてのテストノードに eRDMA がインストールおよびデプロイ済みである必要があります。詳細については、「ECS インスタンスで eRDMA を有効化する」をご参照ください。
すべてのテストノード間でパスワードレス SSH が構成されている必要があります。詳細については、「パスワードレス SSH ログインを構成する」をご参照ください。

すべてのテストノードに Python paramiko がインストールされています。

説明

diagnose ツールはリモート接続に paramiko を使用します。
以下のコマンドで paramiko をインストールします。Python 3 を推奨します。

Alibaba Cloud Linux/CentOS

# python3
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install paramiko 
# python2
# Python 2 用の pip モジュールがインストールされていない場合は、python2-pip をインストールします。
sudo yum -y install python2-pip
sudo python2 -m pip install --upgrade pip==20.3.4
sudo python2 -m pip install paramiko

Ubuntu

# python3
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install paramiko
# python2
# 現在のノードに python2-pip がインストールされていない場合は、インストールします。
sudo apt install software-properties-common
sudo add-apt-repository universe
sudo apt update
sudo apt install python2
sudo curl https://bootstrap.pypa.io/pip/2.7/get-pip.py --output get-pip.py
sudo python2 get-pip.py
sudo python2 -m pip install --upgrade pip==20.3.4
sudo python2 -m pip install paramiko

操作手順
1. eRDMA が構成されたインスタンスにログインします。
  
  詳細については、「Workbench を使用して Linux インスタンスに接続する」をご参照ください。
2. diagnose ツールをダウンロードします。
  - 内部 URL からダウンロード
```
wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py
```
  - 公開 URL からダウンロード
```
wget https://mirrors.aliyun.com/erdma/tools/diagnose.py
```
3. eRDMA レイテンシーをテストします。
```
python diagnose.py --perftest --hosts <n1> <n2> --user <username> --key-file </path/to/private_key>
```
  パラメーター：
  - --hosts <n1> <n2>：スペースで区切られたテストノードです。<n1> <n2> を各ノードの eRDMA が有効な ENI のプライベート IP アドレスに置き換えてください。
  - --user <username>：パスワードレス SSH 用のユーザー名です。
  - --key-file </path/to/private_key>：SSH 用の秘密鍵ファイルへの絶対パスです。
  2 インスタンス間のレイテンシーテストの出力例です。詳細については、「eRDMA ネットワークパフォーマンステスト」をご参照ください。
  
  各表は異なる操作のレイテンシーを示します。行はリクエスター、列はレスポンダーを表します。セルの値は平均レイテンシー（マイクロ秒単位）を示し、括弧内は 99.9 パーセンタイルの値です。