Pantau dan diagnosa eRDMA - Elastic Compute Service - Alibaba Cloud Documentation Center

Gunakan CloudMonitor, eadm, iproute2, dan tool diagnose untuk memantau lalu lintas eRDMA, mengidentifikasi titik kegagalan, serta mengevaluasi kinerja jaringan.

Prasyarat

eRDMA telah diinstal dan diterapkan pada instans ECS target. Lihat Aktifkan eRDMA untuk instans ECS.

Pantau eRDMA dengan CloudMonitor

CloudMonitor melacak status eRDMA dan mendukung peringatan kustom. Lihat Pemantauan kustom.

Lihat metrik pemantauan yang didukung oleh eRDMA

Masuk ke Konsol CloudMonitor.
Pada kotak pencarian daftar metrik, masukkan eri untuk melihat metrik pemantauan untuk eRDMA.

Diagnosa eRDMA dengan tool eadm

eadm adalah tool ruang pengguna (user-space) yang diterapkan bersama driver eRDMA. Tool ini menyediakan pemantauan waktu nyata dan diagnostik untuk membantu mengidentifikasi titik kegagalan. Fitur utamanya meliputi:

Pemantauan lalu lintas dan diagnostik bantuan: Statistik lalu lintas waktu nyata untuk seluruh perangkat.
Kueri dan atur konfigurasi: Konfigurasikan fitur delay ACK dan algoritma CC.

Berikut adalah perintah umum eadm. Untuk perintah lainnya, jalankan eadm -h.

Peringatan

Tool ini hanya untuk diagnostik dan debugging. Tool ini dapat berubah di masa depan, dan ketersediaannya tidak dijamin dalam semua skenario.

Lihat bantuan untuk perintah eadm.
```
eadm -h
```
Pantau lalu lintas waktu nyata perangkat eRDMA

Memerlukan versi driver 0.2.34 atau lebih baru.
```
eadm stat -d <ibdev_name> -l
```
<ibdev_name>: nama perangkat eRDMA. Jalankan ibv_devinfo untuk menemukannya. Jika hanya terdapat satu perangkat eRDMA, Anda dapat menghilangkan -d <ibdev_name>.
Dapatkan statistik perangkat eRDMA, seperti jumlah pesan CM dan verbs serta volume lalu lintas.
```
eadm stat -d <ibdev_name>
```
<ibdev_name>: nama perangkat eRDMA. Jalankan ibv_devinfo untuk menemukannya. Jika hanya terdapat satu perangkat eRDMA, Anda dapat menghilangkan -d <ibdev_name>.
Dapatkan versi driver eRDMA saat ini.
```
eadm ver
```

Catatan

Perintah lain seperti info, dump, dan conf memiliki batasan penggunaan. Jangan menjalankannya kecuali diperlukan.

Pantau dan diagnosa eRDMA dengan iproute2

iproute2 adalah toolkit jaringan Linux yang menyediakan utilitas seperti ip dan ss untuk mengelola antarmuka jaringan, tabel routing, dan kontrol lalu lintas. Gunakan perintah bawaan rdma untuk memantau dan mendiagnosa subsistem RDMA.

Catatan

Sebagian besar distribusi Linux, seperti Alibaba Cloud Linux 3 dan Ubuntu 20.04 atau lebih baru, sudah menyertakan iproute2 secara default. Lihat dokumentasi sistem operasi Anda untuk detail selengkapnya.

Kueri status perangkat eRDMA.
```
rdma link
```
Kueri penggunaan sumber daya eRDMA, seperti jumlah CQ, QP, dan MR.

Catatan
Dalam komunikasi jaringan RDMA, Queue Pair (QP), Completion Queue (CQ), Memory Region (MR), dan verbs Opcode merupakan komponen inti. Komponen-komponen ini memainkan peran penting dalam komunikasi RDMA dan memastikan efisiensi tinggi serta latensi rendah pada komunikasi jaringan RDMA.

Lihat Kemampuan dan spesifikasi eRDMA.
```
rdma res
```
Kueri statistik kinerja eRDMA, seperti jumlah koneksi, status koneksi, dan jumlah paket.
```
rdma -p stat
```

Diagnosa dan evaluasi eRDMA dengan tool diagnose

Tool diagnose mendukung pemeriksaan fungsi dasar, pemeriksaan lingkungan HPC, dan pemeriksaan latensi untuk eRDMA.

Kemungkinan hasil pemeriksaan diagnosis

PASS: Pemeriksaan berhasil.
SKIP: Versi sistem saat ini tidak mendukung pemeriksaan ini.
FAIL: Tool pemeriksa tidak terinstal atau pemeriksaan gagal. Perintah yang gagal tercantum dalam fail info.
Pesan INFO lainnya: Detail konfigurasi eRDMA, seperti mode instalasi, versi driver, dan algoritma CC.

Instal diagnose

Pada instans yang telah dikonfigurasi eRDMA, unduh tool diagnose:

Unduh dari URL internal

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

Unduh dari URL publik

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

Cara menggunakan tool diagnose

python diagnose.py -h

Diagnosa fungsi dasar eRDMA

Pengujian fungsional dasar memverifikasi instalasi driver, konektivitas jaringan, dan mode instalasi driver kernel eRDMA.

Item diagnostik fungsi dasar eRDMA

Item pemeriksaan	Deskripsi	Output yang diharapkan	Kegagalan dan solusi
`erdma device`	Memeriksa apakah perangkat eRDMA tersedia.	`PASS`	`FAIL`: RDMA tidak diaktifkan untuk ENI primer, atau tidak ada ENI sekunder dengan RDMA yang disambungkan saat instans dibuat. Lihat Aktifkan eRDMA untuk instans ECS.
`erdma installed`	Memeriksa apakah driver eRDMA terinstal dengan benar.	`PASS`	`FAIL`: Driver tidak terinstal dengan benar. Verifikasi langkah instalasi atau instal ulang driver. Lihat Langkah 2: Instal driver eRDMA untuk instans ECS.
`erdma loaded`	Memeriksa apakah driver eRDMA dimuat dengan benar.	`PASS`	`FAIL`: Driver belum dimuat. Hal ini dapat terjadi jika host tidak direstart setelah instalasi. Jalankan `modprobe erdma` untuk mengatasi masalah ini.
`ibverbs loaded`	Memeriksa apakah driver ib_verbs dimuat dengan benar.	`PASS`	`FAIL`: Jalankan `modprobe ib_uverbs` untuk mengatasi masalah ini.
`erdma tools`	Memeriksa apakah tool terkait eRDMA terinstal.	`PASS`	`FAIL`: Jalankan `eadm｜rdma｜ibv_devinfo` untuk mengidentifikasi tool yang hilang. Tool-tool ini diinstal bersama driver eRDMA. Verifikasi langkah instalasi atau instal ulang. Lihat Langkah 2: Instal driver eRDMA untuk instans ECS.
`hca detected`	Memeriksa apakah driver ruang pengguna mendeteksi perangkat eRDMA dengan benar.	`PASS`	`FAIL`: Salah satu pemeriksaan prasyarat (`erdma device`, `erdma installed`, `erdma loaded`, atau `ibverbs loaded`) gagal. Pastikan driver eRDMA terinstal dan dimuat.
`hca active`	Memeriksa apakah ENI yang sesuai dengan perangkat eRDMA berada dalam kondisi normal.	`PASS`	`FAIL`: ENI yang sesuai dengan perangkat eRDMA tidak dalam status `UP`. Hal ini dapat terjadi pada versi kernel lama. Jalankan `dhclient -v ethx` untuk mengaktifkan perangkat eth, lalu verifikasi bahwa perangkat eRDMA berstatus `ACTIVE`. Lihat Verifikasi konfigurasi eRDMA.
`erdma stats`	Memeriksa apakah perangkat eRDMA memiliki penghitung error.	`PASS`	`SKIP`: Sistem operasi mungkin tidak mendukung `rdma stat`. `FAIL`: Penghitung error mungkin ada. Sertakan output dari `rdma -p stat` saat menghubungi dukungan teknis.
`network config`	Memeriksa apakah konektivitas jaringan normal.	`PASS`	`FAIL`: Beberapa antarmuka jaringan memiliki alamat IP dalam subnet yang sama, yang dapat menyebabkan eRDMA tidak berfungsi dengan baik.
`erdma dmesg`	Memeriksa adanya peringatan kernel terkait eRDMA.	`PASS`	`FAIL`: Terdapat peringatan kernel terkait eRDMA. Periksa detail peringatan dan coba muat ulang driver.
`atomic support`	Memeriksa apakah perangkat eRDMA mendukung operasi atomik RDMA.	`PASS`	`FAIL`: Perangkat eRDMA tidak mendukung operasi atomik RDMA. Abaikan hal ini jika aplikasi Anda tidak memerlukan operasi atomik. Catatan Operasi atomik melakukan operasi memori pada level atomik untuk memastikan integritas dan konsistensi. Fitur ini hanya berlaku untuk kasus penggunaan tertentu.
`go-back-n support`	Memeriksa apakah perangkat eRDMA mendukung fitur Go-back-N.	`PASS`	`SKIP`: Perangkat eRDMA mungkin tidak mendukung kueri konfigurasi Go-back-N. `FAIL`: Tool eadm mungkin tidak terinstal, atau perangkat eRDMA mungkin tidak mendukung Go-back-N. Catatan Go-back-N adalah fitur eRDMA lanjutan untuk kasus penggunaan tertentu. Abaikan error terkait jika tidak diperlukan.
`erdma install mode`	Mode instalasi driver kernel eRDMA.	`Standard`: Hanya mendukung koneksi RDMA_CM. Penting Secara default, keluarga instans berbasis CPU yang mendukung eRDMA menginstal driver kernel-mode eRDMA dalam mode Standard. Dalam mode ini, hanya metode pembentukan koneksi RDMA_CM yang didukung. `Compat`: Mendukung koneksi RDMA_CM dan OOB. Penting Secara default, keluarga instans berbasis GPU yang mendukung eRDMA menginstal driver kernel-mode eRDMA dalam mode Compat. Dalam mode ini, metode pembentukan koneksi RDMA_CM dan OOB didukung. Anda dapat menggunakan CLI untuk mengaktifkan kompatibilitas antara metode pembentukan koneksi RDMA_CM dan OOB. Untuk informasi selengkapnya, lihat Ubah mode pembentukan koneksi eRDMA agar kompatibel dengan bRPC. Dalam mode Compat, 16 port TCP tambahan dalam rentang 30608 hingga 30623 digunakan.	`FAIL`: Mode instalasi tidak ditemukan. Hal ini dapat terjadi jika pemeriksaan `erdma loaded` gagal. Instal ulang driver eRDMA. Lihat Langkah 2: Instal driver eRDMA untuk instans ECS.
`kernel driver version`	Versi driver kernel eRDMA.	Versi driver kernel eRDMA saat ini, misalnya, `0.2.37`.	`FAIL`: Versi driver kernel tidak ditemukan. Hal ini dapat terjadi jika pemeriksaan `erdma loaded` atau `erdma tools` gagal. Pastikan driver eRDMA terinstal dan dimuat. Lihat Verifikasi konfigurasi eRDMA.
`rdma-core version`	Versi driver ruang pengguna eRDMA.	Versi driver ruang pengguna eRDMA, misalnya, `44.1-2`.	`FAIL`: Versi driver ruang pengguna tidak ditemukan. Driver ruang pengguna mungkin tidak terinstal dengan benar. Instal ulang driver eRDMA. Lihat Langkah 2: Instal driver eRDMA untuk instans ECS.
`cc algorithm`	Algoritma CC yang saat ini digunakan oleh eRDMA.	Algoritma CC eRDMA, misalnya, `hpcc_rtt`.	`FAIL`: Algoritma CC tidak ditemukan. Hal ini dapat terjadi jika pemeriksaan `erdma loaded` atau `erdma tools` gagal. Pastikan driver eRDMA terinstal dan dimuat.

Prosedur:

Masuk ke instans yang telah dikonfigurasi eRDMA.

Lihat Hubung ke instans Linux menggunakan Workbench.

Unduh tool diagnose.

Unduh dari URL internal

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

Unduh dari URL publik

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

Periksa fungsi dasar eRDMA:
```
python diagnose.py -d
```
Berikut adalah contoh output. Untuk deskripsi item diagnostik, lihat Item diagnostik fungsi dasar eRDMA.

Diagnosa lingkungan HPC eRDMA

Aplikasi HPC dalam lingkungan eRDMA mungkin memerlukan dependensi dan konfigurasi tambahan. Tool diagnose memeriksa dependensi tersebut.

Pemeriksaan dependensi lingkungan HPC eRDMA

Pemeriksaan dependensi HPC memverifikasi algoritma CC, status Go-back-N, dan dependensi DAPL 1.0/2.0. Jika Anda tidak menggunakan dependensi tertentu, abaikan error terkait.

Item pemeriksaan	Deskripsi	Output yang diharapkan	Kegagalan dan solusi
`cc algorithm`	Algoritma CC yang saat ini digunakan oleh eRDMA.	Algoritma CC eRDMA, misalnya, hpcc_rtt.	`FAIL`: Algoritma CC tidak ditemukan. Tool eadm mungkin tidak terinstal dengan benar atau tidak mendukung kueri algoritma CC.
`go-back-n support`	Memeriksa apakah perangkat eRDMA mendukung fitur Go-back-N.	`PASS`	`SKIP`: Perangkat eRDMA mungkin tidak mendukung kueri konfigurasi Go-back-N. `FAIL`: Tool eadm mungkin tidak terinstal, atau perangkat eRDMA mungkin tidak mendukung Go-back-N. Fitur ini dapat memengaruhi aplikasi HPC. Abaikan jika tidak diperlukan.
`dapl1 install`	Memeriksa apakah dapl1 terinstal dengan benar.	`PASS`	`FAIL`: Library bersama atau file konfigurasi untuk dapl1 tidak tersedia. Verifikasi instalasi dapl1. Abaikan jika dapl1 tidak diperlukan.
`dapl1 config`	Memeriksa apakah eRDMA dikonfigurasi dalam file konfigurasi dapl1.	`PASS`	`FAIL`: Tidak ditemukan konfigurasi eRDMA dalam file konfigurasi dapl1. Tambahkan konfigurasi eRDMA ke file tersebut. Abaikan jika dapl1 tidak diperlukan.
`dapl2 install`	Memeriksa apakah dapl2 terinstal dengan benar.	`PASS`	`FAIL`: Library bersama atau file konfigurasi untuk dapl2 tidak tersedia. Verifikasi instalasi dapl2. Abaikan jika dapl2 tidak diperlukan.
`dapl2 config`	Memeriksa apakah eRDMA dikonfigurasi dalam file konfigurasi dapl2.	`PASS`	`FAIL`: Tidak ditemukan konfigurasi eRDMA dalam file konfigurasi dapl2. Tambahkan konfigurasi eRDMA ke file tersebut. Abaikan jika dapl2 tidak diperlukan.
`dapl2 test`	Memeriksa apakah dtest dapl2 berjalan normal.	`PASS`	`FAIL`: dtest gagal. dapl2 mungkin tidak terinstal atau dikonfigurasi dengan benar.

Prosedur:

Masuk ke instans yang telah dikonfigurasi eRDMA.

Lihat Hubung ke instans Linux menggunakan Workbench.

Unduh tool diagnose.

Unduh dari URL internal

wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py

Unduh dari URL publik

wget https://mirrors.aliyun.com/erdma/tools/diagnose.py

Periksa dependensi lingkungan HPC:
```
python diagnose.py --hpc-check
```
Contoh output. Untuk deskripsi item diagnostik, lihat Pemeriksaan dependensi lingkungan HPC eRDMA.

Evaluasi kinerja jaringan eRDMA

Gunakan fitur perftest dalam tool diagnose untuk menguji kinerja jaringan antar instans.

Prasyarat

Sebelum menjalankan pengujian:

eRDMA telah diinstal dan diterapkan pada semua node pengujian. Lihat Aktifkan eRDMA untuk instans ECS.
SSH tanpa kata sandi telah dikonfigurasi di antara semua node pengujian. Lihat Konfigurasikan login SSH tanpa kata sandi.

Python paramiko telah diinstal pada semua node pengujian.

Catatan

Tool diagnose menggunakan paramiko untuk koneksi jarak jauh.
Instal paramiko dengan perintah berikut. Disarankan menggunakan Python 3.

Alibaba Cloud Linux/CentOS

# python3
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install paramiko 
# python2
# Jika modul pip tidak terinstal untuk Python 2, instal python2-pip.
sudo yum -y install python2-pip
sudo python2 -m pip install --upgrade pip==20.3.4
sudo python2 -m pip install paramiko

Ubuntu

# python3
sudo python3 -m pip install --upgrade pip
sudo python3 -m pip install paramiko
# python2
# Jika python2-pip tidak terinstal pada node saat ini, instal terlebih dahulu.
sudo apt install software-properties-common
sudo add-apt-repository universe
sudo apt update
sudo apt install python2
sudo curl https://bootstrap.pypa.io/pip/2.7/get-pip.py --output get-pip.py
sudo python2 get-pip.py
sudo python2 -m pip install --upgrade pip==20.3.4
sudo python2 -m pip install paramiko

Prosedur
1. Masuk ke instans yang telah dikonfigurasi eRDMA.
  
  Lihat Hubung ke instans Linux menggunakan Workbench.
2. Unduh tool diagnose.
  - Unduh dari URL internal
```
wget http://mirrors.cloud.aliyuncs.com/erdma/tools/diagnose.py
```
  - Unduh dari URL publik
```
wget https://mirrors.aliyun.com/erdma/tools/diagnose.py
```
3. Uji latensi eRDMA:
```
python diagnose.py --perftest --hosts <n1> <n2> --user <username> --key-file </path/to/private_key>
```
  Parameter:
  - --hosts <n1> <n2>: Node pengujian, dipisahkan dengan spasi. Ganti <n1> <n2> dengan alamat IP pribadi dari ENI yang diaktifkan eRDMA pada setiap node.
  - --user <username>: Username untuk SSH tanpa kata sandi.
  - --key-file </path/to/private_key>: Jalur absolut ke file kunci privat untuk SSH.
  Contoh output pengujian latensi dua instans. Lihat Pengujian kinerja jaringan eRDMA.
  
  Setiap tabel menunjukkan latensi untuk operasi berbeda. Baris merepresentasikan pengirim permintaan, kolom merepresentasikan penerima respons. Nilai sel menunjukkan latensi rata-rata dalam mikrodetik (persentil ke-99,9 dalam tanda kurung).