靈駿智算服務提供一鍵診斷功能,可檢查靈駿節點的網路和硬體狀態,基於多種通訊庫和通訊模型進行網路測試。
自助診斷
網路診斷
網路診斷功能分為静态配置类检查和动态运行类检查,支援診斷靈駿節點的網路狀態並提供可視化的診斷結果。
静态配置类检查為靈駿節點提供靜態配置類的診斷,包括系統軟體檢查、網路檢查、GPU檢查等。
登入靈駿控制台。
在左側導覽列,選擇一键诊断 > 自助诊断。
單擊网络诊断頁簽。
單擊静态配置类检查。
在诊断信息地區的下拉式清單中,選擇目標集群名称、节点ID等資訊。
單擊开始诊断。
动态运行类检查為靈駿節點提供動態運行類的診斷,包括TCP連通性檢查、TCP時延檢查、RDMA連通性檢查等。
在左側導覽列,選擇一键诊断 > 自助诊断。
單擊网络诊断頁簽。
單擊动态运行类检查。
在诊断信息地區的下拉式清單中,配置目標集群名称、节点ID等資訊。
單擊开始诊断。
伺服器診斷
伺服器診斷支援診斷靈駿節點的硬體狀態並提供可視化的診斷結果。
在左側導覽列,選擇一键诊断 > 自助诊断。
單擊服务器诊断頁簽。
單擊系统硬件诊断。
在诊断信息地區的下拉式清單中,配置目標集群名称、节点ID等資訊。
單擊开始诊断。
網路測試
網路測試包括通用網路測試和通訊庫測試,其中通用網路測試包含了時延、流量兩個維度測試,通訊庫測試基於ACCL、NCCL兩種通訊庫及多種通訊模型進行測試。
通用網路測試
在左側導覽列,選擇一键诊断 > 网络测试。
單擊通用网络测试頁簽。
在测试信息地區,選擇网络协议和测试类型,然後進行相應配置。
RDMA協議流量測試
配置參數
說明
流量模型
MtoN模型:測試Clients節點到Servers節點的單向連通性,包括單個Clients節點到單個Servers節點、多個Clients節點到多個Servers節點等情況。
Fullmesh模型:測試所有目標靈駿節點兩兩之間的連通性。
测试时长
在下拉式清單中選擇固定時間長度,單位為秒。
QP
測試進程流的數量,影響測試頻寬的大小。
GDR
如果開啟GDR,會綁定靈駿網卡與對應的GPU進行流量測試。
集群名称
目標靈駿節點所在的叢集名稱。
Clients
如果選擇MtoN模型,需要選擇Clients節點。
Servers
如果選擇MtoN模型,需要選擇Servers節點。
选择目标节点
如果選擇Fullmesh模型,需要選擇目標節點。
节点端口
測試使用的開始端點口。
RDMA協議時延測試
配置參數
說明
集群名称
目標靈駿節點所在的叢集名稱。
测试节点
時延測試會檢查所有测试节点兩兩之間的網路時延。
节点端口
測試使用的開始端點口。
單擊开始诊断。
通訊庫測試
在左側導覽列,選擇一键诊断 > 网络测试。
單擊通讯库测试頁簽。
配置测试信息。
配置參數
說明
通讯库类别
目前只支援ACCL和NCCL。
通讯模型
ALLReduce:將多個進程的資料彙總在一起,通過運算將它們縮減為單個值,並把結果分發給所有進程。
ALLGather:將所有進程的資料收集到一個結構中,以便每個進程訪問資料。
ALLGatherA:在ALLGather的基礎上增加了資料類型參數,可以傳輸多種資料類型,包括巨量資料類型和自訂資料類型。
ALLToALL:將每個進程的資料分發給其他進程,每個進程都將得到來自所有其他進程的資料。
ALLToALLA:在ALLToAll的基礎上增加了資料類型參數和緩衝區參數,可以用於不同大小和類型資料之間的通訊。
Broadcast:將一個進程的資料分發給所有其他進程。
GPU数量
取值範圍:1~8。
集群名称
目標靈駿節點所在的叢集名稱。
选择目标节点
在選擇目標節點時只需要具體到每一個IP地址,不需要指定到具體靈駿節點即可開始測試。
节点端口
測試使用的開始端點口。
單擊开始测试。
查看報告
診斷歷史展示了自助诊断和网络测试的報告資訊包括报告ID、集群名称等,單擊頁簽可以切換不同類型診斷的報告記錄。在目標报告ID後的操作列單擊,進行相應操作。
查看报告。查看目標診斷的診斷結果和診斷列表。
再次诊断。再次進行目標診斷。