靈駿網路包括靈駿網段、靈駿串連、靈駿HUB等基礎組件。您可以根據業務需求建立靈駿網段及靈駿子網,在靈駿子網內部署靈駿節點,靈駿節點通過靈駿串連實現與雲企業網或使用者VPC網路的連通。不同靈駿網段之間、靈駿網段與靈駿串連之間可以通過靈駿HUB連通。
注意:該文檔僅適用於在建立叢集時需要配置靈駿串連的節點機型。
網路架構
其中包含如下組件:
應該使用幾個靈駿網段 ?
情境一:需要 RDMA 通訊
如果節點之間需要進行 RDMA 通訊,這些節點必須部署在同一個靈駿網段內。因為 RDMA 不支援跨靈駿網段通訊。
情境二:不需要 RDMA 通訊
如果不涉及 RDMA,可根據是否需要網路隔離來決定:
沒有隔離需求:建議只使用 1 個靈駿網段,管理更簡單。
有隔離需求:例如生產環境和測試環境分開,建議使用 多個靈駿網段。
使用多個靈駿網段時,請注意:
一個靈駿網段內可以部署多個叢集。
一個靈駿叢集只能部署在一個靈駿網段內。
不同靈駿網段中的節點不能通過 RDMA 組成同一個叢集。
建議提前規劃好各網段地址,避免地址衝突。
如果需要不同網段之間互連,可通過靈駿 HUB 配置路由策略實現。
應該使用幾個靈駿子網 ?
根據網卡數量來規劃靈駿子網,建議將同一靈駿節點上的多張網卡分別接入不同子網。這是因為如果一個子網中接入的靈駿網卡過多,可能導致節點上的 ARP 條目過多,進而影響 RDMA 通訊穩定性,嚴重時會造成訓練任務中斷。
樣本:如果一個靈駿節點有 5 張靈駿網卡,建議在對應靈駿網段下建立 5 個靈駿子網,每張網卡接入一個不同的子網。
同一靈駿網段相同可用性區域內,不同靈駿子網間的通訊時延和輸送量與同一子網內的表現一致。
應該選擇什麼網段 ?
在建立靈駿網段與靈駿子網時,您必須按照無類域間路由塊(CIDR block)的格式為您的靈駿網路劃分私網網段。
規劃靈駿網段
您可以使用除100.64.0.0/10、224.0.0.0/4、127.0.0.0/8、169.254.0.0/16以外的網段及其子網作為靈駿網段的網段。
-
您需要提前規劃叢集網段,叢集網段不能和靈駿待連通的其他網路環境(如使用者其他VPC網路、線下IDC網段)衝突。
-
叢集網段可用IP數量,決定了叢集可部署的最大節點數量。您需要提前預留足夠大的網段(優先選擇掩碼長度小於22位的網段),避免之後無法擴容叢集。
規劃靈駿子網
靈駿子網的網段地址必須是所屬靈駿網段的子集。例如靈駿網段是192.168.0.0/16,那麼該靈駿網段下的靈駿子網的網段地址可以是192.168.0.0/17到192.168.0.0/29。
靈駿子網的掩碼長度不建議小於23(即單個靈駿子網內IP數量不超過512),避免靈駿節點地址的解析協議ARP條目過多,導致靈駿節點資源耗盡。
靈駿子網的網段規劃還需要考慮該子網下靈駿節點的IP數量。