Cloud Network Well-architected Design Guidelines：專線構建混合雲/多雲網路

本文簡介

本文重點介紹在雲上雲下業務協同或多雲協同情境下，如何通過物理專線和阿里雲雲網路產品實現雲上雲下或多雲之間的業務協同，快速構建安全、穩定、彈性的混合雲或多雲協同網路，以滿足客戶的雲化進程。

本文面向技術人員，如CTO（首席技術官）、架構師、開發人員及營運團隊成員等，介紹基於專線構建混合雲或者多雲相關的方案和方法，旨在為讀者提供參考，以結合現有業務進行混合雲或者多雲網路的規劃與設計。

本文關鍵詞

• 物理專線：物理專線是通過物理電纜或光纖實現不同機房之間的物理線路串連，通常由電訊廠商提供並維護。根據不同的交付形態，串連阿里雲專線存取點機房的物理專線可分為獨享物理專線和共用物理專線：

  • 獨享物理專線：企業可以自主將本地IDC與阿里雲存取點通過專線方式串連，該方式確保獨享一個物理連接埠，您可以通過Express Connect控制台自主申請物理專線串連。此方案適用於頻寬需求較大且對安全性與可靠性有較高要求的中大型企業客戶。

  • 共用物理專線：夥伴的存取點已經與阿里雲的存取點完成對接，您只需要聯絡阿里雲的夥伴，夥伴將負責從本地IDC機房到其存取點機房的物理專線部署。此方案夥伴與阿里雲之間的串連採用多租戶共用模式，適用於頻寬需求較小，安全性和可靠性要求一般的中小型企業客戶。

• Express Connect：Express Connect（Express Connect）是一項串連企業資料中心與阿里雲的網路服務，可以在企業資料中心與雲上網路之間建立高速、穩定且安全的私網通訊通道。Express Connect的資料轉送過程具有可信性和可控性，能夠有效提升網路通訊的品質和安全性。

• VBR：阿里雲基於軟體定義程式網路（SDN）架構下的三層Overlay技術和交換器虛擬化技術，將物理專線的接入連接埠進行隔離，並抽象為邊界路由器（Virtual Border Router，簡稱VBR）。VBR是客戶終端裝置（CPE）與Virtual Private Cloud之間的路由器，作為資料從VPC轉寄至本機資料中心IDC的橋樑。

• 專線網關ECR：專線網關ECR（Express Connect Router）是全球混合雲專線組網的重要轉寄服務元件，提供全球範圍內的專線網路互連、全動態路由組網以及統一路由發行管理等功能。例如，通過為專線網關ECR添加VBR，並將ECR綁定至轉寄路由器TR執行個體，可以實現本地IDC與雲上資源之間的互訪。

• 雲企業網：雲企業網CEN（Cloud Enterprise Network）是建立在阿里雲私人全球網路上的高可用網路。雲企業網通過轉寄路由器TR（Transit Router）在跨地區專用網路之間，Virtual Private Cloud與本機資料中心IDC之間搭建私網通訊通道，構建了一張靈活、可靠且大規模的企業級雲上網路。

• 專用網路：Virtual Private Cloud（Virtual Private Cloud）是使用者在阿里雲平台上建立的自訂私人網路,。不同的專用網路之間實現二層邏輯隔離，使用者可以在其建立的專用網路內建立和管理雲產品執行個體，例如ECS、SLB、RDS等。

該架構的設計原則如下：

• 穩定性：專線承載的流量均為企業內部的業務流量，因此混合雲/多雲鏈路的穩定性至關重要。一旦鏈路中斷，雲上與雲下、雲間的業務互訪將不可達，從而影響業務間的互動，甚至可能出現核心業務不可用等嚴重問題，對業務產生較大的影響。因此混合雲/多雲網路的穩定性是商業網路架構設計的重中之重。

• 彈性：企業在不同階段的業務規模或者處於不同的上雲階段，對混合雲/多雲鏈路的頻寬需求也不同。在架構設計時，需具備根據客戶業務需求靈活擴縮容能力，以協助客戶更平滑的上雲，更高效的利用雲資源，充分發揮公用雲的彈性、按需優勢，降低使用成本。

• 安全性：混合雲/多雲架構涉及不同網路域之間的互連，且企業內部存在不同安全等級的業務，特別是對重要業務的訪問，通常需要遵循安全可控及最小許可權按需互連原則，以防止企業內部資料泄露和濫用，滿足企業內部的資料安全要求。

穩定

專線頻寬的可靠性設計

Express Connect單一實例提供50Mbps至100Gbps的頻寬串連（若存在更高的頻寬需求，可通過鏈路彙總方式實現擴容），您需要根據業務需求，確保故障切換時具備足夠的頻寬以承載切換後的流量。同時在此過程中可以使用CloudMonitor的警示服務對專線配額進行管理，以防止流量超限導致的丟包，從而影響業務，請參考：配置監控警示。

專線鏈路的可靠性設計

在混合雲或多雲網路使用過程中，通常可能會因為網路維護等原因，需要臨時關閉其中的部分串連。因此，在此之前需要根據業務需求選擇不同的高可靠組網模式：物理鏈路級的高可靠模式選擇。

從穩定性角度考慮，建議優先選擇雙專線雙存取點方式構建混合雲/多雲網路。同時，建議在VBR與IDC/多雲之間盡量採用BGP動態路由協議而非靜態路由，以便線路故障時可以自動切換。在專線多鏈路情況下，阿里雲提供多種專線冗餘方案實現業務的高可靠保障：

• BGP+BFD實現主備冗餘專線方案，請參考：本地IDC通過ECR主備專線鏈路上雲方案。

• BGP+BFD實現負載冗餘專線方案，請參考：本地IDC通過ECR實現負載專線鏈路上雲方案。

當然，除了物理專線級的高可靠方案，阿里雲也支援物理專線聯合VPN實現高可靠方案，請參考：物理專線聯合VPN實現主備鏈路方案。當預算有限時，可以考慮使用VPN（IPsec隧道）備份專線，由於IPsec隧道頻寬容量限制，建議優先考慮備份關鍵業務。另外，建議在IPSec隧道中啟用BGP動態路由協議，以便於監測IPSec隧道的可用性並實現路由的自動收斂。

故障演練

Express Connect故障演練功能是一種類比故障情境的工具。類比在Express Connect冗餘鏈路中的一條鏈路發生故障時，網路流量會自動切換至其他冗餘鏈路的情境。藉助該工具，可以測試和驗證IDC與阿里雲組建的混合雲組網的可靠性。請參考：故障演練。

效能&彈性

專線規格

• 獨享專線：1 Gbps及以下，10 Gbps，40Gbps，100Gbps。

• 共用專線：50 Mbps，100 Mbps，200 Mbps，300 Mbps，400 Mbps，500 Mbps，1 Gbps，2 Gbps，5 Gbps，8 Gbps，10 Gbps，20 Gbps，40 Gbps，50 Gbps，60 Gbps，80 Gbps，100 Gbps。

  說明

  • Express Connect管理主控台支援直接申請的物理專線最大規格為10 Gbps，10 Gbps以上獨享專線接入需求，請提交工單申請。

  • Express Connect管理主控台支援直接申請的共用專線的最大規格為1 Gbps，1 Gbps以上共用專線接入需求，請提交工單申請。

專線規格擴容

• 獨享專線變更配置：當業務所需的專線頻寬超過單連接埠規格時，可以採用多連接埠三層彙總成ECMP方式實現頻寬獨享專線的變更配置，即將多條物理專線接入同一個存取點裝置，並綁定到同一個VBR來實現物理專線的頻寬擴容。請參考：通過ECMP鏈路彙總方式串連上雲。

• 共用專線變更配置：共用專線支援按需調整規格，具體操作，請參考：變更配置管理—>共用專線執行個體變更配置。

ECR串連轉寄路由器TR的規格

每個ECR串連TR的網路執行個體所支援的最大頻寬為：華東1（杭州）、華東2（上海）、華北2（北京）、華南1（深圳）及新加坡地區為50 Gbps，其餘地區為10 Gbps。如需更大的頻寬，請聯絡商務經理以進行單獨的頻寬需求評估。

時延

單個地區提供多個不同地址位置的存取點，每個存取點與同一地區內不同可用性區域之間的網路延遲均小於5毫秒。當業務對雲下與雲上之間的網路延遲要求較高時，使用者可以提交工單諮詢距離雲端服務器所在可用性區域最近的存取點。

故障切換效能

Express Connect通過BGP、BFD和快速倒換組的技術組合提供多種故障的快速切換方式。

• 其中BGP路由自動收斂方式實現故障鏈路的秒級切換。

• BGP+BFD可實現故障鏈路的毫秒級檢測和秒級切換。

• BGP+BFD+快速倒換組可實現故障鏈路的毫秒級切換。

BGP路由協議建議開啟BFD、開啟快速倒換組，加速路由收斂和縮短故障切換時間。

安全

網路分級安全防護

混合雲網路邊界對安全防護至關重要，通過安全性群組、網路存取控制清單（ACL）和TR多路由表等措施可以提供多級分段保護能力，從而有效保障混合雲網路的安全性。

• 安全性群組：安全性群組是一種虛擬防火牆，能夠控制ECS執行個體的出入站流量。安全性群組的入方向規則用於控制ECS執行個體的入站流量，而出方向規則則用於管理ECS執行個體的出站流量。請參考：安全性群組應用指導和案例。

• 網路ACL：網路ACL（Network Access Control List）是Virtual Private Cloud中的網路存取控制功能。使用者可以自訂設定網路ACL規則，並將其與交換器進行綁定，以實現對交換器中Elastic Compute Service執行個體流量的存取控制。若需要對部分IDC訪問雲上VPC進行限制，請參考：限制本機資料中心與雲上的互連。

• TR多路由表：通過多路由表的方式，可以實現VPC與IDC業務之間的靈活互連、隔離以及安全引流，從而滿足雲上雲下的安全互連需求。請參考：使用企業版轉寄路由器實現流量安全互訪。

• TR多路由表+Cloud Firewall：基於TR多路由表，支援建立可信流量與不可信流量的不同路由表隔離網路流量，並通過Cloud Firewall實現對流量的異常檢測與防護。

資料加密保護：

本地IDC通過物理專線與雲上VPC實現私網通訊，但該通訊流量未經過加密處理。在無法滿足安全要求較高的通訊情境時，聯合IPsec VPN可實現基於物理專線的私網流量加密通訊。具體請參考：通過BGP路由方式實現私網流量加密通訊。

可觀測

根據物理專線情境的問題分類，主要可分為以下幾個觀測內容：

• 物理專線連通性觀測：通過CloudMonitor的警示服務，可以監控物理專線的串連狀態（可用或不可用）。請參考：物理連接埠監控及預警。

• 物理專線的流量使用方式觀測：通過在Express Connect控制台查看物理連接埠的出方向流量使用方式，可以監測不同時間段內的流量使用方式。請參考：出方向流量費。

• 物理專線頻寬利用率觀測：結合阿里雲的CloudMonitor服務，Express Connect所提供的VBR監控及預警功能能夠即時探測VBR的即時狀態和流入流出的速率，並支援根據配置的警示規則發送警示通知。專線下同一時間點的多個VBR的流入流出速率累加，即可評估整條物理專線的頻寬利用率情況。請參考：邊界路由器監控及預警。

• Top N流量觀測：在使用雲企業網組網架構下，通過網路智慧型服務（NIS）的混合雲流量分析，能夠以IP、連接埠、協議多維度展示通過TR的Elastic Compute Service與線下IDC間出入方向的流量。並展示在目標地區和目標時間段內雲端連接埠統計Top流量、對端連接埠統計Top流量、協議統計Top流量資料。具體請參考：使用混合雲流量分析。

自服務

異常資訊快速感知

• 可開啟CloudMonitor監控項的警示，自訂物理連接埠和VBR等警示閾值，即可及時感知相關異常，具體請參考：配置Express Connect監控警示。

• 您可以直接訂閱網路智慧型服務NIS事件中心提供的主動警示能力，協助及時獲知風險，查看可能受影響的資源，避免業務受損。具體請參考：NIS事件中心的Express Connect章節。

• 網路智慧型服務NIS預設提供了基於整體架構的網路診斷，覆蓋穩定性、安全、效能、成本最佳化和卓越營運等檢查項。通過巡檢結果，可以檢查混合雲/多雲網路是否存在風險，具體請參考：網路巡檢。

混合雲/多雲網路不可達

當遇到混合雲/多雲鏈路不可達時，可通過如下兩種方式快速定位可能的問題原因。

• 方式一：通過網路智慧型服務（NIS）進行路徑分析，可以實現網路異常的自助定位。執行路徑分析後，將自動產生VPC與IDC之間的虛擬網路路徑逐跳的詳細資料。當目的地不可達時，系統會檢查阻塞的位置及其原因，並展示從源資源到目標資源的流量路徑。如果自助服務無法修複問題，您可以提交工單向阿里雲報告故障。

• 方式二：在本機資料中心的網關裝置上，需對物理專線的用戶端側IP與阿里雲側IP連通性進行測試，即驗證此物理專線的直連IP是否能夠ping通。如果不通，則需向電訊廠商報告故障。同時，您可以提交工單向阿里雲反饋問題，阿里雲會檢查專線接入情況。阿里雲與使用者的分工介面在阿里側交換器的連接埠，接入裝置正常，但連接埠不通則屬於電訊廠商線路中斷，需要向電訊廠商報告故障。

核心業務的混合雲/多雲互連情境

最佳實務核心架構：

• 雙線雙存取點：申請兩個存取點內的資源，建立兩條專用線路串連，專用線路之間可以實現負載平衡（ECMP），並具備主備功能，確保接入的高可靠性和良好的效能。

• 基於全動態路由和底層分布式設計的ECR網關：能夠有效提升路由組態管理的效率，縮短專線到可用性區域（AZ）的時延，並增強地區接入TR專線的整體頻寬能力。

• TR實現了ECR與VPC之間的有效隔離及按需互連。

• IDC與第三方雲及阿里雲之間採用BGP+BFD進行互聯。

  

非核心業務的混合雲/多雲互連情境

最佳實務核心架構：

• 專線+VPN主備：以專線作為主用連結，當專線發生故障時將自動切換至備用VPN，從而有效降低混合雲與多雲互連的成本。

• 基於全動態路由和底層分布式設計的ECR網關：可以提升路由管理效率、縮短專線到可用性區域AZ的時延，提升地區接入TR專線的總頻寬能力。

• TR實現了ECR與VPC之間的有效隔離及按需互連。

• IDC/三方雲和阿里雲之間採用BGP+BFD互聯。

  

核心業務的混合雲/多雲互連情境

代碼流程：

1. 雙物理專線&雙存取點：申請2個存取點內的資源，建立2根物理專線串連，專線間可做負載平衡ECMP、可做主備，接入可靠性高、效能好。

2. 基於全動態路由和底層分布式設計的ECR網關：可提升路由組態管理效率、縮短專線到可用性區域AZ的時延，並提升Region接入TR專線的總頻寬能力。

3. TR實現ECR和VPC間的有效隔離和按需互連。

4. IDC/三方雲和阿里雲間採用BGP+BFD互聯。

需要建立的執行個體如下：

• 2個VPC

• 4個交換器

• 1個CEN

• 1個TR

• 1個ECR

• 2個VBR

非核心業務的混合雲/多雲互連情境

代碼流程：

1. 物理專線+VPN主備：物理專線為主用，當專線故障後切換到備用的VPN，節省混合雲/多雲互連成本。

2. ECR網關：基於全動態路由和底層分布式設計，可以提升路由管理效率、縮短專線到可用性區域AZ的時延和提升Region接入TR專線的總頻寬能力。

3. TR實現ECR/VPN和VPC間的有效隔離和按需互連。

4. IDC/三方雲和阿里雲間採用BGP+BFD互聯。

需要建立的執行個體如下：

• 2個VPC

• 4個交換器

• 1個CEN

• 1個TR

• 1個ECR

• 1個VBR

核心業務的混合雲/多雲互連情境

可視化部署架構圖：

使用流程

非核心業務的混合雲/多雲互連情境