ACK Edge叢集支援將本機資料中心IDC伺服器裝置通過專線形式接入進行容器化管理。當通過專線接入叢集時,您需要在接入前完成基礎設施的網元配置。本文提供了專線環境下的網元配置指導,幫您構建本地IDC和雲上Virtual Private Cloud之間可靠、安全和高速的私網通訊環境。
網路架構
本機資料中心網路拓撲
典型的本地IDC網路拓撲如圖所示,採用三層網路架構,IDC伺服器與交換器構建二層區域網路,多個二層區域網路構建成一個三層網路域,從而形成一個私網網段為10.0.0.0/8的IDC網路環境。
雲端Virtual Private Cloud拓撲
雲上專用網路採用了虛擬化網路,計算執行個體(ECS、ECI等)直接與虛擬交換器串連,通過虛擬交換器進行通訊,另外一些雲端服務採用了100.0.0.0/8網段,在雲上VPC中通過虛擬交換器可以預設訪問到這些雲端服務網段。
專線網路
阿里雲在全國各個地區都有專線存取點,您可以根據就近原則選擇存取點地址。從IDC核心交換器通過網路防火牆可接入到阿里雲Express Connect存取點的邊界路由器,結合專線網關或雲企業網可串連到阿里雲Virtual Private Cloud。
網元配置
本文樣本假設IDC核心交換器及其子網已完成三層網路設定,並實現互連。
上行路由:從本地IDC訪問雲端VPC或雲端服務。
下行路由:從雲端VPC訪問本地IDC。
網路設定樣本
雲端VPC網段:192.168.0.0/16
本地IDC網段:10.0.0.0/8
雲端服務、雲產品私網網段:100.0.0.0/8
邊緣容器網段:172.16.0.0/12(ACK Edge叢集選用Terway Edge外掛程式時需要)
ACK Edge叢集依賴的雲產品 (以杭州地區為例):
OSS:[100.118.28.0/24,100.114.102.0/24,100.98.170.0/24,100.118.31.0/24]
ACR:[100.103.9.188/32,100.103.7.181/32]
ACK管控:網域名稱cs-anony-vpc.cn-hangzhou.aliyuncs.com,建議在雲端VPC解析擷取,此處以100.103.42.233為例。
以下將根據上述網路設定樣本介紹如何配置基礎設施上的網元,如果您覺得雲端服務、雲產品的網段100.0.0.0/8過大,您可以參考ACK Edge叢集依賴的雲端服務地址,對100.0.0.0/8大網段進行替換,關於雲端服務、雲產品地址請參見專線模式下的訪問網域名稱與對應路由網段。以下配置以100.0.0.0/8網段為例進行介紹。
IDC核心交換器
配置項 | 說明 | 注意事項 |
上行路由 | 配置訪問雲端VPC的網段以及訪問雲產品的網段,並通過專線網關指向Express Connect的邊界路由器VBR。
| 如果ACK Edge叢集選用Terway Edge外掛程式,您還需要在IDC核心交換器以及交換器上配置BGP,讓網路外掛程式將容器路由宣告給交換器以及核心交換器上,詳見使用Terway Edge網路外掛程式、配置Terway Edge實現容器通訊。 |
下行路由 | 從阿里雲Express Connect的邊界路由器VBR訪問IDC伺服器,本文預設核心交換器已完成伺服器網路設定。 |
IDC網路防火牆
配置項 | 說明 | 注意事項 |
出方向 | 需要允許存取訪問雲端VPC的網段以及雲端服務的網段:
如需精細化配置,您還需要允許存取杭州地區的以下雲端服務網段:
| 如果ACK Edge叢集選用Flannel外掛程式,您還需要在IDC網路防火牆的出方向和入方向上允許UDP 8472連接埠。
|
入方向 | 需要允許存取訪問雲端VPC的網段以及雲端服務的網段:
如需精細化配置,您還需要允許上述入方向的網段訪問kubelet的TCP 10250/10255連接埠,以及訪問Node-Exporter的TCP 9100/9445連接埠。 |
邊界路由器VBR配置
配置項 | 說明 | 注意事項 |
上行路由 | 配置上行訪問雲端VPC的網段192.168.0.0/16以及訪問雲產品的網段100.0.0.0/8指向VPC。通過直連VPC、專線網關ECR或雲企業網CEN等方法均可,具體方案參見阿里雲Express Connect。 | 無 |
下行路由 | 配置訪問IDC伺服器的網段10.0.0.0/8,通過專線以及IDC網路防火牆指向核心交換器。 | 如果ACK Edge叢集選用Terway Edge外掛程式,您還需配置VBR的下行容器路由,即將邊緣容器網段172.16.0.0/12配置到VBR下行路由中。 |
專線網關ECR或雲企業網CEN
配置項 | 說明 | 注意事項 |
上行路由 | 配置ECR或CEN的轉寄路由表上行訪問雲端VPC網段192.168.0.0/16以及雲端服務網段100.0.0.0/8指向VPC。 | 無 |
下行路由 | 配置ECR或CEN的轉寄路由表下行訪問IDC伺服器網段10.0.0.0/8指向邊界路由器VBR。 | 如果ACK Edge叢集選用Terway Edge外掛程式,您還需配置ECR或CEN的下行容器路由,即將邊緣容器網段172.16.0.0/12配置到ECR或CEN的下行路由中。 |
VPC路由表
配置項 | 說明 | 注意事項 |
上行路由 | 雲端VPC預設已完成網路設定,會在接收到IDC請求之後轉寄到目的地址。 | 無 |
下行路由 | 配置雲端VPC路由表訪問IDC伺服器網段10.0.0.0/8指向雲企業網CEN、專線網關ECR、邊界路由器VBR。 | 如果ACK Edge叢集選用Terway Edge外掛程式,您還需配置VPC路由表的下行容器路由,即將邊緣容器網段172.16.0.0/12配置到VPC路由表的下行路由中。 |
雲上VPC安全性群組
配置項 | 說明 | 注意事項 |
出方向 | 需要允許訪問IDC伺服器網段10.0.0.0/8。如需精細化配置連接埠,還需要允許訪問kubelet的TCP10250/10255連接埠、訪問node-exporter的TCP 9100/9445連接埠等。 | 如果ACK Edge叢集選用Flannel外掛程式,您還需要在雲上VPC安全性群組的出方向和入方向上允許UDP 8472連接埠。
|
入方向 | 需要允許IDC網段10.0.0.0/8的訪問請求。如需精細化配置連接埠,還需要允許API Server的TCP 6443連接埠被訪問。 |
邊緣節點需要被訪問的連接埠(入方向)
雲端需要訪問邊緣節點時,邊緣節點入方向需要暴露的連接埠如下。
協議 | 連接埠 | 源地址或源地址網段 | 注釋 |
TCP | 10250、10255 | VPC網段 說明 可選,根據叢集交換器網段精細化管理。 |
|
9100、9445 | VPC網段 說明 可選,根據叢集交換器網段精細化管理。 | Prometheus主動發起訪問節點的Node-Exporter連接埠9100/9445,以擷取監控資料。 | |
UDP | 8472 | VPC網段和節點地址或節點網段 說明 僅當叢集採用Flannel外掛程式需要配置。 | Flannel VXLAN會佔用節點UDP 8472連接埠構建VXLAN隧道。 |
邊緣節點需要訪問的網域名稱和連接埠(出方向)
邊緣節點在專線模式下需要放通的網域名稱和連接埠,其中訪問地址中的{region}表示叢集所在地區的Region ID,例如杭州地區為cn-hangzhou。具體各地區所對應的Region ID,請參見開服地區。
訪問對象 | 專線模式訪問網域名稱 | 連接埠 | 說明 |
Container Service控制面 | cs-anony-vpc.{region}.aliyuncs.com |
| Container Service管控地址。 |
OSS安裝包 | aliacs-k8s-{region}.oss-{region}-internal.aliyuncs.com |
| OSS下載地址。可通過OSS下載edgeadm 、kubelet、CNI、runtime、edgehub等安裝包。 |
API Server內網端點 | 通過叢集基本資料頁簽查看。 | TCP 6443 | 與kube-apiserver 互動。 |
NTP | ntp1.aliyun.com cn.ntp.org.cn | 與NTP協議有關,一般是UDP 123連接埠。 | 時鐘同步伺服器位址。 接入時若選擇配置 |
系統組件鏡像地址 |
| TCP 443 | 系統組件鏡像需要使用的地址。網域名稱地址對應的具體IP網段,請參見專線模式下的訪問網域名稱與對應路由網段。 |
系統工具 | 系統工具線上安裝(無需額外網域名稱) net-tools、iproute、chrony(或者ntpdate)、crontabs、pciutils、socat、ebtables、iptables、conntrack-tools | 不涉及 | 檢測待添加節點是否已安裝系統工具,如果沒有,則會線上安裝,具體的訪問地址由節點yum/apt源配置決定。
|
專線模式下的訪問網域名稱與對應路由網段
雲下機房裝置通過內網訪問ACK組件鏡像地址,您可以通過CEN、Express Connect、專線、VPN等串連VPC內網網路,並配置指向ACK組件鏡像地址的路由。同時,由於鏡像儲存在OSS,您還需要配置OSS路由網段。專線模式下的訪問網域名稱與對應路由網段對照如下所示。
ACK組件內網鏡像地址與路由網段對照表
公用雲地區
Region | Region ID | VPC網路Endpoint | 需要添加的路由網段 |
華東1(杭州) | cn-hangzhou | registry-cn-hangzhou-vpc.ack.aliyuncs.com | 100.103.9.188/32 100.103.7.181/32 |
華東2(上海) | cn-shanghai | registry-cn-shanghai-vpc.ack.aliyuncs.com | 100.103.94.158/32 100.103.7.57/32 100.100.80.231/32 |
華東6(福州-本地地區-關停中) | cn-fuzhou | registry-cn-fuzhou-vpc.ack.aliyuncs.com | 100.100.0.43/32 100.100.0.28/32 |
華北1(青島) | cn-qingdao | registry-cn-qingdao-vpc.ack.aliyuncs.com | 100.100.0.172/32 100.100.0.207/32 |
華北2(北京) | cn-beijing | registry-cn-beijing-vpc.ack.aliyuncs.com | 100.103.99.73/32 100.103.0.251/32 100.103.6.63/32 |
華北 3(張家口) | cn-zhangjiakou | registry-cn-zhangjiakou-vpc.ack.aliyuncs.com | 100.100.1.179/32 100.100.80.152/32 |
華北5(呼和浩特) | cn-huhehaote | registry-cn-huhehaote-vpc.ack.aliyuncs.com | 100.100.0.194/32 100.100.80.55/32 |
華北6(烏蘭察布) | cn-wulanchabu | registry-cn-wulanchabu-vpc.ack.aliyuncs.com | 100.100.0.122/32 100.100.0.58/32 |
華南1(深圳) | cn-shenzhen | registry-cn-shenzhen-vpc.ack.aliyuncs.com | 100.103.96.139/32 100.103.6.153/32 100.103.26.52/32 |
華南2(河源) | cn-heyuan | registry-cn-heyuan-vpc.ack.aliyuncs.com | 100.100.0.150/32 100.100.0.193/32 |
華南3(廣州) | cn-guangzhou | registry-cn-guangzhou-vpc.ack.aliyuncs.com | 100.100.0.101/32 100.100.0.21/32 |
西南1(成都) | cn-chengdu | registry-cn-chengdu-vpc.ack.aliyuncs.com | 100.100.0.48/32 100.100.0.64/32 |
鄭州(聯通合營) | cn-zhengzhou-jva | registry-cn-zhengzhou-jva-vpc.ack.aliyuncs.com | 100.100.0.111/32 100.100.0.84/32 |
中國(香港) | cn-hongkong | registry-cn-hongkong-vpc.ack.aliyuncs.com | 100.103.85.19/32 100.100.80.157/32 |
美國(矽谷) | us-west-1 | registry-us-west-1-vpc.ack.aliyuncs.com | 100.103.13.55/32 100.100.80.93/32 |
美國(維吉尼亞) | us-east-1 | registry-us-east-1-vpc.ack.aliyuncs.com | 100.103.12.19/32 100.100.80.11/32 |
日本(東京) | ap-northeast-1 | registry-ap-northeast-1-vpc.ack.aliyuncs.com | 100.100.0.167/32 100.100.80.198/32 |
韓國(首爾) | ap-northeast-2 | registry-ap-northeast-2-vpc.ack.aliyuncs.com | 100.100.0.71/32 100.100.0.33/32 |
新加坡 | ap-southeast-1 | registry-ap-southeast-1-vpc.ack.aliyuncs.com | 100.103.103.254/32 100.100.80.136/32 |
馬來西亞(吉隆坡) | ap-southeast-3 | registry-ap-southeast-3-vpc.ack.aliyuncs.com | 100.100.0.17/32 100.100.80.137/32 |
印尼(雅加達) | ap-southeast-5 | registry-ap-southeast-5-vpc.ack.aliyuncs.com | 100.100.0.226/32 100.100.80.200/32 |
菲律賓(馬尼拉) | ap-southeast-6 | registry-ap-southeast-6-vpc.ack.aliyuncs.com | 100.100.0.75/32 100.100.0.24/32 |
泰國(曼穀) | ap-southeast-7 | registry-ap-southeast-7-vpc.ack.aliyuncs.com | 100.100.0.62/32 100.100.0.34/32 |
德國(法蘭克福) | eu-central-1 | registry-eu-central-1-vpc.ack.aliyuncs.com | 100.100.0.92/32 100.100.80.155/32 |
英國(倫敦) | eu-west-1 | registry-eu-west-1-vpc.ack.aliyuncs.com | 100.100.0.175/32 100.100.0.18/32 |
利雅得 | me-central-1 | registry-me-central-1-vpc.ack.aliyuncs.com | 100.100.0.109/32 100.100.0.18/32 |
OSS內網網域名稱與VIP網段對照表
公用雲
部分海外地區名稱在OSS產品定價頁面和資源套件購買頁面中可能存在表述差異,但均指向相同的物理地理位置。例如,美國(矽谷)地區在不同頁面中可能顯示為美西1或美西,更多資訊請參見OSS產品定價或者購買資源套件。
亞太地區-中國
地區 | 地區ID | 外網Endpoint | 內網Endpoint | 雙棧Endpoint | 內網VIP網段 |
華東1(杭州) | cn-hangzhou | oss-cn-hangzhou.aliyuncs.com | oss-cn-hangzhou-internal.aliyuncs.com | cn-hangzhou.oss.aliyuncs.com |
|
華東2(上海) | cn-shanghai | oss-cn-shanghai.aliyuncs.com | oss-cn-shanghai-internal.aliyuncs.com | cn-shanghai.oss.aliyuncs.com |
|
華東5 (南京-本地地區-關停中) | cn-nanjing | oss-cn-nanjing.aliyuncs.com | oss-cn-nanjing-internal.aliyuncs.com | 100.114.142.0/24 | |
華北1(青島) | cn-qingdao | oss-cn-qingdao.aliyuncs.com | oss-cn-qingdao-internal.aliyuncs.com | cn-qingdao.oss.aliyuncs.com |
|
華北2(北京) | cn-beijing | oss-cn-beijing.aliyuncs.com | oss-cn-beijing-internal.aliyuncs.com | cn-beijing.oss.aliyuncs.com |
|
華北3(張家口) | cn-zhangjiakou | oss-cn-zhangjiakou.aliyuncs.com | oss-cn-zhangjiakou-internal.aliyuncs.com | cn-zhangjiakou.oss.aliyuncs.com |
|
華北5(呼和浩特) | cn-huhehaote | oss-cn-huhehaote.aliyuncs.com | oss-cn-huhehaote-internal.aliyuncs.com | cn-huhehaote.oss.aliyuncs.com |
|
華北6(烏蘭察布) | cn-wulanchabu | oss-cn-wulanchabu.aliyuncs.com | oss-cn-wulanchabu-internal.aliyuncs.com | cn-wulanchabu.oss.aliyuncs.com |
|
華南1(深圳) | cn-shenzhen | oss-cn-shenzhen.aliyuncs.com | oss-cn-shenzhen-internal.aliyuncs.com | cn-shenzhen.oss.aliyuncs.com |
|
華南2(河源) | cn-heyuan | oss-cn-heyuan.aliyuncs.com | oss-cn-heyuan-internal.aliyuncs.com | cn-heyuan.oss.aliyuncs.com |
|
華南3(廣州) | cn-guangzhou | oss-cn-guangzhou.aliyuncs.com | oss-cn-guangzhou-internal.aliyuncs.com | cn-guangzhou.oss.aliyuncs.com |
|
西南1(成都) | cn-chengdu | oss-cn-chengdu.aliyuncs.com | oss-cn-chengdu-internal.aliyuncs.com | cn-chengdu.oss.aliyuncs.com |
|
中國香港 | cn-hongkong | oss-cn-hongkong.aliyuncs.com | oss-cn-hongkong-internal.aliyuncs.com | cn-hongkong.oss.aliyuncs.com |
|
亞太地區-其他
地區 | 地區ID | 外網Endpoint | 內網Endpoint | 雙棧Endpoint | 內網VIP網段 |
日本(東京) | ap-northeast-1 | oss-ap-northeast-1.aliyuncs.com | oss-ap-northeast-1-internal.aliyuncs.com |
| |
韓國(首爾) | ap-northeast-2 | oss-ap-northeast-2.aliyuncs.com | oss-ap-northeast-2-internal.aliyuncs.com | 100.99.119.0/24 | |
新加坡 | ap-southeast-1 | oss-ap-southeast-1.aliyuncs.com | oss-ap-southeast-1-internal.aliyuncs.com |
| |
馬來西亞(吉隆坡) | ap-southeast-3 | oss-ap-southeast-3.aliyuncs.com | oss-ap-southeast-3-internal.aliyuncs.com |
| |
印尼(雅加達) | ap-southeast-5 | oss-ap-southeast-5.aliyuncs.com | oss-ap-southeast-5-internal.aliyuncs.com | 100.114.98.0/24 | |
菲律賓(馬尼拉) | ap-southeast-6 | oss-ap-southeast-6.aliyuncs.com | oss-ap-southeast-6-internal.aliyuncs.com | 100.115.16.0/24 | |
泰國(曼穀) | ap-southeast-7 | oss-ap-southeast-7.aliyuncs.com | oss-ap-southeast-7-internal.aliyuncs.com | 100.98.249.0/24 |
歐美地區
地區 | 地區ID | 外網Endpoint | 內網Endpoint | 雙棧Endpoint | 內網VIP網段 |
德國(法蘭克福) | eu-central-1 | oss-eu-central-1.aliyuncs.com | oss-eu-central-1-internal.aliyuncs.com | eu-central-1.oss.aliyuncs.com | 100.115.154.0/24 |
英國(倫敦) | eu-west-1 | oss-eu-west-1.aliyuncs.com | oss-eu-west-1-internal.aliyuncs.com | 100.114.114.128/25 | |
美國(矽谷) | us-west-1 | oss-us-west-1.aliyuncs.com | oss-us-west-1-internal.aliyuncs.com | 100.115.107.0/24 | |
美國(維吉尼亞) | us-east-1 | oss-us-east-1.aliyuncs.com | oss-us-east-1-internal.aliyuncs.com |
| |
墨西哥 | na-south-1 | oss-na-south-1.aliyuncs.com | oss-na-south-1-internal.aliyuncs.com | 100.115.112.0/27 |
中東
地區 | 地區ID | 外網Endpoint | 內網Endpoint | 雙棧Endpoint | 內網VIP網段 |
阿聯酋(杜拜) | me-east-1 | oss-me-east-1.aliyuncs.com | oss-me-east-1-internal.aliyuncs.com | 100.99.235.0/24 | |
沙特(利雅得)- 夥伴營運 | me-central-1 | oss-me-central-1.aliyuncs.com | oss-me-central-1-internal.aliyuncs.com | 100.99.121.0/24 |