混合雲節點池支援將本地IDC伺服器通過專線形式接入,進行容器化管理。當通過專線接入叢集時,請在接入前完成基礎設施的網元配置。本文介紹了使用混合雲節點池時,在本地IDC和雲上需要進行的網路設定。
網路架構
本機資料中心:典型的本地IDC網路拓撲如圖所示,採用三層網路架構,IDC伺服器與交換器構建二層區域網路,多個二層區域網路構建成一個三層網路域,從而形成一個私網網段為10.0.0.0/8的IDC網路環境。
雲端專用網路:雲上專用網路採用了虛擬化網路,計算執行個體(ECS、ECI等)直接與虛擬交換器串連,通過虛擬交換器進行通訊,另外一些雲端服務採用了100.0.0.0/8網段,在雲上VPC中通過虛擬交換器可以預設訪問到這些雲端服務網段。
專線:阿里雲在全國各個地區都有專線存取點,推薦根據就近原則選擇存取點地址。從IDC核心交換器通過網路防火牆可接入到阿里雲Express Connect存取點的邊界路由器,結合專線網關或雲企業網可串連到阿里雲Virtual Private Cloud。
配置樣本
下方的IDC網路設定和雲上網路設定樣本中展示了配置一個混合雲節點時,需要為IDC及雲上各個網路模組進行的配置操作。
樣本僅為展示配置思路,請結合實際情況使用。
樣本中使用的配置情況為:
IDC核心交換器及其子網已完成三層網路設定。
叢集位於杭州(
cn-hangzhou)地區。雲端VPC網段:192.168.0.0/16
本地IDC網段:10.0.0.0/8
阿里雲雲端服務、雲產品私網網段:100.0.0.0/8
混合雲節點容器網段:172.16.0.0/12
IDC網路設定
為確保叢集混合雲節點正常工作,IDC網路需要訪問下列阿里雲服務:
Object Storage Service
Container RegistryACR
雲助手
請配置網路存取原則,允許存取阿里雲雲端服務網段100.0.0.0/8。如果無法使用完整的100.0.0.0/8,請參見雲產品網段對照表,為必須使用的雲產品允許存取特定網段。
IDC核心交換器
配置項 | 說明 | 注意事項 |
上行路由(IDC訪問雲端) | 將雲端VPC網段和雲產品網段指向Express Connect的邊界路由器VBR。
如果無法使用100.0.0.0/8,請參見雲產品網段對照表,為必須使用的雲產品允許存取特定網段。 | 如果使用Terway Hybrid外掛程式的Underlay模式,還需要在IDC核心交換器以及交換器上配置BGP,讓網路外掛程式將容器路由宣告給交換器,詳見使用Terway Hybrid網路外掛程式。 |
下行路由(雲端訪問IDC) | 從阿里雲Express Connect的邊界路由器VBR訪問IDC伺服器,本文預設核心交換器已完成伺服器網路設定。 |
IDC網路防火牆
配置項 | 說明 |
出方向(IDC訪問雲端) | 請允許存取訪問雲端VPC的網段以及雲端服務的網段:
如果無法使用100.0.0.0/8,請參見雲產品網段對照表,為必須使用的雲產品允許存取特定網段。 |
入方向(雲端訪問IDC) | 需要允許存取訪問雲端VPC的網段以及雲端服務的網段:
請允許上述入方向的網段訪問kubelet的TCP 10250/10255連接埠,以及Node-Exporter的TCP 9100/9445連接埠。 |
混合雲節點入方向(節點被訪問的連接埠)
雲端需要訪問混合雲節點時,混合雲節點入方向需要暴露的連接埠如下:
協議 | 連接埠 | 源地址或源地址網段 | 注釋 |
TCP | 10250、10255 | VPC網段 |
|
9100、9445 | VPC網段 | Prometheus主動發起訪問節點的Node-Exporter連接埠9100/9445,以擷取監控資料。 |
混合雲節點出方向(節點需要訪問的網域名稱和連接埠)
混合雲節點在專線模式下需要放通的網域名稱和連接埠,其中訪問地址中的{region}表示叢集所在地區的ID,例如杭州地區為cn-hangzhou。其他地區的ID,請參見雲產品網段對照表。
訪問對象 | 專線模式訪問網域名稱 | 連接埠 | 說明 |
節點群組件OSS下載地址 |
| TCP 443 | 可通過OSS下載kubelet、CNI、runtime、auton-hub等節點群組件安裝包。 |
API Server內網端點 | 通過叢集基本資料頁簽查看。 | TCP 6443 | 用於與kube-apiserver互動。 |
系統組件鏡像地址 |
| TCP 443 | 系統組件鏡像需要使用的地址。 |
雲助手 |
| TCP 443 | 雲助手服務及安裝包地址。 |
雲上網路設定樣本
邊界路由器VBR
配置項 | 說明 | 注意事項 |
上行路由(IDC訪問雲端) | 將雲端VPC的網段和雲產品的網段指向VPC。通過直連VPC、專線網關ECR或雲企業網CEN等方法均可,具體方案參見什麼是Express Connect。
如果無法使用100.0.0.0/8,請參見雲產品網段對照表,為必須使用的雲產品允許存取特定網段。 | 無 |
下行路由(雲端訪問IDC) | 將IDC伺服器的網段10.0.0.0/8,通過專線以及IDC網路防火牆指向IDC核心交換器。 | 如果選用Terway Hybrid外掛程式的Underlay模式,還需配置VBR的下行容器路由,即將混合雲節點容器網段172.16.0.0/12配置到VBR下行路由中。 |
專線網關ECR或雲企業網CEN
配置項 | 說明 | 注意事項 |
上行路由(IDC訪問雲端) | 配置ECR或CEN的轉寄路由表,將雲端VPC的網段和雲產品的網段指向VPC。
如果無法使用100.0.0.0/8,請參見雲產品網段對照表,為必須使用的雲產品允許存取特定網段。 | 無 |
下行路由(雲端訪問IDC) | 配置ECR或CEN的轉寄路由表,將IDC伺服器網段10.0.0.0/8指向邊界路由器VBR。 | 如果選用Terway Hybrid外掛程式的Underlay模式,還需配置ECR或CEN的下行容器路由,即將混合雲節點容器網段172.16.0.0/12配置到ECR或CEN的下行路由中。 |
雲上VPC路由表
配置項 | 說明 | 注意事項 |
上行路由(IDC訪問雲端) | 雲端VPC預設已完成網路設定,會在接收到IDC請求之後轉寄到目的地址。 | 無 |
下行路由(雲端訪問IDC) | 配置雲端VPC路由表,將IDC伺服器網段10.0.0.0/8指向雲企業網CEN或專線網關ECR。 | 如果選用Terway Hybrid外掛程式的Underlay模式,還需配置VPC路由表的下行容器路由,即將混合雲節點容器網段172.16.0.0/12配置到VPC路由表的下行路由中。 |
雲上VPC安全性群組
配置項 | 說明 |
出方向(雲端訪問IDC) | 需要允許存取IDC伺服器網段10.0.0.0/8。 請允許存取kubelet的TCP10250/10255連接埠、node-exporter的TCP 9100/9445連接埠等。 |
入方向(IDC訪問雲端) | 需要允許IDC網段10.0.0.0/8的訪問請求。 請允許存取API Server的TCP 6443連接埠。 |
雲產品網段對照表
ACK組件內網鏡像地址與網段
Region | Region ID | VPC網路Endpoint | 需要添加的路由網段 |
華東1(杭州) | cn-hangzhou | registry-cn-hangzhou-vpc.ack.aliyuncs.com | 100.103.9.188/32 100.103.7.181/32 |
華東2(上海) | cn-shanghai | registry-cn-shanghai-vpc.ack.aliyuncs.com | 100.103.94.158/32 100.103.7.57/32 100.100.80.231/32 |
華東6(福州-本地地區-關停中) | cn-fuzhou | registry-cn-fuzhou-vpc.ack.aliyuncs.com | 100.100.0.43/32 100.100.0.28/32 |
華北1(青島) | cn-qingdao | registry-cn-qingdao-vpc.ack.aliyuncs.com | 100.100.0.172/32 100.100.0.207/32 |
華北2(北京) | cn-beijing | registry-cn-beijing-vpc.ack.aliyuncs.com | 100.103.99.73/32 100.103.0.251/32 100.103.6.63/32 |
華北 3(張家口) | cn-zhangjiakou | registry-cn-zhangjiakou-vpc.ack.aliyuncs.com | 100.100.1.179/32 100.100.80.152/32 |
華北5(呼和浩特) | cn-huhehaote | registry-cn-huhehaote-vpc.ack.aliyuncs.com | 100.100.0.194/32 100.100.80.55/32 |
華北6(烏蘭察布) | cn-wulanchabu | registry-cn-wulanchabu-vpc.ack.aliyuncs.com | 100.100.0.122/32 100.100.0.58/32 |
華南1(深圳) | cn-shenzhen | registry-cn-shenzhen-vpc.ack.aliyuncs.com | 100.103.96.139/32 100.103.6.153/32 100.103.26.52/32 |
華南2(河源) | cn-heyuan | registry-cn-heyuan-vpc.ack.aliyuncs.com | 100.100.0.150/32 100.100.0.193/32 |
華南3(廣州) | cn-guangzhou | registry-cn-guangzhou-vpc.ack.aliyuncs.com | 100.100.0.101/32 100.100.0.21/32 |
西南1(成都) | cn-chengdu | registry-cn-chengdu-vpc.ack.aliyuncs.com | 100.100.0.48/32 100.100.0.64/32 |
鄭州(聯通合營) | cn-zhengzhou-jva | registry-cn-zhengzhou-jva-vpc.ack.aliyuncs.com | 100.100.0.111/32 100.100.0.84/32 |
中國(香港) | cn-hongkong | registry-cn-hongkong-vpc.ack.aliyuncs.com | 100.103.85.19/32 100.100.80.157/32 |
美國(矽谷) | us-west-1 | registry-us-west-1-vpc.ack.aliyuncs.com | 100.103.13.55/32 100.100.80.93/32 |
美國(維吉尼亞) | us-east-1 | registry-us-east-1-vpc.ack.aliyuncs.com | 100.103.12.19/32 100.100.80.11/32 |
日本(東京) | ap-northeast-1 | registry-ap-northeast-1-vpc.ack.aliyuncs.com | 100.100.0.167/32 100.100.80.198/32 |
韓國(首爾) | ap-northeast-2 | registry-ap-northeast-2-vpc.ack.aliyuncs.com | 100.100.0.71/32 100.100.0.33/32 |
新加坡 | ap-southeast-1 | registry-ap-southeast-1-vpc.ack.aliyuncs.com | 100.103.103.254/32 100.100.80.136/32 |
馬來西亞(吉隆坡) | ap-southeast-3 | registry-ap-southeast-3-vpc.ack.aliyuncs.com | 100.100.0.17/32 100.100.80.137/32 |
印尼(雅加達) | ap-southeast-5 | registry-ap-southeast-5-vpc.ack.aliyuncs.com | 100.100.0.226/32 100.100.80.200/32 |
菲律賓(馬尼拉) | ap-southeast-6 | registry-ap-southeast-6-vpc.ack.aliyuncs.com | 100.100.0.75/32 100.100.0.24/32 |
泰國(曼穀) | ap-southeast-7 | registry-ap-southeast-7-vpc.ack.aliyuncs.com | 100.100.0.62/32 100.100.0.34/32 |
德國(法蘭克福) | eu-central-1 | registry-eu-central-1-vpc.ack.aliyuncs.com | 100.100.0.92/32 100.100.80.155/32 |
英國(倫敦) | eu-west-1 | registry-eu-west-1-vpc.ack.aliyuncs.com | 100.100.0.175/32 100.100.0.18/32 |
利雅得 | me-central-1 | registry-me-central-1-vpc.ack.aliyuncs.com | 100.100.0.109/32 100.100.0.18/32 |
華東2 金融雲 | cn-shanghai-finance-1 | registry-cn-shanghai-finance-1-vpc.ack.aliyuncs.com | 100.100.0.54/32 100.100.80.227/32 |
OSS內網網域名稱與VIP網段
地區 | 地區ID | OSS專用地區ID | VPC網路Endpoint | VIP網段 |
華東1(杭州) | cn-hangzhou | oss-cn-hangzhou | oss-cn-hangzhou-internal.aliyuncs.com |
|
華東2(上海) | cn-shanghai | oss-cn-shanghai | oss-cn-shanghai-internal.aliyuncs.com |
|
華東5(南京-本地地區-關停中) | cn-nanjing | oss-cn-nanjing | oss-cn-nanjing-internal.aliyuncs.com | 100.114.142.0/24 |
華東6(福州-本地地區-關停中) | cn-fuzhou | oss-cn-fuzhou | oss-cn-fuzhou-internal.aliyuncs.com | 100.115.21.0/24 |
華中1(武漢-本地地區) | cn-wuhan-lr | oss-cn-wuhan-lr | oss-cn-wuhan-lr-internal.aliyuncs.com | 100.115.89.0/24 |
華北1(青島) | cn-qingdao | oss-cn-qingdao | oss-cn-qingdao-internal.aliyuncs.com |
|
華北2(北京) | cn-beijing | oss-cn-beijing | oss-cn-beijing-internal.aliyuncs.com |
|
華北 3(張家口) | cn-zhangjiakou | oss-cn-zhangjiakou | oss-cn-zhangjiakou-internal.aliyuncs.com |
|
華北5(呼和浩特) | cn-huhehaote | oss-cn-huhehaote | oss-cn-huhehaote-internal.aliyuncs.com |
|
華北6(烏蘭察布) | cn-wulanchabu | oss-cn-wulanchabu | oss-cn-wulanchabu-internal.aliyuncs.com |
|
華南1(深圳) | cn-shenzhen | oss-cn-shenzhen | oss-cn-shenzhen-internal.aliyuncs.com |
|
華南2(河源) | cn-heyuan | oss-cn-heyuan | oss-cn-heyuan-internal.aliyuncs.com |
|
華南3(廣州) | cn-guangzhou | oss-cn-guangzhou | oss-cn-guangzhou-internal.aliyuncs.com |
|
西南1(成都) | cn-chengdu | oss-cn-chengdu | oss-cn-chengdu-internal.aliyuncs.com |
|
中國香港 | cn-hongkong | oss-cn-hongkong | oss-cn-hongkong-internal.aliyuncs.com |
|
美國(矽谷) | us-west-1 | oss-us-west-1 | oss-us-west-1-internal.aliyuncs.com | 100.115.107.0/24 |
美國(維吉尼亞) | us-east-1 | oss-us-east-1 | oss-us-east-1-internal.aliyuncs.com |
|
日本(東京) | ap-northeast-1 | oss-ap-northeast-1 | oss-ap-northeast-1-internal.aliyuncs.com |
|
韓國(首爾) | ap-northeast-2 | oss-ap-northeast-2 | oss-ap-northeast-2-internal.aliyuncs.com | 100.99.119.0/24 |
新加坡 | ap-southeast-1 | oss-ap-southeast-1 | oss-ap-southeast-1-internal.aliyuncs.com |
|
馬來西亞(吉隆坡) | ap-southeast-3 | oss-ap-southeast-3 | oss-ap-southeast-3-internal.aliyuncs.com |
|
印尼(雅加達) | ap-southeast-5 | oss-ap-southeast-5 | oss-ap-southeast-5-internal.aliyuncs.com | 100.114.98.0/24 |
菲律賓(馬尼拉) | ap-southeast-6 | oss-ap-southeast-6 | oss-ap-southeast-6-internal.aliyuncs.com | 100.115.16.0/24 |
泰國(曼穀) | ap-southeast-7 | oss-ap-southeast-7 | oss-ap-southeast-7-internal.aliyuncs.com | 100.98.249.0/24 |
德國(法蘭克福) | eu-central-1 | oss-eu-central-1 | oss-eu-central-1-internal.aliyuncs.com | 100.115.154.0/24 |
英國(倫敦) | eu-west-1 | oss-eu-west-1 | oss-eu-west-1-internal.aliyuncs.com | 100.114.114.128/25 |
阿聯酋(杜拜) | me-east-1 | oss-me-east-1 | oss-me-east-1-internal.aliyuncs.com | 100.99.235.0/24 |
華東1金融雲 | cn-hangzhou-finance | oss-cn-hzjbp |
|
|
華東2金融雲 | cn-shanghai-finance-1 | oss-cn-shanghai-finance-1 | oss-cn-shanghai-finance-1-internal.aliyuncs.com |
|
華北2 金融雲(邀測) | cn-beijing-finance-1 | oss-cn-beijing-finance-1 | oss-cn-beijing-finance-1-internal.aliyuncs.com | 100.112.52.0/24 |
華南1金融雲 | cn-shenzhen-finance-1 | oss-cn-shenzhen-finance-1 | oss-cn-shenzhen-finance-1-internal.aliyuncs.com | 100.112.15.0/24 |
杭州金融雲公網 | cn-hangzhou-finance | oss-cn-hzfinance | oss-cn-hzfinance-internal.aliyuncs.com |
|
上海金融雲公網 | cn-shanghai-finance-1 | oss-cn-shanghai-finance-1-pub | oss-cn-shanghai-finance-1-pub-internal.aliyuncs.com |
|
深圳金融雲公網 | cn-shenzhen-finance-1 | oss-cn-szfinance | oss-cn-szfinance-internal.aliyuncs.com |
|
北京金融雲公網 | cn-beijing-finance-1 | oss-cn-beijing-finance-1-pub | oss-cn-beijing-finance-1-pub-internal.aliyuncs.com | 100.112.52.0/24 |
雲助手服務網域名稱與VIP網段
地區 | Region ID | 網域名稱 | IP地址 |
華北1(青島) | cn-qingdao | cn-qingdao.axt.aliyun.com |
|
華北2(北京) | cn-beijing | cn-beijing.axt.aliyun.com | 100.100.18.120 |
華北3(張家口) | cn-zhangjiakou | cn-zhangjiakou.axt.aliyun.com |
|
華北5(呼和浩特) | cn-huhehaote | cn-huhehaote.axt.aliyun.com |
|
華北6(烏蘭察布) | cn-wulanchabu | cn-wulanchabu.axt.aliyun.com | 100.100.0.3 |
華東1(杭州) | cn-hangzhou | cn-hangzhou.axt.aliyun.com | 100.100.45.106 |
華東2(上海) | cn-shanghai | cn-shanghai.axt.aliyun.com |
|
華東5(南京-本地地區) | cn-nanjing | cn-nanjing.axt.aliyun.com | 100.100.0.1 |
華東6(福州-本地地區) | cn-fuzhou | cn-fuzhou.axt.aliyun.com | 100.100.0.26 |
華中1(武漢-本地地區) | cn-wuhan-lr | cn-wuhan-lr.axt.aliyun.com | 100.100.0.8 |
華南1(深圳) | cn-shenzhen | cn-shenzhen.axt.aliyun.com | 100.100.0.70 |
華南2(河源) | cn-heyuan | cn-heyuan.axt.aliyun.com | 100.100.0.5 |
華南3(廣州) | cn-guangzhou | cn-guangzhou.axt.aliyun.com | 100.100.0.4 |
西南1(成都) | cn-chengdu | cn-chengdu.axt.aliyun.com | 100.100.0.42 |
中國香港 | cn-hongkong | cn-hongkong.axt.aliyun.com |
|
新加坡 | ap-southeast-1 | ap-southeast-1.axt.aliyun.com |
|
馬來西亞(吉隆坡) | ap-southeast-3 | ap-southeast-3.axt.aliyun.com |
|
印尼(雅加達) | ap-southeast-5 | ap-southeast-5.axt.aliyun.com |
|
菲律賓(馬尼拉) | ap-southeast-6 | ap-southeast-6.axt.aliyun.com | 100.100.0.15 |
泰國(曼穀) | ap-southeast-7 | ap-southeast-7.axt.aliyun.com | 100.100.0.30 |
日本(東京) | ap-northeast-1 | ap-northeast-1.axt.aliyun.com | 100.100.0.76 |
韓國(首爾) | ap-northeast-2 | ap-northeast-2.axt.aliyun.com | 100.100.0.23 |
美國(矽谷) | us-west-1 | us-west-1.axt.aliyun.com |
|
美國(維吉尼亞) | us-east-1 | us-east-1.axt.aliyun.com |
|
德國(法蘭克福) | eu-central-1 | eu-central-1.axt.aliyun.com |
|
英國(倫敦) | eu-west-1 | eu-west-1.axt.aliyun.com | 100.100.0.20 |
阿聯酋(杜拜) | me-east-1 | me-east-1.axt.aliyun.com | 100.100.43.7 |
華東2 金融雲(上海) | cn-shanghai-finance-1 | cn-shanghai-finance-1.axt.aliyun.com | 100.100.0.46 |
華北2 金融雲(邀測)(北京) | cn-beijing-finance-1 | cn-beijing-finance-1.axt.aliyun.com | 100.100.0.165 |
華南1 金融雲(深圳) | cn-shenzhen-finance-1 | cn-shenzhen-finance-1.axt.aliyun.com | 100.103.0.140 |
華北2 阿里政務雲1(北京) | cn-north-2-gov-1 | cn-north-2-gov-1.axt.aliyun.com | 100.100.0.67 |