Container Service for Kubernetes：為存量叢集開啟 API Server 內部網域名稱訪問

適用範圍

• 僅適用於ACK託管叢集Pro版，且叢集版本為1.30及以上。

• 混合雲節點池暫無法啟用本功能。

• 以下叢集已預設啟用API Server內部網域名稱，無需手動啟用：

  • 2024年11月以後建立，且版本為1.20及以上的叢集。

  • 通過DescribeClusterDetail查詢，若internal_dns_config.enabled為true，則表明已啟用。

變更和影響

• 網路路徑變更與安全性群組影響：

  啟用後，節點訪問 API Server 的通訊路徑將從API Server負載平衡（CLB）固定 IP 地址切換為內部網域名稱直連。

  • 變更前（CLB 轉寄）：節點 -> CLB IP -> API Server

  • 變更後（內網網域名稱直連）：節點 -> (內部網域名稱解析) -> API Server ENI

  這意味著流量將繞過 CLB，直接存取API Server ENI。因此，需確保節點所在安全性群組與其 ENI 所在安全性群組之間網路互連。

• 公網訪問依賴：啟用後，API Server對外的預設路由將變更為叢集 VPC。若叢集配置了依賴公網地址的 OIDC Issuer URL 或外部 Webhook，需確保叢集 VPC 具備公網訪問能力，否則API Server將無法串連外部服務。

• 配置生效範圍：

  • 啟用後，kubelet 和 kube-proxy 訪問API Server的路徑將由訪問負載平衡（CLB）固定 IP 地址切換至直連 API Server ENI。

  • default 命名空間下的 kubernetes Service Endpoints 會由指向API Server CLB IP切換為 API Server ENI IP，允許叢集內的 Operator 等應用直連。

前置檢查

執行操作前，請務必完成以下檢查，否則會導致節點無法串連API Server。

步驟一：開啟API Server內部網域名稱解析

調用OpenAPI ModifyCluster，在叢集 VPC 內建立內網解析記錄。本小節以預設情況為例，即節點使用阿里雲預設內網 DNS。

如節點或容器使用自建 DNS 伺服器，請參見下文自訂 DNS 說明。

1. 調用ModifyCluster，填寫參數。

   {
       "control_plane_endpoints_config": {
           "internal_dns_config": {
               "enabled": true
           }
       }
   }

2. 更新過程中，API Server會自動重啟。等待重啟完成，通過DescribeClusterDetail查看internal_dns_config.enabled參數取值為true，確認配置生效。

步驟二：修改 kube-proxy 配置

API Server網域名稱生效後，將 kube-proxy 的串連地址從 IP 切換為該網域名稱。

1. 在ACK叢集列表頁面，單擊目的地組群名稱，在叢集詳情頁左側導覽列，選擇配置管理 > 配置项。

2. 命名空間選擇 kube-system，定位 kube-proxy-worker和kube-proxy-worker-windows。

3. 逐一在 kubeconfig 欄位中，定位 server 參數，修改為以下格式。

   https://apiserver.{cluster_id}.{region_id}.cs.aliyuncs.com:6443

   • {cluster_id}：叢集 ID。

   • {region_id}：叢集地區 ID（如 cn-hangzhou）。

步驟三：驗證內部網域名稱是否生效

修改存量節點前，通過建立新節點或新 Pod 來驗證網域名稱解析是否已對新增資源生效。

• 節點池、靈駿節點池中的節點：

  在叢集中擴容一個新節點，新節點的 kubelet 和 kube-proxy 將自動使用內部網域名稱。

  待節點就緒後，登入節點，通過以下命令查看其kubelet設定檔的server地址是否為內部網域名稱。

  cat /etc/kubernetes/kubelet.conf

• 虛擬節點：

  ACK Virtual Node組件需為v2.14.0及以上。

  開啟內部網域名稱後，建立的ECI Pod和ACS Pod預設通過內部網域名稱與API Server互動。

  此時，新增一個Pod，Pod能夠正常進入Ready狀態。

步驟四：重建存量 kube-proxy Pod 使其生效

kube-proxy 配置更新後，重建其存量 Pod 以載入新配置。

1. 在ACK叢集列表頁面，單擊目的地組群名稱，在叢集詳情頁左側導覽列，選擇工作负载 > 守護進程集。

2. 命名空間選擇 kube-system，定位並單擊 kube-proxy-worker和kube-proxy-worker-windows，在容器組頁簽下，按照頁面提示逐一刪除其Pod，使其重建並載入新配置。

   重要

   為確保業務平穩，需採用灰階方式分批刪除，觀察 Pod 重建正常後再執行後續刪除。

步驟五：修改存量節點的 kubelet 配置

更新存量節點的 kubelet 配置並重啟服務，完成向內部網域名稱訪問的切換。為確保叢集穩定性，本小節分為單節點驗證和批量營運兩部分。

1. 單節點驗證。

   1. 選擇一個存量節點，登入節點並執行以下命令，將 API Server 地址從 IP 切換為網域名稱，並重啟 kubelet。

      • {clb-ip}：當前 /etc/kubernetes/kubelet.conf 中配置的 CLB IP

      • {cluster-id}：叢集 ID

      • {region-id}：地區 ID

      # 以下為單行命令，將替換配置與重啟服務合并執行
      sed -i.bak 's#https://{clb-ip}:6443#https://apiserver.{cluster-id}.{region-id}.cs.aliyuncs.com:6443#g' /etc/kubernetes/kubelet.conf && systemctl restart kubelet

      樣本如下：

      sed -i.bak 's#https://10.XX.XX.1:6443#https://apiserver.c34f3cdb665954e2f8e8e40a824a*****.cn-hangzhou.cs.aliyuncs.com:6443#g' /etc/kubernetes/kubelet.conf && systemctl restart kubelet

   2. 完成後，在控制台觀察節點，確保處於就緒狀態。

2. 批量營運剩餘節點。

   單節點驗證成功後，在控制台使用批量營運節點功能，對剩餘的存量節點分批次進行大量操作。

   1. 在ACK叢集列表頁面，單擊目的地組群名稱，在叢集詳情頁左側導覽列，選擇節點管理 > 節點。

   2. 勾選待執行操作的節點，單擊頁面下方的批量營運，然後選擇執行 Shell 命令。按照頁面提示配置執行命令，提交批量任務的執行。

      # 在執行命令的命令內容中，填入以下參數
      sed -i.bak 's#https://{clb-ip}:6443#https://apiserver.{cluster-id}.{region-id}.cs.aliyuncs.com:6443#g' /etc/kubernetes/kubelet.conf && systemctl restart kubelet

   3. 等待任務執行完成，觀測節點狀態無誤後重複此操作，直至完成存量節點的更新。

附錄

相關文檔

• 【產品變更】關於ACK託管叢集節點存取控制面（API Server）的鏈路切換公告

• Kube API Server