Container Service for Kubernetes：建立和管理靈駿節點池

建立前請注意

• 靈駿節點池預設將容器運行時資料存放區到系統硬碟，請確保為容器運行時目錄預留充足可用空間，若磁碟空間不足將導致 Pod 驅逐或節點異常。

• 建立靈駿節點池的 VPC 網路通訊僅支援使用Terway獨佔ENI模式，請確認單節點Pod數限額滿足業務需求。

• 靈駿節點池中的節點預設攜帶汙點（Taint）node-role.alibabacloud.com/lingjun: NoSchedule，避免系統組件（非 DaemonSet）調度到靈駿節點上佔用資源。若 Pod 需調度到靈駿節點，可為 Pod 添加對該Taint的容忍，實現僅特定工作負載調度到靈駿節點的效果。也可以根據業務需求，換為自訂Taint，實現相同效果。

  可在組件滿足最低版本要求後刪除 Taint，但刪除Taint後，系統組件或者其他工作負載可能調度到靈駿節點，佔用昂貴的 GPU 節點資源。

• 節點池預設攜帶的完整標籤列表，請參見節點標籤（Labels）配置項說明。請勿刪除預設 Label。

操作步驟

1. 在ACK叢集列表頁面，單擊目的地組群名稱，在叢集詳情頁左側導覽列，選擇節點管理 > 節點池。

2. 單擊... > 建立靈駿節點池，按照頁面提示完成靈駿節點池的建立。

   節點池建立後，部分配置項可通過編輯節點池修改。下表中，是否支援修改代表節點池建立後對應的配置項是否支援修改。

   • 基礎配置

     配置項	說明	是否支援修改
     節點池名稱	自訂的節點池名稱。	是
     地區	預設選擇當前叢集所在地區，不可更改。	否
     託管配置	白名單功能 啟用託管節點池，使用ACK提供的自動化營運能力。	是
     容器運行時	僅支援containerd。	否

   • 靈駿資源

     配置項	說明	是否支援修改
     靈駿叢集	可選擇與ACK叢集位於相同VPC的Lite類型的靈駿叢集。	否
     靈駿分組	可選擇與靈駿節點池位於相同VPC且未關聯靈駿節點池的靈駿分組。	否
     Worker RAM 角色	為靈駿節點池指定 Worker RAM 角色。配置後，靈駿分組內新擴容的節點將自動繼承該角色。 需先選擇靈駿分組。僅雲端硬碟系統硬碟的靈駿機型支援配置 Worker RAM 角色，若所選靈駿分組不支援，則不顯示本配置項。 預設角色：使用 ACK 自動建立的、信任主體為靈駿智能計算的 Worker RAM 角色。若叢集中不存在該角色，建立節點池時將自動建立並綁定至本節點池。 自訂角色：使用指定的 RAM 角色。僅可選擇信任策略的可信服務中包含靈駿智能計算（eflo-controller.eflo.aliyuncs.com）的 RAM 角色。相關說明請參見使用自訂Worker RAM角色。 若所選靈駿分組已配置 RAM 角色，則本配置項自動選中自訂角色並固定為分組當前的 RAM 角色，不可更改，也不可切回預設角色。 重要 若靈駿分組已配置 RAM 角色，節點池與關聯靈駿分組的 RAM 角色須保持一致，兩者不一致將導致靈駿節點池建立失敗。 分組內新擴容的節點將自動繼承分組的 RAM 角色，分組內已有節點不生效。 節點池建立後，請勿修改靈駿分組的 RAM 角色，以免功能異常。	否

   • 儲存

     自訂資料盤配置為白名單功能，可使用本功能初始化靈駿節點的本機資料盤，並將容器運行時目錄或自訂目錄掛載到本機資料盤。如需開通，請通過客戶服務經理（PDSA）聯絡Container Service團隊。

     重要

     • 節點池升級期間，若節點儲存配置不一致，將按各節點的實際配置分別初始化。

     • 本機存放區有遺失資料的風險，強烈建議您使用雲端硬碟系統硬碟掛載容器運行時目錄。為保障穩定性，請確保為容器運行時目錄預留充足空間，避免出現節點磁碟空間不足-DiskPressure的情況。若未配置本機資料盤掛載容器運行時目錄，則預設該目錄掛載到系統硬碟。

     配置項	說明	是否支援修改
     系統硬碟	當前靈駿分組下節點的雲端硬碟系統硬碟配置。使用本地系統硬碟時，此處不展示具體配置。 若未配置本機資料盤掛載容器運行時目錄，容器運行時目錄預設掛載到系統硬碟（本地系統硬碟或雲端硬碟系統硬碟）。 重要 當容器運行時資料存放區在系統硬碟時，若磁碟空間不足將導致 Pod 驅逐或節點異常。為保障穩定性，請確保系統硬碟預留充足可用空間，或者配置獨立資料盤用於容器運行時。請參見節點磁碟空間不足-DiskPressure瞭解節點磁碟空間不足的解決方案。	不涉及
     數據盤	對靈駿節點本機資料盤進行自訂配置。 可單擊+添加需要進行自訂配置的本機資料盤，可添加的數量上限由靈駿機型的本地磁碟數量決定。預設 0 塊，即全部資料盤均不初始化且容器運行時掛載到系統硬碟。。 對添加的每塊本機資料盤進行配置： 初始化設定：選擇使用ext4 或者 xfs 檔案系統格式化並掛載目錄。僅對未格式化的本地碟生效。可選擇以下任一掛載方式： 作為容器運行時目錄：將該塊本機資料盤掛載為容器運行時佔用目錄，包括 /var/lib/container、/var/lib/containerd、/var/lib/kubelet以及 /var/log/pods等目錄。一個節點池最多僅支援將一塊本機資料盤作為容器運行時目錄。 配置自訂掛載目錄：將該本機資料盤格式化後掛載到指定目錄。自訂掛載目錄不支援使用系統及組件的關鍵目錄（詳見自訂目錄限制），否則節點池建立或更新失敗。 不初始化：不格式化本機資料盤，保留節點原有資料。選擇不初始化時，無法配置作為容器運行時目錄或自訂掛載目錄。添加第二塊及之後的本機資料盤時，預設選擇不初始化。 重要 本機資料盤可配置為不初始化，或格式化並掛載目錄；不支援僅掛載目錄而不格式化，也不支援僅格式化而不掛載目錄。 添加的本機資料盤數量不可超過靈駿機型支援的本地磁碟數量，否則節點池建立或更新失敗。 若本機資料盤已格式化，且節點池配置的格式化方式與節點實際的格式化方式不一致，則初始化失敗，節點添加失敗。 掛載目錄須為空白。非空目錄掛載後，原有檔案將無法訪問。 靈駿節點池僅支援將容器運行時目錄或自訂目錄掛載到本機資料盤，不支援掛載到雲端硬碟資料盤。本機存放區有遺失資料的風險，將容器運行時目錄掛載到本地碟後，靈駿節點在下線維修（備機替換）時，不保留本地碟資料，可能會導致kubelet、containerd等容器運行時資訊被清除，節點狀態異常。維修完成後，需手動將其從節點池移除，並通過添加已有靈駿節點重新加入靈駿節點池。若您不希望手動操作，可將容器運行時目錄掛載到雲端硬碟系統硬碟中，或者聯絡PDSA/提交工單評估，申請加白使用RAM Role方式添加節點，在滿足條件的情況下，可實現節點狀態自動回復。 啟用本功能時，請勿同時通過 ACK 執行個體預自訂數據或靈駿自訂資料（UserData）功能配置容器運行時目錄，否則將出現功能異常。	是

   • 進階選項（選填）

     展開查看

     配置項	說明	是否支援修改
     汙點 （Taints）	為節點添加索引值對汙點。有效汙點鍵包含首碼（可選）和名稱。如果有首碼，用正斜線（/）分隔。 展開查看詳細說明 鍵：名稱長度為1~63個字元，必須以字母、數字或字元[a-z0-9A-Z]開頭和結尾，中間可包含字母、數字、短劃線（-）、底線（_）、英文半形句號（.）。 如果指定首碼，必須為DNS子域，即一系列由英文半形句號（.）分隔的DNS標籤，不超過253個字元，並以正斜線（/）結尾。 值：汙點值可以為空白，不超過63個字元，必須以字母、數字或字元[a-z0-9A-Z]開頭和結尾，可包含字母、數字、短劃線（-）、底線（_）、英文半形句號（.）。 Effect： NoSchedule：不接受任何新的、不容忍此汙點的Pod被調度到該節點，但已在啟動並執行Pod不受影響。 NoExecute：不僅不接受任何新的、不容忍此汙點的Pod被調度到該節點，還會驅逐節點上任何已在啟動並執行、不容忍此汙點的Pod。 PreferNoSchedule：ACK會盡量避免將Pod調度到存在其不能容忍汙點的節點上，但不會強制執行。	是
     節點標籤（Labels）	重要 建立靈駿節點池時，ACK將自動為節點池添加標籤以啟用獨佔ENI模式，建立後請勿刪除。 不允許刪除靈駿節點池預設添加的Label： service.alibabacloud.com/exclude-node alibabacloud.com/lingjun-worker alibabacloud.com/lingjun-hpnzone alibabacloud.com/lingjun-zoneid alibabacloud.com/lingjun-network-type: vpd alibabacloud.com/lingjun-machine-type k8s.aliyun.com/exclusive-mode-eni-type: eniOnly 為節點添加索引值對標籤。有效Key包含首碼（可選）和名稱。如有首碼，首碼和名稱之間用正斜線（/）分隔。 展開查看詳細說明 Key：名稱長度為1~63個字元，必須以字母數字字元[a-z0-9A-Z]開頭和結尾，中間可包含字母、數字、短劃線（-）、底線（_）、英文半形句號（.）。 如果指定首碼，必須為DNS子域，即一系列由英文半形句號（.）分隔的DNS標籤，不超過253個字元，以正斜線（/）結尾。 以下首碼由Kubernetes核心組件保留，不支援指定 kubernetes.io/ k8s.io/ 以kubernetes.io/和k8s.io/結尾的首碼。例如test.kubernetes.io/。 以下除外： kubelet.kubernetes.io/ node.kubernetes.io 以kubelet.kubernetes.io/結尾的首碼。 以node.kubernetes.io結尾的首碼。 Value：可以為空白，不超過63個字元，必須以字母數字字元[a-z0-9A-Z]開頭和結尾，可包含字母、數字、短劃線（-）、底線（_）和英文半形句號（.）。	是
     容器鏡像加速	僅支援版本為1.6.34及以上的containerd運行時。 新添加的節點將自動識別容器鏡像是否支援按需載入功能，若支援則預設通過按需載入加速容器啟動，以縮短應用啟動時間，詳情請參見使用按需載入容器鏡像加速容器啟動。	是
     自訂節點名稱	白名單功能，不適用於非靈駿節點池 說明：將靈駿節點的 Hostname 直接同步處理為節點的 NodeName。 樣本： 執行個體 Hostname 為 test，則節點 NodeName 為 test。	否
     執行個體預自訂數據	節點加入叢集前，將運行指定的執行個體預自訂User-Data指令碼。 例如，指定預自訂資料為 touch /tmp/pre-script，則節點上組合後的指令碼執行順序如下。 #!/bin/bash # 輸入的執行個體預自訂資料在此處執行 touch /tmp/pre-script # ACK節點初始化指令碼在此處執行	是
     執行個體自訂數據	節點加入叢集後，將運行指定的執行個體自訂User-Data指令碼。 例如，指定執行個體自訂資料為 touch /tmp/post-script，則節點上組合後的指令碼執行順序如下。 #!/bin/bash # ACK節點初始化指令碼在此處執行 # 輸入的執行個體自訂資料在此處執行 touch /tmp/post-script 建立叢集或擴容節點成功不代表執行個體自訂指令碼執行成功。可登入節點執行grep cloud-init /var/log/messages查看執行日誌。	是

適用範圍

• 待添加的節點執行個體須已在本節點池關聯的靈駿分組中，且未加入其他節點池。

• 靈駿節點的（OperatingState）狀態為使用中（Using）狀態。

操作步驟

1. 在ACK叢集列表頁面，單擊目的地組群名稱，在叢集詳情頁左側導覽列，選擇節點管理 > 節點池。

2. 在節點池頁面，單擊⋮ 添加已有節點，按照頁面提示完成以下配置：

   • 添加已有靈駿節點執行個體：在執行個體列表選擇待添加的執行個體。勾選顯示停用執行個體可查看當前停用執行個體。

   • 數據盤掛載：選擇資料盤的掛載方式。

     僅在已開通自訂資料盤配置白名單時開放

     • 按節點池配置：使用節點池預設的資料盤配置初始化並掛載資料盤。

       頁面將展示節點池預設的本機資料盤配置，其中標註（容器運行時佔用）的本機資料盤用於掛載容器運行時目錄。

       若節點池未預設資料盤配置，則保留節點原有配置。

       重要

       • 若各節點的儲存配置不同，節點池升級期間，系統將按各節點的實際儲存配置分別初始化資料盤，而非使用統一配置。

       • 使用按節點池配置時，掛載目錄須為空白。非空目錄掛載後，原有檔案將無法訪問。

       • 所添加節點的本機資料盤須為空白或已包含和節點池配置相同類型的檔案系統，否則節點將添加失敗。

     • 不初始化：不對資料盤進行初始化操作，保留節點原有資料盤配置。

   添加完成後，ACK會自動在靈駿節點執行個體上添加以下標籤，可在智能計算靈駿控制台查看：

   • ack.aliyun.com：納管該節點的ACK託管叢集Pro版ID。

   • ack.alibabacloud.com/nodepool-id：納管該節點的靈駿節點池ID。

注意事項

• 排空節點：

  • 節點上存在 Pod 時，請勾選自動排空節點（drain），並確保叢集資源充足，Pod 將自動遷移到其他節點。

  • 若應用配置了PDB，可能導致排空失敗，進而導致移除失敗。建議提前手動處理。

  • 排空後，若應用在其他節點上無法正常啟動，移除任務將忽略此情況並繼續執行。

  • 移除異常狀態的節點時，請勿勾選自動排空節點（drain），否則可能導致移除失敗。

• 移除後的節點狀態：

  移除靈駿節點僅將節點從靈駿節點池移出，不會將節點從靈駿分組中移出，也不會自動釋放或退訂節點。

  添加到節點池的靈駿節點執行個體不會隨 ACK 叢集或靈駿節點池的刪除而釋放，也不會從靈駿分組中自動縮容。請關注靈駿節點的計費狀態，避免產生額外費用。

  如需進行更多節點與分組的管理操作，請前往智能計算靈駿控制台操作。

  移除為非同步作業，請在節點列表中查看移除進度。

操作步驟

1. 在ACK叢集列表頁面，單擊目的地組群名稱，在叢集詳情頁左側導覽列，選擇節點管理 > 節點池。

2. 單擊目標靈駿節點池名稱，在節點管理頁面移除節點。

   • 單個節點移除：定位目標節點，在該節點右側操作列，選擇更多 > 移除。

   • 批量節點移除：選中目標節點，單擊頁面下方的大量移除。

3. 選擇是否需要自動排空節點（drain），仔細閱讀頁面注意事項後按照頁面提示完成操作。

使用RDMA功能

為啟用Pod在靈駿節點的RDMA網路通訊，請先在組件管理頁面手動安裝ack-rdma-device-plugin組件。具體使用方式請參見在靈駿節點使用RDMA網路。

在靈駿節點池使用PPU節點

為在靈駿節點池使用PPU，請先在組件管理頁面手動安裝ack-rdma-device-plugin和ack-ppu-device-plugin組件，若需使用PPU監控，請安裝ppu-device-plugin組件。

通過網路拓撲感知調度使用PPU超節點

為啟用ACK拓撲感知調度將任務調度至支援ICN Link的PPU超節點，請先在組件管理頁面手動安裝ack-ppu-device-plugin組件。具體使用方式請參見通過網路拓撲感知調度使用超節點真武PPU M890。

為什麼維修後節點仍是未就緒（Not Ready）狀態？

• 現象：靈駿節點由於硬體問題進行了下線維修，但維修完成後，ACK叢集中節點狀態仍然是未就緒（Not Ready）狀態。

• 原因：靈駿節點下線維修期間將進行換機操作，不保留本地碟資料，可能會導致kubelet、containerd等容器運行時資訊被清除，節點狀態異常。

• 解決方案：維修完成後，需手動將其從節點池移除，並通過添加已有靈駿節點重新加入靈駿節點池。