Container Service for Kubernetes：為Pod配置固定IP及獨立虛擬交換器、安全性群組

步驟二：建立網路自訂資源PodNetworking

Terway增加一種名為PodNetworking的自訂資源來描述網路設定。您可以建立多個PodNetworking來規劃不同的網路平面。

1. 登入Container Service管理主控台，在左側導覽列選擇叢集列表。

2. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇工作負載 > 自訂資源。

3. 在自訂資源頁面，單擊資源定義（CustomResourceDefinition）頁簽，然後單擊使用YAML建立資源。

   建立PodNetworking的樣本如下：

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodNetworking
   metadata:
     name: example
   spec:
     allocationType:
       type: Fixed # Pod IP分配的策略，可以取值為Elastic或Fixed。
       releaseStrategy: TTL # 只有將type配置為Fixed時，releaseStrategy參數才有效；type的配置為Elastic時，無需配置releaseStrategy和releaseAfter參數。
       releaseAfter: "1h" # 在releaseStrategy為TTL模式下，releaseAfter參數才有效。
     selector:
       podSelector:
         matchLabels:
           foo: bar
       namespaceSelector:
         matchLabels:
           foo: bar
     securityGroupIDs:
     - sg-bpxxxx
     vSwitchOptions:
     - vsw-bpxxxx
     eniOptions:
       eniType: Default

   參數說明如下：

   參數		說明
   allocationType （描述Pod IP分配的策略）	type	取值範圍： Elastic：彈性IP策略。Pod刪除後，IP資源被釋放。 Fixed：固定IP策略。 啟用後，該PodNetworking對固定名稱的Pod生效。預設支援StatefulSet和無ownerReferences 的Pod使用。如果您需要設定自訂工作負載，請在組件管理對terway-controlplane進行配置。 說明 如果您使用了固定IP策略，Pod重建後的可用性區域將被添加約束，來確保和第一次調度的可用性區域匹配。
   	releaseStrategy	IP釋放策略，只有將type配置為Fixed時，該參數才有效。參數取值範圍如下。 TTL：延遲釋放IP策略。當Pod被刪除一段時間後，才會釋放IP，最小值為5分鐘。 Never：不釋放IP策略。當您無需使用IP時，需要自行刪除PodENI資源。
   	releaseAfter	延遲回收時間。僅在releaseStrategy為TTL模式下生效，支援時間格式為Go time type，請使用h、m時間單位 ，例如2h45m、5m0s。關於Go time type，請參見Go time type。
   selector （用於配置標籤選取器，被選中的Pod將使用該網路設定）	podSelector	用來匹配Pod的Labels，匹配的Pod在建立時將使用這個網路設定。 如果同時配置podSelector與namespaceSelector，符合全部匹配規則的Pod在建立時將使用這個網路設定。 您在配置Pod標籤與PodNetworking中的selector時，請確保有唯一匹配關係，如果Pod被多個PodNetworking配置所匹配，將使用任一匹配的PodNetworking配置。
   	namespaceSelector	用來匹配Namespace的Labels，匹配的Pod在建立時將使用這個網路設定。 如果同時配置podSelector與namespaceSelector，符合全部匹配規則的Pod在建立時將使用這個網路設定。 您在配置Pod標籤與PodNetworking中的selector時，請確保有唯一匹配關係，如果Pod被多個PodNetworking配置匹配，將使用任意匹配的PodNetworking配置。
   vSwitchOptions	-	用於配置Pod使用的vSwitch，多個vSwitchID之間為或的關係。Pod僅能使用一個vSwitch，Terway將選擇一個合格vSwitch。 您的Pod部署的可用性區域將被添加約束，來確保這些可用性區域保持和您配置的vSwitchOptions列表中的可用性區域一致。 請確保vSwitchOptions中的vSwitch所在可用性區域與您指定調度的節點可用性區域一致，並且擁有足夠的剩餘IP資源，否則Pod將無法建立。 說明 如果您同時啟用了節點自動調整，vSwitchOptions參數添加的可用性區域約束可能導致節點池擴容無法觸發，詳情請參見依賴特定可用性區域啟動並執行Pod無法觸發多可用性區域的節點池擴容 節點自動調整FAQ。
   vSwitchSelectOptions （配置交換器的選擇策略）	vSwitchSelectionPolicy	取值範圍： ordered：預設，按填寫的交換器順序。 most：優先使用剩餘IP多的交換器。 random：隨機播放交換器。 說明 從Terway v1.11.0開始支援。
   securityGroupIDs	-	可配置多個安全性群組ID，配置多個安全性群組時將同時生效，安全性群組數量小於等於5個。
   eniOptions （配置Pod使用的彈性網卡類型）	eniType	取值範圍： Default：預設，在共用ENI叢集，使用Trunk ENI，在獨佔ENI叢集，使用獨佔ENI。 ENI：使用獨佔ENI。 Trunk：使用Trunk ENI。 說明 從Terway v1.11.0開始支援。

4. 單擊建立。

   建立PodNetworking資源後，Terway將同步網路設定資訊，只有在status成為Ready後，該網路資源才能對Pod生效。

   執行以下命令，查看資源狀態是否ready。

   kubectl describe PodNetworking example # 請將example換成您自己的自訂資源名稱。

（可選）步驟三：為命名空間添加匹配標籤

在部署PodNetworking自訂資源後，如果通過Namespace標籤將命名空間與PodNetworking的規則相匹配，需要為指定命名空間增加相同的標籤。

1. 執行以下命令，建立測試命名空間example。

   kubectl create ns example

2. 執行以下命令，為命名空間打上foo=bar標籤。

   kubectl label namespaces example foo=bar  # 請將example換成您自己指定命名空間名稱。

3. 執行以下命令，查看命名空間的標籤。

   kubectl get namespace example --show-labels  # 請將example換成您自己指定命名空間名稱。

   預期輸出如下。

    NAME      STATUS   AGE   LABELS
   example   Active   24s   foo=bar,kubernetes.io/metadata.name=example

（可選）步驟四：建立應用Pod

當建立Pod時，Pod將根據標籤與PodNetworking資源進行匹配。如果Pod沒有匹配到任何PodNetworking資源，它將預設使用ENI提供的IP。如果有匹配的PodNetworking，Pod將按照該資源定義的配置來分配ENI。

對於這類Pod，Terway將建立一個名為PodENI的CRD來跟蹤Pod所佔用的網路資源。這個資源由Terway管理。有關Pod標籤的更多資訊，請參見標籤。

1. 使用以下樣本應用的YAML內容，建立名為my-nginx.yaml檔案。

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: my-nginx    # 執行個體應用的名稱。
     namespace: example   # 指定命名空間為example。
     labels:
       app: nginx
   spec:
     serviceName: "nginx-service"  
     replicas: 1    
     selector:
       matchLabels:
         app: nginx 
     template:
       metadata:
         labels:
           app: nginx
           foo: bar  # 為Pod添加foo: bar標籤。
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80  
   
   #  如果StatefulSet需要持久化儲存，需要定義volumeClaimTemplates。
   #  例如
   #  volumeClaimTemplates:
   #  - metadata:
   #      name: nginx-storage
   #    spec:
   #      accessModes: ["ReadWriteOnce"]
   #      storageClassName: "my-storage-class"
   #      resources:
   #        requests:
   #          storage: 1Gi

2. 執行以下命令，部署樣本應用my-nginx。部署完成後，驗證操作請參見如何判斷Pod是否使用了PodNetworking的網路設定？

   kubectl apply -f my-nginx.yaml

如何判斷Pod是否使用了PodNetworking的網路設定？

1. Pod建立後，在annotations中將以k8s.aliyun.com/pod-networking作為索引值記錄建立該Pod時是否使用了PodNetworking資源。

   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.aliyun.com/pod-eni: "true"
       k8s.aliyun.com/pod-networking: podnetworking
     labels:
       app: example
       pod-ip: elastic

2. Terway將建立與Pod同名、同命名空間的PodENI資源，用於記錄所使用的網路設定資訊。

   kubectl get podenis.network.alibabacloud.com <my-nginx-0> -n <example> -o yaml # 替換<my-nginx-0>為Pod名稱，<example>為Pod所處命名空間

   輸出內容如下，則說明Pod已經使用PodNetworking配置。

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodENI
   metadata:
     finalizers:
     - pod-eni
     generation: 1
     name: <my-nginx-0>
     namespace: default
   spec:
     allocations:
     - allocationType:
         type: Elastic
       eni:
         id: eni-bp1xxxx
         mac: 00:16:xx:xx:xx:xx
         securityGroupIDs:
         - sg-bp1xxxx
         vSwitchID: vsw-bp1xxxx
         zone: cn-hangzhou-h
       ipv4: 192.168.x.x
       ipv4CIDR: 192.168.x.x/19
       ipv6: 2408:x:x:x:x:x:x:x
       ipv6CIDR: 2408:x:x:x::/64
     zone: cn-hangzhou-h
   status:
     eniInfos:
       eni-bp1xxxx:
         id: eni-bp1xxxx
         status: Bind
         vid: 1001
     instanceID: i-bp1xxxx
     phase: Bind
     podLastSeen: "2021-xx-xxT00:00:00Z"
     trunkENIID: eni-bp1xxxx

Pod建立後為什麼沒有使用PodNetworking中的網路設定？

1. 請確保PodNetworking資源狀態為Ready。

2. 請確保Pod標籤和PodNetworking中的標籤可以唯一匹配。

3. 如果您使用固定IP策略，則非StatefulSet控制器建立的Pod將無法被匹配。