Container Service for Kubernetes:Pod に静的 IP アドレス、独立した vSwitch、およびセキュリティグループを設定する

仕組み

Trunk ENI 機能を有効化すると、クラスター内に terway-controlplane コンポーネントがデプロイされます。Pod が作成されると、Terway はそのラベルを PodNetworking CRD と照合します。一致が見つかった場合、Terway は該当する PodNetworking で定義された vSwitch およびセキュリティグループから、Pod に専用の ENI を割り当てます。PodNetworking と一致しない Pod は、共有 ENI から IP アドレスを使用し続けます。

ノードの構成モード

Pod 単位のネットワーク分離をサポートするノードモードには、2 種類あります。クラスタータイプおよびデプロイ密度の要件に応じて選択してください。

制限事項

• ACK 専用クラスター：作業を進める前に、クォータセンターコンソールで Container network supports Terway ENI Trunking mode クォータを申請してください。

• ノードあたりの Pod 数: ノードあたりの Pod 数には上限があります。詳細については、「Terway の使用」をご参照ください。

• 同一ノード間のトラフィック: Pod のセキュリティグループルールは、同一ノード上の Pod 間、または Pod とそのホストノード間のトラフィックには適用されません。これらのシナリオで分離を強制するには、ネットワークポリシーを構成してください。

• 2020 年 6 月以前に作成された ACK マネージドクラスター: この機能はサポートされていない場合があります。確認には、「ステップ 1：クラスターが Terway Trunk ENI 機能をサポートしているか確認する」に従ってください。

• 不可逆性: 静的 IP アドレス、vSwitch、およびセキュリティグループは、一度有効化すると無効化できません。

前提条件

開始する前に、以下を確認してください。

• terway-eniip ネットワークプラグインがインストール済みの ACK マネージドクラスターまたは ACK 専用クラスター

• （ACK 専用クラスターのみ）Trunk ENI の ECS インスタンス権限を申請するためのチケット送信済み

• Trunk ENI をサポートするインスタンスタイプ（EniTrunkSupported=true）のノード（Trunk ENI ノードモードを使用する場合）

• Pod に割り当てる予定の vSwitch に十分な利用可能な IP アドレスがあること

ステップ 1：Terway Trunk ENI 機能を有効化する

kubectl get secret -nkube-system addon.network.token

NAME                  TYPE     DATA   AGE
addon.network.token   Opaque   1      69m

ステップ 2：PodNetworking を作成する

PodNetworking は、一連の Pod に対してネットワーク構成を定義する Terway のカスタムリソース定義 (CRD) です。構成したいネットワークプレーンごとに 1 つの PodNetworking を作成します。

1. ACK コンソールにログインし、クラスター をクリックします。

2. クラスター名をクリックします。左側のナビゲーションウィンドウで、ワークロード > カスタムリソース を選択します。

3. カスタムリソース ページで、CRD タブをクリックし、YAML からの作成 をクリックします。

4. 以下のテンプレートを貼り付け、環境に合わせてパラメーターを変更します。

   パラメーター	説明
   allocationType.type	Elastic：Pod 削除時に IP が解放されます。Fixed：Pod の再起動時も IP アドレスを保持します。Fixed モードは、固定名を持つ Pod（StatefulSet およびデフォルトで ownerReferences を持たない Pod）にのみ適用されます。カスタムワークロードを構成する必要がある場合は、コンポーネント管理で terway-controlplane を構成してください。Fixed モードを使用する場合、Pod は常に同一ゾーンで再作成されます。
   releaseStrategy	type が Fixed の場合にのみ適用されます。TTL：指定された releaseAfter の遅延後に IP を解放（最小 5 分）。Never：IP は自動的に解放されず、IP アドレスを解放するには PodENI を手動で削除する必要があります。
   releaseAfter	releaseStrategy が TTL の場合にのみ適用されます。Go の期間形式を使用します。例：2h45m、5m0s。
   podSelector	Pod のラベルと照合します。podSelector と namespaceSelector の両方が設定されている場合、Pod は両方の条件を満たす必要があります。各 Pod は最大で 1 つの PodNetworking と一致しなければならず、複数の PodNetworking と一致する場合は、使用されるネットワーク構成は未定義となります。
   namespaceSelector	名前空間のラベルと照合します。podSelector と同じ照合ルールが適用されます。
   vSwitchOptions	vSwitch のリストです。Terway は Pod ごとに 1 つの vSwitch を選択します。Pod は、リストされた vSwitch と同じゾーン内のノードにのみスケジュールできます。vSwitch に十分な利用可能な IP アドレスがあることを確認してください。利用可能な IP アドレスがない場合、Pod の作成は失敗します。ノードの自動スケーリングが有効な場合、このゾーン制約によりノードプールのスケールアウトが妨げられる可能性があります。
   vSwitchSelectOptions.vSwitchSelectionPolicy	Terway v1.11.0 以降でサポートされます。ordered（デフォルト）：リストされた順序で vSwitch を使用。most：利用可能な IP アドレス数が最も多い vSwitch を使用。random：ランダムに選択。
   securityGroupIDs	1～5 個のセキュリティグループ ID。指定されたすべてのセキュリティグループが同時に有効になります。
   eniOptions.eniType	Terway v1.11.0 以降でサポートされます。Default（デフォルト）：共有 ENI クラスターでは Trunk ENI モード、排他的 ENI クラスターでは排他的な ENI モード。ENI：排他的な ENI モード。Trunk：Trunk ENI モード。

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodNetworking
   metadata:
     name: example
   spec:
     allocationType:
       type: Fixed          # IP 割り当てポリシー：Elastic または Fixed
       releaseStrategy: TTL # Fixed ポリシーの場合のみ：TTL または Never
       releaseAfter: "1h"   # TTL 戦略の場合のみ：IP 解放前の遅延
     selector:
       podSelector:
         matchLabels:
           foo: bar          # このラベルを持つ Pod がこの PodNetworking を使用
       namespaceSelector:
         matchLabels:
           foo: bar          # namespaceSelector が設定されている場合、名前空間も一致する必要があります
     securityGroupIDs:
     - sg-bpxxxx             # 最大 5 個のセキュリティグループ ID；すべて同時に有効
     vSwitchOptions:
     - vsw-bpxxxx            # 1 個以上の vSwitch；Terway は Pod ごとに 1 つを選択
   status:
     status: Ready

   以下の表にパラメーターの説明を示します。

5. 作成 をクリックします。

PodNetworking が準備完了であることを確認する：

kubectl describe PodNetworking example  # example をご自身の PodNetworking 名に置き換えてください

status フィールドが Ready と表示されるまで待ちます。PodNetworking は、Ready ステータスになるまで Pod に適用されません。

（任意）ステップ 3：名前空間にラベルを追加する

PodNetworking で namespaceSelector を使用する場合、対象の名前空間に一致するラベルを追加します。

1. テスト用の名前空間を作成します。

   kubectl create ns example

2. namespaceSelector と一致するラベルを追加します。

   kubectl label namespaces example foo=bar  # example をご自身の名前空間名に置き換えてください

3. ラベルが正しく適用されたことを確認します。

   kubectl get namespace example --show-labels  # example をご自身の名前空間名に置き換えてください

   期待される出力：

    NAME      STATUS   AGE   LABELS
   example   Active   24s   foo=bar,kubernetes.io/metadata.name=example

（任意）ステップ 4：Pod をデプロイしてネットワーク構成を検証する

1. 以下の内容で my-nginx.yaml ファイルを作成します。

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: my-nginx        # アプリケーション名
     namespace: example    # 対象名前空間
     labels:
       app: nginx
   spec:
     serviceName: "nginx-service"
     replicas: 1
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
           foo: bar        # PodNetworking の podSelector と一致させる必要があります
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
   # StatefulSet が永続ストレージを必要とする場合、volumeClaimTemplates を追加：
   # volumeClaimTemplates:
   # - metadata:
   #     name: nginx-storage
   #   spec:
   #     accessModes: ["ReadWriteOnce"]
   #     storageClassName: "my-storage-class"
   #     resources:
   #       requests:
   #         storage: 1Gi

2. アプリケーションをデプロイします。

   kubectl apply -f my-nginx.yaml

3. Pod が PodNetworking 構成を使用していることを確認します。Pod が PodNetworking と一致した場合、Pod に k8s.aliyun.com/pod-networking アノテーションが追加されます。

   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.aliyun.com/pod-eni: "true"
       k8s.aliyun.com/pod-networking: podnetworking
     labels:
       app: example
       pod-ip: elastic

4. Terway が Pod 用に自動作成した PodENI を確認します。

   kubectl get podenis.network.alibabacloud.com <my-nginx-0> -n <example> -o yaml
   # <my-nginx-0> を Pod 名、<example> を名前空間名に置き換えてください

   出力結果により、Pod に割り当てられた ENI、vSwitch、セキュリティグループ、および IP アドレスが確認できます。

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodENI
   metadata:
     finalizers:
     - pod-eni
     generation: 1
     name: <my-nginx-0>
     namespace: default
   spec:
     allocations:
     - allocationType:
         type: Elastic
       eni:
         id: eni-bp1xxxx
         mac: 00:16:xx:xx:xx:xx
         securityGroupIDs:
         - sg-bp1xxxx
         vSwitchID: vsw-bp1xxxx
         zone: cn-hangzhou-h
       ipv4: 192.168.x.x
       ipv4CIDR: 192.168.x.x/19
       ipv6: 2408:x:x:x:x:x:x:x
       ipv6CIDR: 2408:x:x:x::/64
     zone: cn-hangzhou-h
   status:
     eniInfos:
       eni-bp1xxxx:
         id: eni-bp1xxxx
         status: Bind
         vid: 1001
     instanceID: i-bp1xxxx
     phase: Bind
     podLastSeen: "2021-xx-xxT00:00:00Z"
     trunkENIID: eni-bp1xxxx

クラスター移行前に terway-controlplane を停止する

ACK 専用クラスターで Pod のカスタム構成を有効化している場合、ワークロードを ACK マネージド Pro クラスターに直接移行することはできません。移行前に terway-controlplane を停止し、移行後に再び有効化してください。

移行前：

1. terway-controlplane を停止します。

   kubectl scale deploy -nkube-system terway-controlplane --replicas 0

2. Webhook 構成をバックアップした後、削除します。

   # バックアップ
   kubectl get mutatingwebhookconfigurations.admissionregistration.k8s.io terway-controlplane -oyaml > terway-controlplane.mutatingwebhookconfigurations.yaml
   kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io terway-controlplane -oyaml > terway-controlplane.validatingwebhookconfigurations.yaml
   # 削除
   kubectl delete -f terway-controlplane.mutatingwebhookconfigurations.yaml
   kubectl delete -f terway-controlplane.validatingwebhookconfigurations.yaml

移行後：

移行手順については、「ACK 専用クラスターから ACK マネージド Pro クラスターへのホットマイグレーション」をご参照ください。

• 移行が失敗した場合： Webhook および terway-controlplane を復元します。

  kubectl apply -f terway-controlplane.mutatingwebhookconfigurations.yaml
  kubectl apply -f terway-controlplane.validatingwebhookconfigurations.yaml
  kubectl scale deploy -nkube-system terway-controlplane --replicas 1

• 移行が成功した場合： terway-controlplane を削除し、アドオン ページから再インストールします。

  kubectl delete deploy -nkube-system terway-controlplane

  再インストール手順については、「システムコンポーネントの管理」をご参照ください。

よくある質問

次のステップ

• より詳細な Pod レベルのファイアウォールポリシーを実現するために、ENI ごとに複数のセキュリティグループを構成する：「ENI に対する複数のセキュリティグループの設定」

• コンテナネットワークの問題をトラブルシューティングする：「コンテナネットワークに関するよくある質問」