Container Service for Kubernetes:Konfigurasikan alamat IP tetap, virtual switch independen, dan grup keamanan untuk sebuah pod

Cara kerja

Setelah Anda mengaktifkan fitur Trunk ENI, komponen terway-controlplane diterapkan di kluster. Saat sebuah pod dibuat, Terway mencocokkan label-nya dengan CRD PodNetworking. Jika ditemukan kecocokan, Terway mengalokasikan ENI khusus ke pod tersebut dari vSwitch dan grup keamanan yang ditentukan dalam PodNetworking yang cocok. Pod yang tidak memiliki PodNetworking yang cocok tetap menggunakan alamat IP dari ENI bersama.

Mode konfigurasi node

Dua mode node mendukung isolasi jaringan per-pod. Pilih berdasarkan tipe kluster dan kebutuhan kerapatan Anda.

Batasan

• Cluster khusus ACK: Ajukan kuota Container network supports Terway ENI Trunking mode di Konsol Quota Center sebelum melanjutkan.

• Jumlah pod per node: Jumlah pod per node terbatas. Untuk detailnya, lihat Bekerja dengan Terway.

• Trafik antar-node yang sama: Aturan grup keamanan pod tidak berlaku untuk trafik antar-pod pada node yang sama atau antara pod dan node host-nya. Untuk menerapkan isolasi dalam skenario ini, konfigurasikan kebijakan jaringan.

• Kluster ACK yang dikelola yang dibuat sebelum Juni 2020: Fitur ini mungkin tidak didukung. Ikuti Langkah 1: Periksa apakah kluster mendukung fitur Terway Trunk ENI untuk memverifikasi.

• Tidak dapat dikembalikan: Alamat IP statis, vSwitch, dan grup keamanan tidak dapat dinonaktifkan setelah diaktifkan.

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Memiliki kluster ACK yang dikelola atau cluster khusus ACK dengan plug-in jaringan terway-eniip yang telah diinstal

• (Hanya untuk cluster khusus ACK) Mengajukan tiket untuk mengajukan izin instans ECS Trunk ENI

• Memiliki node dengan tipe instans yang mendukung Trunk ENI (EniTrunkSupported=true), jika Anda berencana menggunakan mode node Trunk ENI

• Memiliki cukup alamat IP yang tersedia di vSwitch yang akan Anda tetapkan ke pod

Langkah 1: Aktifkan fitur Terway Trunk ENI

kubectl get secret -nkube-system addon.network.token

NAME                  TYPE     DATA   AGE
addon.network.token   Opaque   1      69m

Langkah 2: Buat PodNetworking

PodNetworking adalah CRD Terway yang menentukan konfigurasi jaringan untuk sekumpulan pod. Buat satu PodNetworking untuk setiap bidang jaringan yang ingin Anda konfigurasi.

1. Masuk ke Konsol ACK dan klik Clusters.

2. Klik nama kluster. Di panel navigasi sebelah kiri, pilih Workloads > Custom Resources.

3. Di halaman Custom Resources, klik tab CRDs, lalu klik Create from YAML.

4. Tempel templat berikut dan sesuaikan parameternya untuk lingkungan Anda:

   Parameter	Deskripsi
   allocationType.type	Elastic: IP dilepas saat pod dihapus. Fixed: pod mempertahankan alamat IP-nya meskipun direstart. Mode Fixed hanya berlaku untuk pod dengan nama tetap (StatefulSet dan pod tanpa ownerReferences secara default). Jika Anda perlu mengonfigurasi beban kerja kustom, konfigurasikan terway-controlplane di manajemen komponen. Saat menggunakan mode Fixed, pod selalu dibuat ulang di zona yang sama.
   releaseStrategy	Hanya berlaku ketika type adalah Fixed. TTL: lepaskan IP setelah penundaan yang ditentukan di releaseAfter (minimal 5 menit). Never: IP tidak pernah dilepaskan secara otomatis; hapus PodENI secara manual untuk membebaskan alamat tersebut.
   releaseAfter	Hanya berlaku ketika releaseStrategy adalah TTL. Menggunakan format durasi Go. Contoh: 2h45m, 5m0s.
   podSelector	Mencocokkan label pod. Jika podSelector dan namespaceSelector keduanya diatur, pod harus cocok dengan keduanya untuk menggunakan PodNetworking ini. Setiap pod hanya boleh cocok dengan paling banyak satu PodNetworking—jika pod cocok dengan beberapa, konfigurasi jaringan yang digunakan tidak terdefinisi.
   namespaceSelector	Mencocokkan label namespace. Aturan pencocokan sama seperti podSelector.
   vSwitchOptions	Daftar vSwitch. Terway memilih satu vSwitch per pod. Pod hanya dapat dijadwalkan ke node di zona yang sama dengan vSwitch yang tercantum. Pastikan vSwitch memiliki cukup alamat IP yang tersedia—pembuatan pod gagal jika tidak ada IP yang tersedia. Jika penskalaan otomatis node diaktifkan, batasan zona ini dapat mencegah kelompok node melakukan penskalaan keluar.
   vSwitchSelectOptions.vSwitchSelectionPolicy	Didukung di Terway v1.11.0 dan versi lebih baru. ordered (default): gunakan vSwitch sesuai urutan daftar. most: gunakan vSwitch dengan IP tersedia paling banyak. random: pilih secara acak.
   securityGroupIDs	Satu hingga lima ID grup keamanan. Semua grup keamanan yang ditentukan berlaku secara bersamaan.
   eniOptions.eniType	Didukung di Terway v1.11.0 dan versi lebih baru. Default (default): mode Trunk ENI di kluster ENI bersama; mode ENI eksklusif di kluster ENI eksklusif. ENI: mode ENI eksklusif. Trunk: mode Trunk ENI.

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodNetworking
   metadata:
     name: example
   spec:
     allocationType:
       type: Fixed          # Kebijakan alokasi IP: Elastic atau Fixed
       releaseStrategy: TTL # Hanya untuk kebijakan Fixed: TTL atau Never
       releaseAfter: "1h"   # Hanya untuk strategi TTL: penundaan sebelum melepas IP
     selector:
       podSelector:
         matchLabels:
           foo: bar          # Pod dengan label ini menggunakan PodNetworking ini
       namespaceSelector:
         matchLabels:
           foo: bar          # Namespace juga harus cocok jika namespaceSelector diatur
     securityGroupIDs:
     - sg-bpxxxx             # Maksimal 5 ID grup keamanan; semuanya berlaku secara bersamaan
     vSwitchOptions:
     - vsw-bpxxxx            # Satu atau lebih vSwitch; Terway memilih satu per pod
   status:
     status: Ready

   Tabel berikut menjelaskan parameter-parameter tersebut.

5. Klik Create.

Verifikasi bahwa PodNetworking siap digunakan:

kubectl describe PodNetworking example  # Ganti example dengan nama PodNetworking Anda

Tunggu hingga bidang status menampilkan Ready. PodNetworking tidak berlaku untuk pod sampai mencapai status Ready.

(Opsional) Langkah 3: Tambahkan label ke namespace

Jika PodNetworking Anda menggunakan namespaceSelector, tambahkan label yang sesuai ke namespace target.

1. Buat namespace uji coba:

   kubectl create ns example

2. Tambahkan label yang sesuai dengan namespaceSelector Anda:

   kubectl label namespaces example foo=bar  # Ganti example dengan nama namespace Anda

3. Verifikasi bahwa label telah diterapkan:

   kubectl get namespace example --show-labels  # Ganti example dengan nama namespace Anda

   Output yang diharapkan:

    NAME      STATUS   AGE   LABELS
   example   Active   24s   foo=bar,kubernetes.io/metadata.name=example

(Opsional) Langkah 4: Terapkan pod dan verifikasi konfigurasi jaringan

1. Buat file my-nginx.yaml dengan konten berikut:

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: my-nginx        # Nama aplikasi
     namespace: example    # Namespace target
     labels:
       app: nginx
   spec:
     serviceName: "nginx-service"
     replicas: 1
     selector:
       matchLabels:
         app: nginx
     template:
       metadata:
         labels:
           app: nginx
           foo: bar        # Harus sesuai dengan podSelector di PodNetworking Anda
       spec:
         containers:
         - name: nginx
           image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
           ports:
           - containerPort: 80
   # Jika StatefulSet memerlukan penyimpanan persisten, tambahkan volumeClaimTemplates:
   # volumeClaimTemplates:
   # - metadata:
   #     name: nginx-storage
   #   spec:
   #     accessModes: ["ReadWriteOnce"]
   #     storageClassName: "my-storage-class"
   #     resources:
   #       requests:
   #         storage: 1Gi

2. Terapkan aplikasi:

   kubectl apply -f my-nginx.yaml

3. Verifikasi bahwa pod menggunakan konfigurasi PodNetworking. Jika pod cocok dengan PodNetworking, anotasi k8s.aliyun.com/pod-networking ditambahkan ke pod:

   apiVersion: v1
   kind: Pod
   metadata:
     annotations:
       k8s.aliyun.com/pod-eni: "true"
       k8s.aliyun.com/pod-networking: podnetworking
     labels:
       app: example
       pod-ip: elastic

4. Periksa PodENI yang secara otomatis dibuat oleh Terway untuk pod tersebut:

   kubectl get podenis.network.alibabacloud.com <my-nginx-0> -n <example> -o yaml
   # Ganti <my-nginx-0> dengan nama pod dan <example> dengan namespace

   Output tersebut mengonfirmasi ENI, vSwitch, grup keamanan, dan alamat IP yang dialokasikan ke pod:

   apiVersion: network.alibabacloud.com/v1beta1
   kind: PodENI
   metadata:
     finalizers:
     - pod-eni
     generation: 1
     name: <my-nginx-0>
     namespace: default
   spec:
     allocations:
     - allocationType:
         type: Elastic
       eni:
         id: eni-bp1xxxx
         mac: 00:16:xx:xx:xx:xx
         securityGroupIDs:
         - sg-bp1xxxx
         vSwitchID: vsw-bp1xxxx
         zone: cn-hangzhou-h
       ipv4: 192.168.x.x
       ipv4CIDR: 192.168.x.x/19
       ipv6: 2408:x:x:x:x:x:x:x
       ipv6CIDR: 2408:x:x:x::/64
     zone: cn-hangzhou-h
   status:
     eniInfos:
       eni-bp1xxxx:
         id: eni-bp1xxxx
         status: Bind
         vid: 1001
     instanceID: i-bp1xxxx
     phase: Bind
     podLastSeen: "2021-xx-xxT00:00:00Z"
     trunkENIID: eni-bp1xxxx

Hentikan terway-controlplane sebelum migrasi kluster

Jika Anda telah mengaktifkan konfigurasi kustom pod pada cluster khusus ACK, Anda tidak dapat langsung memigrasikan beban kerja ke kluster ACK managed Pro. Hentikan terway-controlplane sebelum migrasi dan aktifkan kembali setelahnya.

Sebelum migrasi:

1. Hentikan terway-controlplane:

   kubectl scale deploy -nkube-system terway-controlplane --replicas 0

2. Cadangkan konfigurasi webhook, lalu hapus:

   # Cadangkan
   kubectl get mutatingwebhookconfigurations.admissionregistration.k8s.io terway-controlplane -oyaml > terway-controlplane.mutatingwebhookconfigurations.yaml
   kubectl get validatingwebhookconfigurations.admissionregistration.k8s.io terway-controlplane -oyaml > terway-controlplane.validatingwebhookconfigurations.yaml
   # Hapus
   kubectl delete -f terway-controlplane.mutatingwebhookconfigurations.yaml
   kubectl delete -f terway-controlplane.validatingwebhookconfigurations.yaml

Setelah migrasi:

Untuk petunjuk migrasi, lihat Migrasi panas dari cluster khusus ACK ke kluster ACK managed Pro.

• Jika migrasi gagal: Pulihkan webhook dan terway-controlplane:

  kubectl apply -f terway-controlplane.mutatingwebhookconfigurations.yaml
  kubectl apply -f terway-controlplane.validatingwebhookconfigurations.yaml
  kubectl scale deploy -nkube-system terway-controlplane --replicas 1

• Jika migrasi berhasil: Hapus terway-controlplane dan instal ulang dari halaman Add-ons:

  kubectl delete deploy -nkube-system terway-controlplane

  Untuk petunjuk instalasi ulang, lihat Kelola komponen sistem.

FAQ

Langkah selanjutnya

• Konfigurasikan beberapa grup keamanan per ENI untuk kebijakan firewall tingkat pod yang lebih detail: Konfigurasikan beberapa grup keamanan untuk ENI.

• Pemecahan masalah jaringan kontainer: FAQ tentang jaringan kontainer.