Container Service for Kubernetes:Praktik terbaik untuk Terway Datapath V2

Aktifkan metrik Prometheus

Datapath V2 menggunakan kembali endpoint metrik Cilium Agent. Tambahkan argumen --prometheus-serve-addr ke cilium_args dalam ConfigMap Terway:

"cilium_args": "--prometheus-serve-addr=:9962"

• :9962 adalah port metrik sesuai konvensi Cilium (atur ke string kosong untuk menonaktifkan). Mendengarkan pada 0.0.0.0, memungkinkan pengambilan langsung dari port hostNetwork pod.

• Lakukan restart pod terway-eniip agar perubahan diterapkan.

• Tambahkan anotasi scrape ke pod atau layanan Anda, atau buat ServiceMonitor untuk penemuan otomatis oleh Prometheus:

  metadata:
    annotations:
      prometheus.io/scrape: "true"
      prometheus.io/port: "9962"
      prometheus.io/path: "/metrics"

Metrik utama BPF map

Beberapa metrik memerlukan Terway v1.14.0 atau versi lebih baru. Lakukan upgrade ke versi terbaru.

Contoh alert dan kueri

# Alert jika penggunaan BPF map melebihi 80% selama 5 menit
max by (map_name) (cilium_bpf_map_pressure) > 0.8

# Penggunaan Map LB Service tiap node
cilium_bpf_map_pressure{map_name=~"cilium_lb[46]_services_v2"}

# Penggunaan Policy Map tiap endpoint (Top 10)
topk(10, cilium_bpf_map_pressure{map_name=~"cilium_policy_.*"})

# Alert kapasitas Node Map (tingkatkan bpf-node-map-max jika >80%)
cilium_bpf_map_pressure{map_name="cilium_node_map_v2"} > 0.8

# Tekanan Global Conntrack Map (terkait tuning bpf-map-dynamic-size-ratio)
cilium_bpf_map_pressure{map_name=~"cilium_ct.*_global"} > 0.7

# Tingkat kegagalan penulisan map
sum by (map_name) (rate(cilium_bpf_map_ops_total{operation="update",outcome="fail"}[5m])) > 0

Jika cilium_bpf_map_pressure secara konsisten melebihi 0,8, sesuaikan parameter terkait sebagaimana dijelaskan dalam bagian bpf map capacity tuning. Nilai yang melebihi 0,95 menandakan kondisi darurat yang memerlukan peningkatan kapasitas segera untuk mencegah kegagalan pemrograman entri.

bpf-map-dynamic-size-ratio

• Fungsi: Mengontrol jumlah koneksi bersamaan yang dilacak dan entri terjemahan NodePort/SNAT per node. Kapasitas dihitung secara dinamis dari memori fisik node, rasio ini, dan ukuran entri. Jika penuh, koneksi baru gagal dan koneksi yang ada mungkin dihapus, menyebabkan kehilangan paket.

• Ruang lingkup: Kapasitas beberapa map global — CT (cilium_ct4_global / cilium_ct_any4_global), NAT (cilium_snat_v4_external), Neighbor (cilium_nodeport_neigh4), dan SockRevNAT — dihitung secara dinamis berdasarkan parameter ini dan memori fisik node.

• Rentang nilai: (0.0, 1.0], dengan nilai default 0.0025 (sekitar 0,25% dari memori fisik).

• Perhitungan khas (berdasarkan ukuran elemen default Cilium):

  Memori fisik node	Entri CT TCP	Entri CT apa pun	Entri NAT
  512 MiB	33.140	16.570	33.140
  1 GiB	66.280	33.140	66.280
  4 GiB	265.121	132.560	265.121
  16 GiB	1.060.485	530.242	1.060.485

• Pembatasan: Hasil dibatasi pada rentang [1Ki, 16Mi] (sekitar 1 GiB memori per map). Entri maksimum per map: 2^24 = 16.777.216.

• Rekomendasi tuning:

  • Untuk node dengan konkurensi tinggi (lebih dari 10.000 koneksi berdurasi panjang per node), tingkatkan menjadi 0.005–0.01 untuk mengizinkan lebih banyak entri CT/NAT pada node berkapasitas memori besar.

  • Map yang memiliki pengaturan eksplisit bpf-ct-global-tcp-max, bpf-ct-global-any-max, atau bpf-nat-global-max tidak terpengaruh.

  • Jika pemantauan penggunaan bpf map menunjukkan bahwa cilium_bpf_map_pressure untuk map seperti cilium_ct4_global secara konsisten melebihi 0,8, sesuaikan rasio ini atau atur kapasitas secara eksplisit untuk map yang terpengaruh.

bpf-policy-map-max

• Ruang lingkup: Setiap pod memiliki map cilium_policy_* sendiri yang menyimpan kombinasi yang diizinkan dari identity peer, port, dan protokol untuk penerapan NetworkPolicy di bidang data.

• Nilai default: 16384. Nilai minimum: 256 (2^8), nilai maksimum: 65536 (2^16). Nilai di luar rentang akan dikoreksi dengan peringatan.

• Kapan menyesuaikan:

  • NetworkPolicy diaktifkan di kluster, dan jumlah identity besar (lihat Limit the number of identities).

  • Hasil perkalian antara jumlah identity peer dan kombinasi port/protokol yang terbuka untuk satu pod mendekati 16384.

  • Metrik cilium_bpf_map_pressure{map_name=~"cilium_policy_.*"} secara konsisten melebihi 0,8.

• Cara menyesuaikan: Tambahkan --bpf-policy-map-max=32768 ke cilium_args dalam ConfigMap Terway dan restart pod terway-eniip.

• Catatan: Memori per map sebanding dengan max_entries, dan setiap node menyimpan satu map per pod. Menetapkan nilai 65536 tanpa evaluasi akan meningkatkan overhead memori node secara signifikan.

bpf-node-map-max

• Fungsi: Mengontrol jumlah maksimum node yang dapat dikenali oleh kluster. Menyimpan pemetaan ID Node ke alamat IP dalam satu map global untuk komunikasi lintas node, enkripsi IPsec/WireGuard, dan Egress Gateway. Jika penuh, node baru tidak dapat dikenali, menyebabkan kegagalan traffic lintas node.

• Ruang lingkup: Satu map cilium_node_map_v2 yang digunakan bersama di seluruh kluster untuk komunikasi lintas node, enkripsi, dan Egress Gateway.

• Nilai default: 16384 (dapat menampung sekitar 16.000 alamat IP node unik).

• Batasan: Kode sumber melarang menetapkan nilai di bawah default 16384. Jika bpf-node-map-max < 16384 saat startup, agent akan keluar dengan error. Batas atas: uint32 (secara teoretis 4.294.967.295), dibatasi oleh memori node.

• Kapan menyesuaikan:

  • Ukuran kluster mendekati 16.000 node, atau fitur yang meningkatkan entri per node—seperti IPsec/WireGuard—diaktifkan.

  • Metrik cilium_bpf_map_pressure{map_name="cilium_node_map_v2"} secara konsisten melebihi 0,8.

• Cara menyesuaikan: Tambahkan --bpf-node-map-max=32768 ke cilium_args dan restart pod terway-eniip.

bpf-lb-map-max

• Fungsi: Mengontrol kapasitas bidang data untuk semua layanan Kubernetes dalam kluster — ClusterIP, NodePort, dan LoadBalancer — termasuk backend, reverse NAT, afinitas sesi, dan tabel hash Maglev. Jika penuh, layanan atau backend baru tidak dapat diprogram, menyebabkan IP layanan tidak dapat dijangkau atau pembaruan endpoint tertunda.

• Ruang lingkup: Menetapkan kapasitas untuk cilium_lb{4,6}_services_v2 (entri load balancing ClusterIP dan NodePort) dan sub-map LB berikut (kecuali di-override secara individual):

  • cilium_lb4_services_v2 / cilium_lb6_services_v2

  • cilium_lb4_backends_v3 / cilium_lb6_backends_v3

  • cilium_lb4_reverse_nat / cilium_lb6_reverse_nat

  • cilium_lb4_affinity / cilium_lb6_affinity

  • cilium_lb4_source_range / cilium_lb6_source_range

• Nilai default: 65536 (64K). Jika penuh, Cilium tidak dapat memperbarui endpoint layanan, memengaruhi konektivitas atau pembuatan layanan baru.

• Estimasi kapasitas: Entri per layanan = jumlah pod backend × kombinasi port/protokol dalam spesifikasi layanan.

Perkirakan ukuran map LB yang diperlukan:

Entri per layanan ClusterIP/NodePort = jumlah pod backend yang dipilih oleh layanan × jumlah entri port/protokol dalam spesifikasi Service.

$$\text{Entries/Service}=(\text{BackendPods})\times (\text{Port/Protocol Combos})$$

Perkiraan total ukuran map:

$$\text{Total LB Entries}\approx (\text{services})\times (\text{Avg. Endpoints/Service})\times (\text{Avg. Port/Protocol Combos/Service})$$

Perkiraan ini mengasumsikan distribusi pod dan entri port/protokol per layanan yang kurang lebih normal. Untuk outlier signifikan (misalnya, satu layanan dengan banyak backend), lakukan estimasi yang lebih rinci.