Container Compute Service:Use the cluster API server auditing feature

Cluster Audit Overview

Cluster Audit Overview raporu, bir ACK kümesindeki olayların genel bir özetini gösterir ve RAM kullanıcı işlemleri, genel ağ erişimi, komut çalıştırmaları, kaynak silme işlemleri, Secret erişimi ve Kubernetes CVE güvenlik riskleri gibi önemli olaylarla ilgili ayrıntılar sağlar.

Operations Overview

Operations Overview raporu, aşağıdakiler dahil olmak üzere yaygın ACK küme hesaplama, ağ ve depolama kaynaklarında oluşturma, güncelleme, silme ve erişim gibi işlemlerin istatistiklerini gösterir:

• Hesaplama kaynakları: Deployments, StatefulSets, Jobs, CronJobs, Pods ve DaemonSets.

• Ağ kaynakları: Services ve Ingresses.

• Depolama kaynakları: ConfigMaps, Secrets ve PersistentVolumeClaims.

• Erişim kontrolü kaynakları: Roles, ClusterRoles, RoleBindings ve ClusterRoleBindings.

Operation Details

Bu rapor, bir ACK kümesindeki belirli bir kaynak türü için ayrıntılı bir işlem listesi görüntüler. Gerçek zamanlı bir sorgu çalıştırmak için bir kaynak türü seçin veya girin. Rapor; her işlem türü için toplam olay sayısını, ad alanları arasındaki dağılımı, başarı oranını, zaman serisi eğilimlerini ve ayrıntılı bir işlem listesini gösterir.

Kubernetes CVE güvenlik riskleri

Bu rapor, mevcut kümedeki potansiyel Kubernetes CVE güvenlik risklerini görüntüler. Gerçek zamanlı bir sorgu gerçekleştirmek için bir RAM kullanıcı kimliğini seçin veya girin. Rapor, belirtilen hesapla ilişkili Kubernetes CVE güvenlik risklerini gösterir. CVE ayrıntıları ve çözümleri hakkında daha fazla bilgi için bkz. [[CVE Güvenliği] Güvenlik Açığı Düzeltme Duyurusu](t2551161.xdita#).

Özel sorgular çalıştırmanız veya denetim günlüklerini analiz etmeniz gerekiyorsa Log Service (SLS) konsolunda ayrıntılı günlük kayıtlarını görüntüleyebilirsiniz.

Örnek 1: Bir konteynerdeki komut çalıştırma için uyarı

Bir şirketin katı Kubernetes küme kullanım ilkeleri vardır ve kullanıcıların konteynerlerde oturum açmasına veya komut çalıştırmasına izin vermez. Bir kullanıcı komut çalıştırırsa hemen bir uyarı gönderilir. Uyarı bildirimi; erişilen belirli konteyner, çalıştırılan komut, işlemi yapan kişi, olay kimliği, zaman damgası ve kaynak IP adresi gibi bilgileri içermelidir.

• Sorgu ifadesi:

  verb : create and objectRef.subresource:exec and stage:  ResponseStarted | SELECT auditID as "Event ID", date_format(from_unixtime(__time__), '%Y-%m-%d %T' ) as "Operation Time",  regexp_extract("requestURI", '([^\?]*)/exec\?.*', 1)as "Resource",  regexp_extract("requestURI", '\?(.*)', 1)as "Command" ,"responseStatus.code" as "Status Code",
   CASE 
   WHEN "user.username" != 'kubernetes-admin' then "user.username"
   WHEN "user.username" = 'kubernetes-admin' and regexp_like("annotations.authorization.k8s.io/reason", 'RoleBinding') then regexp_extract("annotations.authorization.k8s.io/reason", ' to User "(\w+)"', 1)
   ELSE 'kubernetes-admin' END  
   as "Operator Account", 
  CASE WHEN json_array_length(sourceIPs) = 1 then json_format(json_array_get(sourceIPs, 0)) ELSE  sourceIPs END
  as "Source Address" order by "Operation Time" desc  limit 10000

• Tetikleme koşulu: "Event ID" =~ ".*".

Örnek 2: Başarısız genel API sunucusu erişimi için uyarı

Bir kümede genel erişim etkindir. Kötü niyetli saldırıları önlemek için genel erişim denemelerinin sayısını ve başarısızlık oranını izlemeniz gerekir. Erişim denemesi sayısı belirtilen bir eşik değerine (örneğin 10) ulaştığında ve başarısızlık oranı belirtilen bir eşik değerini (örneğin %50) aştığında hemen bir uyarı gönderilir. Uyarı bildirimi; kullanıcının IP adresinin bulunduğu bölge, kaynak IP adresi ve yüksek riskli bir IP adresi olup olmadığı gibi bilgileri içermelidir.

• Sorgu ifadesi:

  * | select ip as "Source Address", total as "Access Count", round(rate * 100, 2) as "Failure Rate %", failCount as "Illegal Access Count", CASE when security_check_ip(ip) = 1 then 'yes' else 'no' end  as "Is High-Risk IP",  ip_to_country(ip) as "Country", ip_to_province(ip) as "Province", ip_to_city(ip) as "City", ip_to_provider(ip) as "Carrier" from (select CASE WHEN json_array_length(sourceIPs) = 1 then json_format(json_array_get(sourceIPs, 0)) ELSE  sourceIPs END
  as ip, count(1) as total,
  sum(CASE WHEN "responseStatus.code" < 400 then 0 
  ELSE 1 END) * 1.0 / count(1) as rate,
  count_if("responseStatus.code" = 403) as failCount
  from log  group by ip limit 10000) where ip_to_domain(ip) != 'intranet' and ip not LIKE '%,%' and not try(is_subnet_of('<your_subnet_ip_address>')) ORDER by "Access Count" desc limit 10000

• Tetikleme koşulu: "Source Address" =~ ".*".

SLS projesini değiştir

API sunucusu denetim günlüklerini başka bir SLS projesine geçirmek için küme denetimindeki Change Log Service Project özelliğini kullanın.

1. ACS konsolu üzerinde oturum açın. Sol gezinme bölmesinde Clusters öğesini tıklayın.

2. Clusters sayfasında hedef kümenin adını tıklayın. Sol gezinme bölmesinde Security > Audit seçeneklerini belirleyin.

3. Küme denetimi sayfasının sağ üst köşesinde, küme denetim günlüklerini başka bir SLS projesine geçirmek için Change Log Service Project öğesini tıklayın.

API sunucusu denetimini devre dışı bırak

API sunucusu denetimi özelliğini devre dışı bırakmak için aşağıdaki yöntemi kullanın.

1. ACS konsolu üzerinde oturum açın. Sol gezinme bölmesinde Clusters öğesini tıklayın.

2. Clusters sayfasında hedef kümenin adını tıklayın. Sol gezinme bölmesinde Security > Audit seçeneklerini belirleyin.

3. Cluster Auditing sayfasının sağ üst köşesinde, mevcut küme için denetim özelliğini devre dışı bırakmak üzere Disable Cluster Auditing öğesini tıklayın.

Bir ACK kümesinde üçüncü taraf bir günlük çözümünü kullanın

ACK küme denetim günlüklerini kaydetmek için Log Service (SLS) kullanmanızı öneririz. Ancak üçüncü taraf bir günlük hizmeti kullanmak istiyorsanız, kümeyi oluştururken SLS kullanmamayı seçebilir ve denetim günlüklerini toplamak ile almak için başka bir günlük çözümünü entegre edebilirsiniz.

Denetim ilkesi

Olay günlüğü toplama kuralları denetim düzeyine göre değişir.

Aşağıdaki denetim ilkesini bir YAML dosyası olarak kaydedin ve --audit-policy-file başlangıç bayrağını kullanarak API sunucusuna uygulayın.

apiVersion: audit.k8s.io/v1 # Required. Use audit.k8s.io/v1 for clusters that run Kubernetes v1.24 or later, and audit.k8s.io/v1beta1 for clusters that run earlier versions.
kind: Policy
# Do not generate audit events for requests at the RequestReceived stage.
omitStages:
  - "RequestReceived"
rules:
  # The following types of requests are frequent and have low potential risks. We recommend that you set the level to None to skip auditing.
  - level: None
    users: ["system:kube-proxy"]
    verbs: ["watch"]
    resources:
      - group: "" # core
        resources: ["endpoints", "services"]
  - level: None
    users: ["system:unsecured"]
    namespaces: ["kube-system"]
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["configmaps"]
  - level: None
    users: ["kubelet"] # legacy kubelet identity
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["nodes"]
  - level: None
    userGroups: ["system:nodes"]
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["nodes"]
  - level: None
    users:
      - system:kube-controller-manager
      - system:kube-scheduler
      - system:serviceaccount:kube-system:endpoint-controller
    verbs: ["get", "update"]
    namespaces: ["kube-system"]
    resources:
      - group: "" # core
        resources: ["endpoints"]
  - level: None
    users: ["system:apiserver"]
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["namespaces"]
  # For read-only URLs, such as /healthz*, /version*, and /swagger*, set the level to None to skip auditing.
  - level: None
    nonResourceURLs:
      - /healthz*
      - /version
      - /swagger*
  # Set the level to None for events to skip auditing.
  - level: None
    resources: 
      - group: "" # core
        resources: ["events"]
  # For interfaces such as Secrets, ConfigMaps, and TokenReviews that may contain sensitive information or binary files, set the level to Metadata.
  - level: Metadata
    resources:
      - group: "" # core
        resources: ["secrets", "configmaps"]
      - group: authentication.k8s.io
        resources: ["tokenreviews"]
  # Requests may return large amounts of data. Set the level to Request to not collect the response body.
  - level: Request
    verbs: ["get", "list", "watch"]
    resources:
      - group: "" # core
      - group: "admissionregistration.k8s.io"
      - group: "apps"
      - group: "authentication.k8s.io"
      - group: "authorization.k8s.io"
      - group: "autoscaling"
      - group: "batch"
      - group: "certificates.k8s.io"
      - group: "extensions"
      - group: "networking.k8s.io"
      - group: "policy"
      - group: "rbac.authorization.k8s.io"
      - group: "settings.k8s.io"
      - group: "storage.k8s.io"
  # For known Kubernetes APIs, the level is set to RequestResponse by default to return the request and response bodies.
  - level: RequestResponse
    resources:
      - group: "" # core
      - group: "admissionregistration.k8s.io"
      - group: "apps"
      - group: "authentication.k8s.io"
      - group: "authorization.k8s.io"
      - group: "autoscaling"
      - group: "batch"
      - group: "certificates.k8s.io"
      - group: "extensions"
      - group: "networking.k8s.io"
      - group: "policy"
      - group: "rbac.authorization.k8s.io"
      - group: "settings.k8s.io"
      - group: "storage.k8s.io"
  # For all other requests, the level is set to Metadata by default.
  - level: Metadata

Not

Bir istek alındıktan sonra günlük kaydı hemen başlamaz. Yanıt üst bilgisi gönderildikten sonra başlar.

Sistem, kube-proxy watch istekleri, kubelet ve system:nodes tarafından yapılan düğümler için GET istekleri, kube-system bileşenleri tarafından uç noktalarda gerçekleştirilen işlemler ve API sunucusundan ad alanları için yapılan GET istekleri gibi çok sayıda gereksiz isteği denetlemez.

authentication, rbac, certificates, autoscaling ve storage gibi hassas arayüzler için sistem okuma ve yazma işlemlerine ilişkin karşılık gelen istek ve yanıt gövdelerini kaydeder.

Denetim arka ucu

Denetim arka ucu, toplanan olayları standart JSON formatında günlük dosyaları olarak depolar.