Container Compute Service:Use the API Server auditing feature of a cluster for security O&M

Vue d'ensemble du centre d'audit

Cette vue présente un résumé des événements du cluster ainsi que des détails sur les événements prioritaires : opérations des utilisateurs RAM, accès via le réseau public, exécution de commandes dans les conteneurs, suppression de ressources, accès aux Secrets et risques de sécurité liés aux CVE Kubernetes.

Vue d'ensemble des opérations sur les ressources

Ce rapport affiche les statistiques de création, de mise à jour, de suppression et d'accès pour les types de ressources courants :

• Calcul : Deployments, StatefulSets, Jobs, CronJobs, pods et DaemonSets

• Réseau : Services et Ingresses

• Stockage : ConfigMaps, Secrets et PersistentVolumeClaims

• Contrôle d'accès : Roles, ClusterRoles, RoleBindings et ClusterRoleBindings

Détails des opérations sur les ressources

Cette section affiche une liste détaillée des opérations pour un type de ressource spécifique. Sélectionnez ou saisissez un type de ressource pour lancer une requête en temps réel. Le rapport indique le nombre total d'événements, la répartition par namespace, le taux de réussite, la tendance chronologique et la liste complète des opérations.

Risques de sécurité CVE Kubernetes

Ce rapport signale les risques potentiels de sécurité liés aux CVE Kubernetes dans le cluster. Filtrez par ID d'utilisateur RAM pour limiter les résultats à un compte spécifique. Pour obtenir des détails sur les CVE et les correctifs, consultez [[CVE Security] Vulnerability Fix Announcement](t2551161.xdita#).

Modèles de requêtes courants

Pour consulter la syntaxe complète des requêtes et des analyses, reportez-vous à Query and analysis methods for Simple Log Service.

Exemple 1 : Alerte sur les commandes exec dans les conteneurs

Déclenchez une alerte lorsqu'un utilisateur exécute une commande dans un conteneur (kubectl exec). L'alerte précise le conteneur concerné, la commande exécutée, l'opérateur, l'ID de l'événement, l'horodatage et l'adresse IP source.

Requête :

verb : create and objectRef.subresource:exec and stage:  ResponseStarted | SELECT auditID as "Event ID", date_format(from_unixtime(__time__), '%Y-%m-%d %T' ) as "Operation Time",  regexp_extract("requestURI", '([^\?]*)/exec\?.*', 1)as "Resource",  regexp_extract("requestURI", '\?(.*)', 1)as "Command" ,"responseStatus.code" as "Status Code",
 CASE
 WHEN "user.username" != 'kubernetes-admin' then "user.username"
 WHEN "user.username" = 'kubernetes-admin' and regexp_like("annotations.authorization.k8s.io/reason", 'RoleBinding') then regexp_extract("annotations.authorization.k8s.io/reason", ' to User "(\w+)"', 1)
 ELSE 'kubernetes-admin' END
 as "Operator Account",
CASE WHEN json_array_length(sourceIPs) = 1 then json_format(json_array_get(sourceIPs, 0)) ELSE  sourceIPs END
as "Source Address" order by "Operation Time" desc  limit 10000

Expression conditionnelle : Operation Event =~ ".*"

Exemple 2 : Alerte sur les échecs d'accès à l'API server depuis le réseau public

Déclenchez une alerte lorsque le nombre d'accès provenant d'une IP publique atteint un seuil donné (par exemple 10 tentatives) et que le taux d'échec dépasse un certain pourcentage (par exemple 50 %). L'alerte indique l'IP source, la localisation géographique et si l'IP est considérée comme à haut risque.

Requête :

* | select ip as "Source Address", total as "Access Count", round(rate * 100, 2) as "Failure Rate %", failCount as "Illegal Access Count", CASE when security_check_ip(ip) = 1 then 'yes' else 'no' end  as "Is High-Risk IP",  ip_to_country(ip) as "Country", ip_to_province(ip) as "Province", ip_to_city(ip) as "City", ip_to_provider(ip) as "Carrier" from (select CASE WHEN json_array_length(sourceIPs) = 1 then json_format(json_array_get(sourceIPs, 0)) ELSE  sourceIPs END
as ip, count(1) as total,
sum(CASE WHEN "responseStatus.code" < 400 then 0
ELSE 1 END) * 1.0 / count(1) as rate,
count_if("responseStatus.code" = 403) as failCount
from log  group by ip limit 10000) where ip_to_domain(ip) != 'intranet' and ip not LIKE '%,%' and not try(is_subnet_of('<Your subnet IP address>')) ORDER by "Access Count" desc limit 10000

Expression conditionnelle : Source Address =~ ".*"

Modifier le projet de journaux

Pour migrer les données des journaux d'audit vers un autre projet SLS :

1. Connectez-vous à la console ACS. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur l'ID du cluster à gérer. Dans le volet de navigation de gauche de la page de détails du cluster, choisissez Security > Audit.

3. Dans le coin supérieur droit de l'onglet Cluster Auditing, cliquez sur Change Log Service Project.

Désactiver l'audit de l'API server

1. Connectez-vous à la console ACS. Dans le volet de navigation de gauche, cliquez sur Clusters.

2. Sur la page Clusters, cliquez sur l'ID du cluster à gérer. Dans le volet de navigation de gauche de la page de détails du cluster, choisissez Security > Audit.

3. Dans le coin supérieur droit de l'onglet Cluster Auditing, cliquez sur Disable Cluster Auditing.

Utiliser une solution de journalisation tierce dans un cluster ACS

SLS constitue la solution de journalisation par défaut pour les journaux d'audit des clusters ACK. Pour utiliser un service de journalisation tiers, désactivez SLS lors de la création du cluster et connectez votre solution préférée afin de collecter et récupérer les journaux d'audit.

Politique d'audit

Une politique d'audit définit quelles requêtes sont collectées et avec quel niveau de détail. ACK utilise le paramètre --audit-policy-file pour appliquer cette politique au démarrage de l'API server.

Les niveaux d'audit suivants sont disponibles :

Le YAML suivant présente la politique d'audit par défaut utilisée par les clusters ACK :

apiVersion: audit.k8s.io/v1 # Required. The value is audit.k8s.io/v1 for clusters of Kubernetes v1.24 or later, and audit.k8s.io/v1beta1 for clusters of earlier versions.
kind: Policy
# Do not generate audit events for requests at the RequestReceived stage.
omitStages:
  - "RequestReceived"
rules:
  # The following types of requests are frequent and have low potential risks. We recommend that you set the level to None to skip auditing.
  - level: None
    users: ["system:kube-proxy"]
    verbs: ["watch"]
    resources:
      - group: "" # core
        resources: ["endpoints", "services"]
  - level: None
    users: ["system:unsecured"]
    namespaces: ["kube-system"]
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["configmaps"]
  - level: None
    users: ["kubelet"] # legacy kubelet identity
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["nodes"]
  - level: None
    userGroups: ["system:nodes"]
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["nodes"]
  - level: None
    users:
      - system:kube-controller-manager
      - system:kube-scheduler
      - system:serviceaccount:kube-system:endpoint-controller
    verbs: ["get", "update"]
    namespaces: ["kube-system"]
    resources:
      - group: "" # core
        resources: ["endpoints"]
  - level: None
    users: ["system:apiserver"]
    verbs: ["get"]
    resources:
      - group: "" # core
        resources: ["namespaces"]
  # For read-only URLs, such as /healthz*, /version*, and /swagger*, set the level to None to skip auditing.
  - level: None
    nonResourceURLs:
      - /healthz*
      - /version
      - /swagger*
  # Set the level to None for events to skip auditing.
  - level: None
    resources:
      - group: "" # core
        resources: ["events"]
  # For interfaces such as Secrets, ConfigMaps, and TokenReviews that may contain sensitive information or binary files, set the level to Metadata.
  - level: Metadata
    resources:
      - group: "" # core
        resources: ["secrets", "configmaps"]
      - group: authentication.k8s.io
        resources: ["tokenreviews"]
  # Requests may return large amounts of data. Set the level to Request to not collect the response body.
  - level: Request
    verbs: ["get", "list", "watch"]
    resources:
      - group: "" # core
      - group: "admissionregistration.k8s.io"
      - group: "apps"
      - group: "authentication.k8s.io"
      - group: "authorization.k8s.io"
      - group: "autoscaling"
      - group: "batch"
      - group: "certificates.k8s.io"
      - group: "extensions"
      - group: "networking.k8s.io"
      - group: "policy"
      - group: "rbac.authorization.k8s.io"
      - group: "settings.k8s.io"
      - group: "storage.k8s.io"
  # For known Kubernetes APIs, the level is set to RequestResponse by default to return the request and response bodies.
  - level: RequestResponse
    resources:
      - group: "" # core
      - group: "admissionregistration.k8s.io"
      - group: "apps"
      - group: "authentication.k8s.io"
      - group: "authorization.k8s.io"
      - group: "autoscaling"
      - group: "batch"
      - group: "certificates.k8s.io"
      - group: "extensions"
      - group: "networking.k8s.io"
      - group: "policy"
      - group: "rbac.authorization.k8s.io"
      - group: "settings.k8s.io"
      - group: "storage.k8s.io"
  # For all other requests, the level is set to Metadata by default.
  - level: Metadata

Backend d'audit

Après leur collecte, les événements d'audit sont écrits dans le système de fichiers du backend de journalisation au format JSON standard.