Security Center:Register a self-managed K8s cluster

Configurar encaminhamento de tráfego para implantações de nuvem híbrida

Se o cluster estiver implantado em uma nuvem híbrida sem acesso pela Internet, configure o encaminhamento de portas em uma instância do Elastic Compute Service (ECS) para rotear o tráfego até o servidor local que executa o API server do cluster. Sem essa configuração, o cluster não se comunica com o Security Center.

Os exemplos abaixo encaminham o tráfego da Porta A na instância ECS 10.0.XX.XX para a Porta B no servidor local 192.168.XX.XX.

CentOS 7 — firewall-cmd

firewall-cmd --permanent --add-forward-port=port=<Port A>:proto=tcp:toaddr=<192.168.XX.XX>:toport=<Port B>

CentOS 7 — iptables

# Enable IP forwarding
echo "1" > /proc/sys/net/ipv4/ip_forward

# Add the forwarding rule
iptables -t nat -A PREROUTING -p tcp --dport <Port A> -j DNAT --to-destination <192.168.XX.XX>:<Port B>

Windows — netsh

netsh interface portproxy add v4tov4 listenport=<Port A> listenaddress=* connectaddress=<192.168.XX.XX> connectport=<Port B> protocol=tcp

Adicionar endereços IP do Security Center à lista de permissões

Se houver políticas de controle de acesso no cluster, adicione os endereços IP do Security Center da sua região à lista de permissões. O bloqueio desses endereços impede a comunicação entre o cluster e o Security Center.

Adicionar nós mestres e nós com taints

Por padrão, o comando gerado não agenda pods do DaemonSet em nós mestres ou nós com taints. Para incluir esses nós, adicione tolerâncias ao modelo de pod no arquivo YAML antes de executar kubectl apply.

Para nós mestres — adicione o seguinte em spec > template > spec:

spec:
  template:
    spec:
      tolerations:
      - key: node-role.kubernetes.io/master
        operator: Exists
        effect: NoSchedule

Essa tolerância permite agendar pods do DaemonSet em nós com o taint node-role.kubernetes.io/master:NoSchedule, adicionando os nós mestres ao Security Center como parte do cluster.

Para outros nós com taints — aplique o mesmo padrão de tolerância, correspondendo à chave e ao efeito do taint para cada tipo de nó.

Etapa 1. Instale o Logtail

Siga as instruções de Install Logtail em Instalar componentes Logtail em um cluster Kubernetes autogerenciado.

Etapa 2. Ativar auditoria do cluster

As etapas a seguir baseiam-se em Ativar auditoria de cluster para clusters registrados.

1. Crie um cluster registrado ACK One e adicione o cluster Kubernetes autogerenciado a ele. Consulte Criar clusters registrados ACK One.

2. Em cada nó mestre, atualize /etc/kubernetes/audit-policy.yaml com a seguinte política:

   Para clusters com versões do Kubernetes anteriores à 1,24, defina apiVersion como audit.k8s.io/v1beta1 . Para 1,24 e posteriores, use audit.k8s.io/v1 . Consulte (Descontinuado) Kubernetes 1.24 .

   apiVersion: audit.k8s.io/v1beta1
   kind: Policy
   # Don't generate audit events for all requests in RequestReceived stage.
   omitStages:
     - "RequestReceived"
   rules:
     # The following requests were manually identified as high-volume and low-risk,
     # so drop them.
     - level: None
       users: ["system:kube-proxy"]
       verbs: ["watch"]
       resources:
         - group: "" # core
           resources: ["endpoints", "services"]
     - level: None
       users: ["system:unsecured"]
       namespaces: ["kube-system"]
       verbs: ["get"]
       resources:
         - group: "" # core
           resources: ["configmaps"]
     - level: None
       users: ["kubelet"] # legacy kubelet identity
       verbs: ["get"]
       resources:
         - group: "" # core
           resources: ["nodes"]
     - level: None
       userGroups: ["system:nodes"]
       verbs: ["get"]
       resources:
         - group: "" # core
           resources: ["nodes"]
     - level: None
       users:
         - system:kube-controller-manager
         - system:kube-scheduler
         - system:serviceaccount:kube-system:endpoint-controller
       verbs: ["get", "update"]
       namespaces: ["kube-system"]
       resources:
         - group: "" # core
           resources: ["endpoints"]
     - level: None
       users: ["system:apiserver"]
       verbs: ["get"]
       resources:
         - group: "" # core
           resources: ["namespaces"]
     # Don't log these read-only URLs.
     - level: None
       nonResourceURLs:
         - /healthz*
         - /version
         - /swagger*
     # Don't log events requests.
     - level: None
       resources:
         - group: "" # core
           resources: ["events"]
     # Secrets, ConfigMaps, and TokenReviews can contain sensitive & binary data,
     # so only log at the Metadata level.
     - level: Metadata
       resources:
         - group: "" # core
           resources: ["secrets", "configmaps"]
         - group: authentication.k8s.io
           resources: ["tokenreviews"]
     # Get responses can be large; skip them.
     - level: Request
       verbs: ["get", "list", "watch"]
       resources:
         - group: "" # core
         - group: "admissionregistration.k8s.io"
         - group: "apps"
         - group: "authentication.k8s.io"
         - group: "authorization.k8s.io"
         - group: "autoscaling"
         - group: "batch"
         - group: "certificates.k8s.io"
         - group: "extensions"
         - group: "networking.k8s.io"
         - group: "policy"
         - group: "rbac.authorization.k8s.io"
         - group: "settings.k8s.io"
         - group: "storage.k8s.io"
     # Default level for known APIs
     - level: RequestResponse
       resources:
         - group: "" # core
         - group: "admissionregistration.k8s.io"
         - group: "apps"
         - group: "authentication.k8s.io"
         - group: "authorization.k8s.io"
         - group: "autoscaling"
         - group: "batch"
         - group: "certificates.k8s.io"
         - group: "extensions"
         - group: "networking.k8s.io"
         - group: "policy"
         - group: "rbac.authorization.k8s.io"
         - group: "settings.k8s.io"
         - group: "storage.k8s.io"
     # Default level for all other requests.
     - level: Metadata

3. Em cada nó mestre, atualize /etc/kubernetes/manifests/kube-apiserver.yaml:

   1. Adicione as seguintes flags --audit-log-* à seção command:

      spec:
        containers:
        - command:
          - kube-apiserver
          - --audit-log-maxbackup=10
          - --audit-log-maxsize=100
          - --audit-log-path=/var/log/kubernetes/kubernetes.audit
          - --audit-log-maxage=30
          - --audit-policy-file=/etc/kubernetes/audit-policy.yaml
          ...

   2. Adicione as seguintes variáveis de ambiente à seção env. Substitua {cluster_id} pelo ID do seu cluster — encontre-o na aba Cluster no console do Security Center.

                  env:
                  - name: aliyun_logs_audit-${cluster_id}
                    value: /var/log/kubernetes/kubernetes.audit
                  - name: aliyun_logs_audit-${cluster_id}_tags
                    value: audit=apiserver
                  - name: aliyun_logs_audit-${cluster_id}_product
                    value: k8s-audit
                  - name: aliyun_logs_audit-${cluster_id}_jsonfile
                    value: "true"

   3. Monte o diretório de logs de auditoria e o arquivo de política nos pods do kube-apiserver:

                  volumeMounts:
                  - mountPath: /var/log/kubernetes
                    name: k8s-audit
                  - mountPath: /etc/kubernetes/audit-policy.yaml
                    name: audit-policy
                    readOnly: true
                volumes:
                - hostPath:
                    path: /var/log/kubernetes
                    type: DirectoryOrCreate
                  name: k8s-audit
                - hostPath:
                    path: /etc/kubernetes/audit-policy.yaml
                    type: FileOrCreate
                  name: audit-policy

Etapa 3. Verifique a coleta de logs

1. Faça login no console do Simple Log Service.Faça login no console do Security Center.Faça login no console do Security Center.

2. Clique em no nome do projeto criado durante a instalação do Logtail.

3. Confirme se os logs de auditoria estão fluindo para o Logstore esperado.

Etapa 4. Ative a detecção de ameaças no Security Center

1. Faça login no console do Security Centerconsole do Security Centerconsole do Security Center. Na barra de navegação superior, selecione China ou Outside China.

2. No painel de navegação à esquerda, escolha Assets > Container.

3. Na aba Cluster, clique em Self-built cluster access.

4. Localize o cluster e clique em Edit na coluna Actions.

5. Na aba Enable Log Collection, selecione Enable Kubernetes Log Reporting to Detect Threats, configure os parâmetros a seguir e clique em Save.

   Parâmetro	Descrição	Exemplo
   Region of Log Audit Service	Região para armazenamento dos logs	—
   Project of Log Audit Service	Projeto do Simple Log Service criado durante a instalação do Logtail	k8s-log-custom-sd89ehdq
   Logstore of Log Audit Service	Logstore criado automaticamente durante a instalação do Logtail	audit-027b007a7dd11967a9f7e2449d8dc497