Container Compute Service:クラスターの API Server 監査機能を使用してセキュリティ O&M を行う

監査センターの概要

監査センターの概要レポートには、ACK クラスター内のイベントの概要が表示され、重要なイベントの詳細が提供されます。重要なイベントには、RAM ユーザー操作、パブリックネットワークアクセス、コマンド実行、リソース削除、シークレットへのアクセス、Kubernetes CVE セキュリティリスクが含まれます。

リソース操作の概要

リソース操作の概要レポートには、ACK クラスター内の一般的なコンピューティング、ネットワーク、およびストレージリソースに対する操作に関する統計が表示されます。これらの操作には、作成、更新、削除、およびアクセスが含まれます。リソースには次のものが含まれます。

• コンピューティングリソース: deployments、StatefulSets、jobs、CronJobs、pods、DaemonSets。

• ネットワークリソース: services、Ingresses。

• ストレージリソース: ConfigMaps、secrets、PersistentVolumeClaims。

• アクセス制御リソース: Roles、ClusterRoles、RoleBindings、ClusterRoleBindings。

リソース操作の詳細

このレポートには、ACK クラスター内の特定のリソースタイプに対する操作の詳細なリストが表示されます。リアルタイムクエリを実行するには、リソースタイプを選択または入力する必要があります。レポートには、各リソース操作タイプのイベントの総数、名前空間の分布、成功率、時系列の傾向、および操作の詳細なリストが表示されます。

Kubernetes CVE セキュリティリスク

このレポートには、クラスター内の潜在的な Kubernetes CVE セキュリティリスクが表示されます。リアルタイムクエリを実行するには、サブアカウント ID (RAM ユーザー ID) を選択または入力します。レポートには、指定されたアカウントの Kubernetes CVE セキュリティリスクが表示されます。CVE の詳細とソリューションについては、「[CVE セキュリティ] 脆弱性修正のお知らせ」をご参照ください。

例 1: コンテナーでのコマンド実行に関するアラート

ある企業では、Kubernetes クラスターの使用に厳しい制限があり、ユーザーがコンテナーにログインしたり、コンテナー内でコマンドを実行したりすることを禁止しています。ユーザーがコマンドを実行した場合、すぐにアラートを送信する必要があります。アラート情報には、ユーザーがログインしたコンテナー、実行されたコマンド、オペレーター、イベント ID、時刻、およびソース IP アドレスを含める必要があります。

• クエリ文:

  verb : create and objectRef.subresource:exec and stage:  ResponseStarted | SELECT auditID as "Event ID", date_format(from_unixtime(__time__), '%Y-%m-%d %T' ) as "Operation Time",  regexp_extract("requestURI", '([^\?]*)/exec\?.*', 1)as "Resource",  regexp_extract("requestURI", '\?(.*)', 1)as "Command" ,"responseStatus.code" as "Status Code",
   CASE 
   WHEN "user.username" != 'kubernetes-admin' then "user.username"
   WHEN "user.username" = 'kubernetes-admin' and regexp_like("annotations.authorization.k8s.io/reason", 'RoleBinding') then regexp_extract("annotations.authorization.k8s.io/reason", ' to User "(\w+)"', 1)
   ELSE 'kubernetes-admin' END  
   as "Operator Account", 
  CASE WHEN json_array_length(sourceIPs) = 1 then json_format(json_array_get(sourceIPs, 0)) ELSE  sourceIPs END
  as "Source Address" order by "Operation Time" desc  limit 10000

• 条件式: Operation Event =~ ".*"。

例 2: API サーバーへのパブリックネットワークアクセスの失敗に関するアラート

あるクラスターでは、パブリックネットワークアクセスが有効になっています。悪意のある攻撃を防ぐには、アクセス試行回数と失敗率を監視する必要があります。アクセス試行回数が特定のしきい値 (たとえば 10) に達し、失敗率が特定のしきい値 (たとえば 50%) を超えた場合、すぐにアラートを送信する必要があります。アラート情報には、ユーザーの IP アドレスのリージョン、ソース IP アドレス、およびその IP アドレスがハイリスクであるかどうかの情報を含める必要があります。

• クエリ文:

  * | select ip as "Source Address", total as "Access Count", round(rate * 100, 2) as "Failure Rate %", failCount as "Illegal Access Count", CASE when security_check_ip(ip) = 1 then 'yes' else 'no' end  as "Is High-Risk IP",  ip_to_country(ip) as "Country", ip_to_province(ip) as "Province", ip_to_city(ip) as "City", ip_to_provider(ip) as "Carrier" from (select CASE WHEN json_array_length(sourceIPs) = 1 then json_format(json_array_get(sourceIPs, 0)) ELSE  sourceIPs END
  as ip, count(1) as total,
  sum(CASE WHEN "responseStatus.code" < 400 then 0 
  ELSE 1 END) * 1.0 / count(1) as rate,
  count_if("responseStatus.code" = 403) as failCount
  from log  group by ip limit 10000) where ip_to_domain(ip) != 'intranet' and ip not LIKE '%,%' and not try(is_subnet_of('<Your subnet IP address>')) ORDER by "Access Count" desc limit 10000

• 条件式: Source Address =~ ".*"。

Log Project の変更

クラスターの API サーバー監査ログデータを別の SLS プロジェクトに移行するには、[SLS プロジェクトの変更] 機能を使用できます。

1. ACS コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターを見つけてその ID をクリックします。クラスター詳細ページの左側のナビゲーションウィンドウで、[セキュリティ] > [クラスター監査] を選択します。

3. クラスター監査ページの右上隅にある Change Log Service Project をクリックして、クラスター監査ログデータを別の SLS プロジェクトに移行します。

クラスターの API Server 監査機能を無効にする

API Server 監査機能が不要になった場合は、無効にすることができます。

1. ACS コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理するクラスターを見つけてその ID をクリックします。クラスター詳細ページの左側のナビゲーションウィンドウで、[セキュリティ] > [クラスター監査] を選択します。

3. [クラスター監査] ページの右上隅にある [クラスター監査の無効化] をクリックして、クラスターの監査機能を無効にします。

ACS クラスター内: サードパーティのロギングソリューションの使用

ACK クラスターの監査ログを記録するには、Alibaba Cloud Simple Log Service (SLS) を使用することをお勧めします。ただし、サードパーティのロギングサービスを使用する場合は、クラスターの作成時に SLS を使用しないことを選択できます。その後、別のロging ソリューションに接続して監査ログを収集および取得できます。

監査ポリシー

監査ポリシーは、監査機能の構成とリクエストを収集するためのルールを定義します。イベントログを収集するためのルールは、監査レベルによって異なります。次の監査レベルが利用可能です。

--audit-policy-file コマンドラインフラグを使用して、次のサンプル YAML ファイルを API サーバーの起動パラメーターとして保存できます。次のコードブロックは、監査ログ設定ポリシーのサンプル YAML ファイルを示しています。

apiVersion: audit.k8s.io/v1 # 必須。Kubernetes v1.24 以降のクラスターでは値は audit.k8s.io/v1、それ以前のバージョンのクラスターでは audit.k8s.io/v1beta1 です。
kind: Policy
# RequestReceived ステージのリクエストに対して監査イベントを生成しません。
omitStages:
  - "RequestReceived"
rules:
  # 次のタイプのリクエストは頻繁であり、潜在的なリスクが低いです。監査をスキップするためにレベルを None に設定することをお勧めします。
  - level: None
    users: ["system:kube-proxy"]
    verbs: ["watch"]
    resources:
      - group: "" # コア
        resources: ["endpoints", "services"]
  - level: None
    users: ["system:unsecured"]
    namespaces: ["kube-system"]
    verbs: ["get"]
    resources:
      - group: "" # コア
        resources: ["configmaps"]
  - level: None
    users: ["kubelet"] # レガシー kubelet ID
    verbs: ["get"]
    resources:
      - group: "" # コア
        resources: ["nodes"]
  - level: None
    userGroups: ["system:nodes"]
    verbs: ["get"]
    resources:
      - group: "" # コア
        resources: ["nodes"]
  - level: None
    users:
      - system:kube-controller-manager
      - system:kube-scheduler
      - system:serviceaccount:kube-system:endpoint-controller
    verbs: ["get", "update"]
    namespaces: ["kube-system"]
    resources:
      - group: "" # コア
        resources: ["endpoints"]
  - level: None
    users: ["system:apiserver"]
    verbs: ["get"]
    resources:
      - group: "" # コア
        resources: ["namespaces"]
  # /healthz*、/version*、/swagger* などの読み取り専用 URL については、監査をスキップするためにレベルを None に設定します。
  - level: None
    nonResourceURLs:
      - /healthz*
      - /version
      - /swagger*
  # イベントの監査をスキップするためにレベルを None に設定します。
  - level: None
    resources: 
      - group: "" # コア
        resources: ["events"]
  # Secrets、ConfigMaps、TokenReviews など、機密情報やバイナリファイルを含む可能性のあるインターフェイスについては、レベルを Metadata に設定します。
  - level: Metadata
    resources:
      - group: "" # コア
        resources: ["secrets", "configmaps"]
      - group: authentication.k8s.io
        resources: ["tokenreviews"]
  # リクエストは大量のデータを返す可能性があります。応答本文を収集しないように、レベルを Request に設定します。
  - level: Request
    verbs: ["get", "list", "watch"]
    resources:
      - group: "" # コア
      - group: "admissionregistration.k8s.io"
      - group: "apps"
      - group: "authentication.k8s.io"
      - group: "authorization.k8s.io"
      - group: "autoscaling"
      - group: "batch"
      - group: "certificates.k8s.io"
      - group: "extensions"
      - group: "networking.k8s.io"
      - group: "policy"
      - group: "rbac.authorization.k8s.io"
      - group: "settings.k8s.io"
      - group: "storage.k8s.io"
  # 既知の Kubernetes API については、リクエストと応答の本文を返すために、レベルはデフォルトで RequestResponse に設定されます。
  - level: RequestResponse
    resources:
      - group: "" # コア
      - group: "admissionregistration.k8s.io"
      - group: "apps"
      - group: "authentication.k8s.io"
      - group: "authorization.k8s.io"
      - group: "autoscaling"
      - group: "batch"
      - group: "certificates.k8s.io"
      - group: "extensions"
      - group: "networking.k8s.io"
      - group: "policy"
      - group: "rbac.authorization.k8s.io"
      - group: "settings.k8s.io"
      - group: "storage.k8s.io"
  # 他のすべてのリクエストについては、レベルはデフォルトで Metadata に設定されます。
  - level: Metadata

説明

ログはリクエストを受信した直後には記録されません。記録は応答ヘッダーが送信された後にのみ開始されます。

システムは、冗長な kube-proxy watch リクエスト、kubelet および system:nodes からのノードに対する GET リクエスト、kube-system 名前空間で kube コンポーネントによって実行されるエンドポイント操作、または API サーバーからの名前空間に対する GET リクエストを監査しません。

authentication、rbac、certificates、autoscaling、storage などの機密インターフェイスについては、システムは読み取りおよび書き込み操作に基づいて、対応するリクエスト本文と応答本文を記録します。

監査バックエンド

監査イベントが収集された後、それらはログバックエンドのファイルシステムに保存されます。ログファイルは標準の JSON フォーマットです。