Container Service for Kubernetes：通過RRSA配置ServiceAccount的RAM許可權實現Pod許可權隔離

背景資訊

ECS執行個體中繼資料套件含了在阿里雲系統中關於ECS執行個體（ECI執行個體基於ECS執行個體實現）的詳細資料。您可以在運行中的執行個體內部訪問這些中繼資料，從而配置或管理執行個體。通過執行個體中繼資料，Kubernetes叢集內應用可以擷取執行個體RAM角色策略產生的STS臨時憑證，並通過這些臨時憑證訪問雲資源OpenAPI。更多資訊，請參見執行個體中繼資料。

出於安全考慮，當您需要限制叢集內不同應用的RAM許可權時，應禁止這些應用通過ECS或ECI執行個體中繼資料擷取您的執行個體關聯角色對應的臨時憑證，或者不為執行個體關聯角色分配任何RAM權限原則。然而，這些應用仍然需要一種安全的途徑去擷取訪問雲資源的臨時憑證。因此，阿里雲Container ServiceACK聯合RAM存取控制服務推出了RRSA功能。

基於RRSA功能，您可以在叢集內實現Pod層級隔離的應用關聯RAM角色功能。各個應用可以扮演獨立的RAM角色並使用擷取的臨時憑證訪問雲資源，從而實現應用RAM許可權最小化以及無AccessKey訪問阿里雲OpenAPI避免AccessKey泄露的需求。

使用限制

RRSA功能目前僅支援1.22及以上版本的叢集，即ACK託管叢集基礎版、ACK託管叢集Pro版、ACK Serverless叢集基礎版、ACK Serverless叢集Pro版和ACK Edge叢集Pro版。

啟用RRSA功能

若未建立叢集，您可以在建立ACK託管叢集和ACK Edge叢集時開啟，若已建立叢集，可在叢集資訊頁面的安全與審計頁簽下開啟。

ACK Serverless叢集僅支援叢集建立後在叢集資訊頁面的安全與審計頁簽下開啟。

叢集開啟RRSA功能後，ACK將在後台執行如下操作。

• 自動建立一個叢集專用的OIDC Issuer服務。該服務由ACK託管，無需您營運。更多資訊，請參見OIDC Issuer。

• 修改當前叢集的服務賬戶令牌卷投影功能的配置，使用本次建立的OIDC Issuer配置合并叢集已有的service-account-issuer參數的值。更多資訊，請參見使用ServiceAccount Token卷投影。

• 在您的帳號下建立一個使用該OIDC Issuer的OIDC身份供應商，名稱為ack-rrsa-<cluster_id>，其中 <cluster_id>為您的叢集ID。更多資訊，請參見管理OIDC身份供應商。

使用RRSA功能

叢集開啟RRSA功能後，您可以參考以下內容，賦予叢集內應用通過RRSA功能擷取訪問雲資源OpenAPI的臨時憑證的能力。

使用樣本

本樣本部署的應用將使用RRSA功能扮演指定角色，擷取當前帳號下叢集列表資訊。

樣本配置

• 命名空間：rrsa-demo

• ServiceAccount：demo-sa

• RAM角色：demo-role-for-rrsa

樣本流程

• 如果您希望通過不安裝ack-pod-identity-webhook組件的方式使用RRSA功能，您可以手動修改應用模板掛載應用所需的OIDC Token檔案並配置相關環境變數。具體操作，請參見手動修改應用模板使用RRSA功能。

• 如果您希望使用已存在的RAM角色，不建立新的RAM角色，您可以為已有RAM角色新增相關許可權。具體操作，請參見使用已存在的RAM角色並授權。

1. 安裝ack-pod-identity-webhook組件。

   1. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，選擇營運管理 > 組件管理。

   2. 在組件管理頁面，單擊安全頁簽，找到ack-pod-identity-webhook組件，單擊組件右下方的安裝。

   3. 在提示對話方塊確認組件資訊後，單擊確定。

2. 建立一個名為demo-role-for-rrsa的RAM角色。主要參數說明如下，具體操作，請參見建立OIDC身份供應商的RAM角色。

   配置項	描述
   身份供應商類型	OIDC。
   身份供應商	選擇ack-rrsa-<cluster_id>。其中，<cluster_id>為您的叢集ID。
   條件	oidc:iss：保持預設。 oidc:aud：保持預設。 oidc:sub：需手動添加該條件。 條件鍵：選擇oidc:sub。 運算子：選擇StringEquals。 條件值：輸入system:serviceaccount:<namespace>:<serviceAccountName>。其中，<namespace>為應用所在的命名空間。<serviceAccountName>為服務賬戶名稱。根據本文測試應用的資訊，此處需填入system:serviceaccount:rrsa-demo:demo-sa。
   角色名稱	demo-role-for-rrsa。

3. 為步驟2建立的角色授予測試應用所需的AliyunCSReadOnlyAccess系統策略許可權。具體操作，請參見管理RAM角色的許可權。

4. 部署測試應用。關於測試應用的參考代碼，請參見阿里雲官方SDK使用RRSA OIDC Token的參考代碼。

   1. 使用以下內容，建立demo.yaml檔案。

      如下YAML樣本中，為命名空間增加標籤pod-identity.alibabacloud.com/injection: 'on'，並為服務賬戶增加註解pod-identity.alibabacloud.com/role-name: demo-role-for-rrsa，啟用ack-pod-identity-webhook組件的配置自動注入功能。關於ack-pod-identity-webhook組件配置的更多說明，請參見ack-pod-identity-webhook。

      展開查看範例程式碼

      ---
      apiVersion: v1
      kind: Namespace
      metadata:
        name: rrsa-demo
        labels:
          pod-identity.alibabacloud.com/injection: 'on'
      
      ---
      apiVersion: v1
      kind: ServiceAccount
      metadata:
        name: demo-sa
        namespace: rrsa-demo
        annotations:
          pod-identity.alibabacloud.com/role-name: demo-role-for-rrsa
      
      ---
      apiVersion: v1
      kind: Pod
      metadata:
        name: demo
        namespace: rrsa-demo
      spec:
        serviceAccountName: demo-sa
        containers:
          - image: registry.cn-hangzhou.aliyuncs.com/acs/ack-ram-tool:1.3.0
            args:
              - rrsa
              - demo
            name: demo
        restartPolicy: OnFailure

   2. 執行以下命令，部署測試應用。

      kubectl apply -f demo.yaml

5. 執行以下命令，查看測試應用Pod，確認ack-pod-identity-webhook組件已為Pod自動注入所需的配置。

   kubectl -n rrsa-demo get pod demo -o yaml

   展開查看預期輸出

   apiVersion: v1
   kind: Pod
   metadata:
     name: demo
     namespace: rrsa-demo
   spec:
     containers:
     - args:
       - rrsa
       - demo
       env:
       - name: ALIBABA_CLOUD_ROLE_ARN
         value: acs:ram::1***:role/demo-role-for-rrsa
       - name: ALIBABA_CLOUD_OIDC_PROVIDER_ARN
         value: acs:ram::1***:oidc-provider/ack-rrsa-c***
       - name: ALIBABA_CLOUD_OIDC_TOKEN_FILE
         value: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token
       - name: ALIBABA_CLOUD_STS_ENDPOINT
         value: sts-vpc.cn-hangzhou.aliyuncs.com
       - name: ALIBABA_CLOUD_STS_REGION
         value: cn-hangzhou
       - name: ALIBABA_CLOUD_VPC_ENDPOINT_ENABLED
         value: "true"
       image: registry.cn-hangzhou.aliyuncs.com/acs/ack-ram-tool:1.3.0
       name: demo
       volumeMounts:
       - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
         name: kube-api-access-4bwdg
         readOnly: true
       - mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
         name: rrsa-oidc-token
         readOnly: true
     restartPolicy: OnFailure
     serviceAccount: demo-sa
     serviceAccountName: demo-sa
     volumes:
     - name: kube-api-access-4bwdg
       projected:
         defaultMode: 420
         sources:
         - serviceAccountToken:
             expirationSeconds: 3607
             path: token
         - configMap:
             items:
             - key: ca.crt
               path: ca.crt
             name: kube-root-ca.crt
         - downwardAPI:
             items:
             - fieldRef:
                 apiVersion: v1
                 fieldPath: metadata.namespace
               path: namespace
     - name: rrsa-oidc-token
       projected:
         defaultMode: 420
         sources:
         - serviceAccountToken:
             audience: sts.aliyuncs.com
             expirationSeconds: 3600
             path: token

   預期輸出表明，ack-pod-identity-webhook組件已為Pod自動注入了如下配置。

   類別	配置項名稱	配置項說明
   環境變數	ALIBABA_CLOUD_ROLE_ARN	需要扮演的RAM角色ARN。
   	ALIBABA_CLOUD_OIDC_PROVIDER_ARN	OIDC身份供應商的ARN。
   	ALIBABA_CLOUD_STS_ENDPOINT	當前地區的STS VPC內網網域名稱。
   	ALIBABA_CLOUD_STS_REGION	當前地區的STS網域名稱地區資訊配置。
   	ALIBABA_CLOUD_VPC_ENDPOINT_ENABLED	是否使用VPC內網網域名稱訪問STS的配置。
   	ALIBABA_CLOUD_OIDC_TOKEN_FILE	包含OIDC Token的檔案路徑。
   VolumeMount	rrsa-oidc-token	掛載OIDC Token的配置。
   Volume	rrsa-oidc-token	掛載OIDC Token的配置。

6. 執行以下命令，查看測試應用日誌。

   kubectl -n rrsa-demo logs demo

   預期輸出叢集列表資訊：

   cluster id: cf***, cluster name: foo*
   cluster id: c8***, cluster name: bar*
   cluster id: c4***, cluster name: foob*

7. 可選：移除角色被授予的AliyunCSReadOnlyAccess系統策略許可權。具體操作，請參見為RAM角色移除許可權。

   等待30秒左右，執行以下命令，再次查看測試應用日誌。

   kubectl -n rrsa-demo logs demo

   預期輸出無許可權的錯誤記錄檔：

      StatusCode: 403
      Code: StatusForbidden
      Message: code: 403, STSToken policy Forbidden for action cs:DescribeClustersForRegion request id: E78A2E2D-***
      Data: {"accessDeniedDetail":{"AuthAction":"cs:DescribeClustersForRegion","AuthPrincipalDisplayName":"demo-role-for-rrsa:ack-ram-tool","AuthPrincipalOwnerId":"11***","AuthPrincipalType":"AssumedRoleUser","NoPermissionType":"ImplicitDeny","PolicyType":"ResourceGroupLevelIdentityBasedPolicy"},"code":"StatusForbidden","message":"STSToken policy Forbidden for action cs:DescribeClustersForRegion","requestId":"E78A2E2D-***","status":403,"statusCode":403}

手動修改應用模板使用RRSA功能

您可以通過手動修改應用模板掛載應用所需的OIDC Token檔案以及配置相關環境變數，在不安裝ack-pod-identity-webhook組件的情況下使用RRSA功能。

應用模板範例程式碼如下。

apiVersion: v1
kind: Pod
metadata:
  name: demo
  namespace: rrsa-demo
spec:
  containers:
  - args:
    - rrsa
    - demo
    env:
    - name: ALIBABA_CLOUD_ROLE_ARN
      value: <role_arn>
    - name: ALIBABA_CLOUD_OIDC_PROVIDER_ARN
      value: <oid_provider_arn>
    - name: ALIBABA_CLOUD_OIDC_TOKEN_FILE
      value: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token
    image: registry.cn-hangzhou.aliyuncs.com/acs/ack-ram-tool:1.3.0
    imagePullPolicy: Always
    name: demo
    volumeMounts:
    - mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
      name: rrsa-oidc-token
      readOnly: true
  restartPolicy: OnFailure
  serviceAccount: demo-sa
  serviceAccountName: demo-sa
  volumes:
  - name: rrsa-oidc-token
    projected:
      defaultMode: 420
      sources:
      - serviceAccountToken:
          audience: sts.aliyuncs.com
          expirationSeconds: 3600
          path: token

部署修改後的應用模板後，應用內程式可以使用容器內掛載的OIDC Token（環境變數ALIBABA_CLOUD_OIDC_TOKEN_FILE指向的檔案內容，每次使用時都需要從檔案中讀取最新的Token）、角色的ARN（環境變數ALIBABA_CLOUD_ROLE_ARN配置的值）以及OIDC身份供應商的ARN（環境變數ALIBABA_CLOUD_OIDC_PROVIDER_ARN配置的值），調用STS的AssumeRoleWithOIDC介面，擷取一個扮演指定RAM角色的臨時憑證，然後使用該臨時憑證訪問雲資源OpenAPI。應用參考代碼，請參見阿里雲官方SDK使用RRSA OIDC Token的參考代碼。更多資訊，請參見AssumeRoleWithOIDC。

使用已存在的RAM角色並授權

如果您的應用需要使用已存在的RAM角色，而非建立新的單獨RAM角色，您可以修改RAM角色的信任策略，新增一條允許使用指定的服務賬戶的應用有許可權通過扮演此RAM角色擷取臨時憑證的信任策略。更多資訊，請參見修改RAM角色的信任策略。

RAM角色信任策略中新增的Statement條目內容樣本如下。

{
  "Action": "sts:AssumeRole",
  "Condition": {
    "StringEquals": {
      "oidc:aud": "sts.aliyuncs.com",
      "oidc:iss": "<oidc_issuer_url>",
      "oidc:sub": "system:serviceaccount:<namespace>:<service_account>"
    }
  },
  "Effect": "Allow",
  "Principal": {
    "Federated": [
      "<oidc_provider_arn>"
    ]
  }
}

您也可以使用命令列工具ack-ram-tool通過自動化的方式配置該策略。對應的命令列樣本如下。

ack-ram-tool rrsa associate-role --cluster-id <cluster_id> \
    --namespace <namespace> --service-account <service_account> \
    --role-name <role_name> --create-role-if-not-exist

阿里雲官方SDK使用RRSA OIDC Token的參考代碼

SDK參考代碼

目前，阿里雲V2.0 SDK已經內建了支援使用RRSA OIDC Token進行OpenAPI認證的功能，所有基於V2.0 SDK產生並且支援STS Token認證的雲產品SDK都將預設支援RRSA OIDC Token認證。支援此功能的SDK版本資訊和參考代碼如下。

部分雲產品自研的SDK也可以參考上面的方法實現使用RRSA OIDC Token進行OpenAPI認證的功能。具體實現方式的參考代碼如下。

SDK報錯資訊解決方案

不同報錯資訊的解決方案如下表所示。

{
 "Code": "AuthenticationFail.OIDCToken.Expired",
 "Message": "This JsonWebToken is expired."
}

{
 "Code": "Throttling.User",
 "Message": "Request was denied due to user flow control."
}

{
 "Code": "AuthenticationFail.OIDCToken.AudienceNotMatch",
 "Message": "Invalid audience."
}

{
 "Code": "AuthenticationFail.OIDCToken.IssuerConfigurationBroken",
 "Message": "Get public keys from OIDC Provider failed, the issuer is https://kubernetes.default.svc."
}

{
 "Code": "AuthenticationFail.OIDCToken.IssuerNotMatch",
 "Message": "The issuer in the OIDC Token doesn't match the OIDC Provider registered."
}

{
 "Code": "AuthenticationFail.NoPermission",
 "Message": "No such OIDC Provider registered."
}

{
 "Code": "EntityNotExist.Role",
 "Message": "The role not exists: acs:ram::19981***:role/***. "
}

{
  "Code": "AuthenticationFail.NoPermission",
  "Message": "There is no permission"
}

常用命令列工具使用RRSA OIDC Token

藉助ack-ram-tool，可以賦予部分常用命令列工具（阿里雲CLI、Object Storage Serviceossutil 2.0、Terraform等）在容器內使用RRSA OIDC Token的能力。具體配置和使用樣本詳見下表。

{
  "current": "rrsa",
  "profiles": [
    {
      "name": "rrsa",
      "mode": "OIDC",
      "region_id": "cn-hangzhou",
      "ram_session_name": "test-rrsa"
    }
  ],
  "meta_path": ""
}

$ aliyun sts GetCallerIdentity
{
    "AccountId": "11380***",
    "Arn": "acs:ram::1138***:assumed-role/test-rrsa-***/test-rrsa",
    "IdentityType": "AssumedRoleUser",
    "PrincipalId": "33300***:test-rrsa",
    "RequestId": "20F78881-F47E-5771-90D6-***",
    "RoleId": "33300***"
}

$ aliyun sts GetCallerIdentity --region cn-hangzhou --role-session-name=test-rrsa
{
	"AccountId": "11380***",
	"Arn": "acs:ram::1138***:assumed-role/test-rrsa-***/test-rrsa",
	"IdentityType": "AssumedRoleUser",
	"PrincipalId": "33300***:test-rrsa",
	"RequestId": "20F78881-F47E-5771-90D6-***",
	"RoleId": "33300***"
}

cat <<EOF > ~/.ossutilconfig
[default]
mode = oidcRoleArn
OIDCProviderArn = "${ALIBABA_CLOUD_OIDC_PROVIDER_ARN}"
OIDCTokenFilePath = "${ALIBABA_CLOUD_OIDC_TOKEN_FILE}"
roleArn = "${ALIBABA_CLOUD_ROLE_ARN}"
roleSessionName = test-rrsa
region = cn-hangzhou
EOF

$ ossutil api describe-regions
<RegionInfoList>
  <RegionInfo>
    <Region>oss-us-west-1</Region>
    <InternetEndpoint>oss-us-west-1.aliyuncs.com</InternetEndpoint>
    <InternalEndpoint>oss-us-west-1-internal.aliyuncs.com</InternalEndpoint>
    <AccelerateEndpoint>oss-accelerate.aliyuncs.com</AccelerateEndpoint>
  </RegionInfo>
  ...
</RegionInfoList>

$ ack-ram-tool export-credentials -f environment-variables -- aliyunlog log list_project --region-endpoint=cn-hangzhou.log.aliyuncs.com

{"count": 1, "projects": [
{"createTime": "1676282996", "description": "k8s log project, ***",
 "lastModifyTime": "1676282996", "owner": "", "projectName": "k8s-log-c0edc***", 
 "region": "cn-hangzhou", "resourceGroupId": "rg-***", "status": "Normal"}],
  "total": 24}

provider "alicloud" {
  assume_role_with_oidc {
    role_session_name = "terraform-with-rrsa-auth-example"
  }
  region = "cn-hangzhou"
}

相關文檔

• ack-pod-identity-webhook

• ServiceAccount token volume projection

• OIDC(OpenID Connect) 介紹

• OIDC角色SSO概覽

• AssumeRoleWithOIDC - OIDC角色SSO時擷取扮演角色的臨時身份憑證

• ack-ram-tool