密钥管理服务：ACK容器环境中部署KMS Agent获取凭据

步骤一：构建KMS Agent可执行文件

1. 安装Golang环境。具体操作，请参见Go安装指南。

2. 下载源码和依赖。

   1. 请访问Git官网，下载并安装Git工具。

   2. 执行以下命令下载源码和依赖。

      git clone https://github.com/aliyun/alibabacloud-kms-agent
      go mod download

3. 在项目根目录下，执行go build .命令编译可执行文件。文件默认名称alibabacloud-kms-agent，默认保存在项目根目录下 。

   编译环境与部署环境一致，执行go build .命令即可。如果编译环境和部署环境不一致，请参考以下命令进行跨平台编译，生成64位可执行文件。

   编译环境	部署环境为Mac	部署环境为Linux	部署环境为Windows
   Mac	go build .	CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build .	CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build .
   Linux	CGO_ENABLED=0 GOOS=darwin GOARCH=amd64 go build .	go build .	CGO_ENABLED=0 GOOS=windows GOARCH=amd64 go build .
   Windows	SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=amd64 go build .	SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=amd64 go build .	go build .

4. 在项目根目录下，查看是否存在可执行文件alibabacloud-kms-agent。

步骤二：启用ACK RRSA并授权其访问特定的凭据

1. 启用ACK RRSA功能。

   创建集群时开启

   创建ACK托管集群和ACK Edge集群时，您可以在集群配置的高级选项（选填）区域，选中开启RRSA功能。

   

   在集群信息页面开启

   1. 登录容器服务管理控制台，在左侧导航栏选择集群列表。

   2. 在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择集群信息。

   3. 在基本信息页签的安全与审计区域，单击RRSA OIDC右侧的开启。

   4. 在弹出的启用 RRSA对话框，单击确定。

      在基本信息区域，当集群状态由更新中变为运行中后，表明该集群的RRSA特性已变更完成。

2. 打开集群详情页，在基本信息页签的安全与审计区域，将鼠标悬浮至RRSA OIDC右侧已开启上面，查看提供商的URL链接和ARN信息。开启 RRSA 后，该区域将显示 RRSA OIDC 的提供商 URL和提供商 ARN，后续配置 RAM 角色信任策略时需要使用这两项信息。

3. 创建一个可信实体为身份提供商的RAM角色。

   1. 使用RAM管理员登录RAM控制台，在身份管理 > 角色页面。

   2. 单击创建角色，在创建页面右上角，单击切换编辑器。

   3. 在编辑器中指定具体的OIDC身份提供商。选择可视化编辑模式，并参考如下说明，完成配置。

      说明

      更多模式，请参见创建OIDC身份提供商的RAM角色。

      1. 在主体中选择身份提供商后，单击下方编辑。

      2. 在添加主体弹窗中，参考如下说明，完成配置。

         • 身份提供商类型：选择OIDC。

         • 身份提供商：开启RRSA后，ACK集群会默认创建身份提供商，命名格式为ack-rrsa-<cluster_id>。其中，<cluster_id>为集群ID。

         • 操作：保持默认。即勾选sts:AssumeRole。

         • 条件：在默认的oidc:iss和oidc:aud限制条件基础上，新增一个限制条件：

           • 条件键：选择oidc:sub。

           • 运算符：选择StringEquals。

           • 条件值：system:serviceaccount:<namespace>:<serviceAccountName>。

             • <namespace>：应用所在的命名空间。

             • <serviceAccountName>：服务账户名称。

             本文以system:serviceaccount:rrsa-dev:dev-sa为例， 其中 rsa-dev 是下一步需要创建 k8s namespace，dev-sa 是下一步需要创建的 k8s service account。

   4. 在创建角色对话框中，设置角色名称，然后单击确定。本文角色名称以dev-role-for-rrsa为例。

   5. 查看并确认dev-role-for-rrsa 的信任策略：该策略表示允许特定的服务账户通过阿里云RRSA（RAM Roles for Service Accounts） ，在满足 OIDC 身份验证条件后，担任某个RAM角色。

      {
        "Statement": [
          {
            "Action": "sts:AssumeRole",
            "Condition": {
              "StringEquals": {
                "oidc:aud": [
                  "sts.aliyuncs.com"
                ],
                "oidc:iss": [
                  "https://oidc-ack-cn-hongkong.oss-cn-hongkong.aliyuncs.com/cf01******"
                ],
                "oidc:sub": [
                  "system:serviceaccount:rrsa-dev:dev-sa"
                ]
              }
            },
            "Effect": "Allow",
            "Principal": {
              "Federated": [
                "acs:ram::5269************:oidc-provider/ack-rrsa-cf01******"
              ]
            }
          }
        ],
        "Version": "1"
      }

4. 创建权限策略并授权给RAM角色。

   1. 权限策略名称以dev-role-for-rrsa-kms-policy为例，策略内容以仅允许访问带有env:dev 标签的凭据为例。在RAM 访问控制控制台左侧导航栏选择权限策略，单击创建权限策略，选择脚本编辑页签，在策略编辑器中输入以下策略内容。

      权限策略内容如下所示：

      {
          "Version": "1",
          "Statement": [
              {
                  "Effect": "Allow",
                  "Action": [
                      "kms:Decrypt",
                      "kms:GetSecretValue"
                  ],
                  "Resource": "*",
                  "Condition": {
                      "StringEqualsIgnoreCase": {
                          "kms:tag/env": [
                              "dev"
                          ]
                      }
                  }
              }
          ]
      }

   2. 将dev-role-for-rrsa-kms-policy权限策略，授权给dev-role-for-rrsa角色。在RAM访问控制的角色列表中找到角色 dev-role-for-rrsa，为其新增授权。资源范围选择账号级别，授权主体选择 dev-role-for-rrsa，在权限策略中搜索并选中自定义策略 dev-role-for-rrsa-kms-policy，单击确认新增授权。

步骤三：在ACK中创建Namespace和Service Account

Namespace将ACK集群划分为逻辑隔离的虚拟空间，用于区分开发、测试、生产等环境，不同Namespace中的应用默认无法互访资源，为RAM角色绑定提供物理边界。Service Account为Pod提供身份标识，通过RRSA机制与RAM角色动态绑定。

1. 通过YAML文件创建Namespace。

   Namespace名称以rrsa-dev为例，YAML文件名称以namespace.yaml为例。

   apiVersion: v1
   kind: Namespace
   metadata:
     name: rrsa-dev

2. 执行如下命令在ACK集群中创建名为 rrsa-dev 的 Namespace。

   kubectl apply -f namespace.yaml

   查看Namespace是否创建成功：

   kubectl get namespaces

   若输出包含rrsa-dev，即代表创建成功。

3. 通过YAML文件创建Service Account。

   Service Account名称以dev-sa为例，YAML文件名称以serviceaccount.yaml为例。

   apiVersion: v1
   kind: ServiceAccount
   metadata:
     name: dev-sa
     namespace: rrsa-dev

4. 执行如下命令在 rrsa-dev 中创建一个名为 dev-sa 的ServiceAccount。

   kubectl apply -f serviceaccount.yaml

   查看 ServiceAccount 是否创建成功：

   kubectl get serviceaccount -n rrsa-dev

   若输出包含 dev-sa，即代表创建成功。

步骤四：制作sidecar容器镜像

将KMS Agent作为sidecar容器与应用程序容器一起部署到阿里云的ACK容器服务。

1. 在config.toml中配置KMS Agent的运行参数。

   说明

   config.toml是Agent的配置文件，您可以在步骤一获取的alibabacloud-kms-agent源码的configs目录下查看到该文件。

   [Server]
   HttpPort = 2025
   [KMS]
   Region = "cn-hangzhou"
   [Cache]
   CacheType = "InMemory"
   CacheSize = 1000
   TtlSeconds = 300
   [Log]
   LogLevel = "Debug"
   LogPath = "./logs/"
   MaxSize = 100
   MaxBackups = 2

2. 创建Dockerfile文件。

   以Agent部署在deploy/ack/agent路径下为例，在该路径下创建Dockerfile。文件内容，请参考agent_Dockerfile。

   # Use the centos image as the base
   FROM centos:centos7
   # Set the working directory inside the container
   WORKDIR /usr/local/alibabacloudkmsagent
   # Copy the binary and config to the container
   COPY alibabacloud-kms-agent .
   COPY config.toml .
   # Set the entry point to run the kms agent
   ENTRYPOINT ["./alibabacloud-kms-agent", "agent", "./config.toml"]

3. 将步骤1和步骤2创建的文件拷贝到deploy/ack/agent目录下。

   deploy/ack/agent
   ├── alibabacloud-kms-agent
   ├── config.toml
   ├── Dockerfile.agent

4. 编译sidecar容器镜像并上传到阿里云镜像服务。

   # 编译
   docker build -t registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:kmsagent-v1.0 .
   # 上传
   docker push registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:kmsagent-v1.0

步骤五：制作业务容器镜像

1. 以业务应用部署在deploy/ack/app路径下为例，在该路径下编写应用容器镜像的Dockerfile。

   # Use the centos image as the base
   FROM centos:centos7
   # Set the working directory inside the container
   WORKDIR /
   # Set the entry point to run the kms agent
   ENTRYPOINT ["sleep", "360000"]

2. 编译应用容器镜像，并将镜像上传到阿里云镜像仓库。

   # 编译
   docker build -t registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:app-v1.0 .
   # 上传
   docker push registry.cn-hangzhou.aliyuncs.com/<ns>/<repo>:app-v1.0

步骤六：发布应用

apiVersion: apps/v1
kind: Deployment
metadata:
  name: my-app
  namespace: rrsa-dev
spec:
  replicas: 1
  selector:
    matchLabels:
      app: my-app
  template:
    metadata:
      labels:
        app: my-app
    spec:
      serviceAccountName: dev-sa
      containers:
      - name: kmsagent
        image: registry-vpc.cn-hangzhou.aliyuncs.com/<ns>/<repo>:kmsagent-v1.0
        env:
        - name: ALIBABA_CLOUD_ROLE_ARN
          value: acs:ram::<uid>:role/dev-role-for-rrsa
        - name: ALIBABA_CLOUD_OIDC_PROVIDER_ARN
          value: acs:ram::<uid>:oidc-provider/ack-rrsa-<ackClusterId>
        - name: ALIBABA_CLOUD_OIDC_TOKEN_FILE
          value: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token
        - name: KMS_TOKEN
          value: file:///var/run/kmstoken/token
        volumeMounts:
          - name: shared-volume
            mountPath: /var/run/kmstoken
          - name: rrsa-oidc-token
            mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
            readOnly: true
        command: ["/bin/sh", "-c", "./alibabacloud-kms-agent token /var/run/kmstoken/token && ./alibabacloud-kms-agent agent config.toml"]
      - name: my-app
        image: registry-vpc.cn-hangzhou.aliyuncs.com/<ns/<repo>:app-v1.0
        volumeMounts:
          - name: shared-volume
            mountPath: /var/run/kmstoken
      volumes:
        - name: shared-volume
          emptyDir: {}
        - name: rrsa-oidc-token
          projected:
            defaultMode: 420
            sources:
            - serviceAccountToken:
               audience: sts.aliyuncs.com
               expirationSeconds: 3600
               path: token

步骤七：创建并获取凭据值

1. 在KMS创建凭据。

   本文示例中创建凭据时需要加上标签 env:dev，应用容器只能获取到有这个标签的凭据，没有权限获取其他凭据。

   1. 登录密钥管理服务控制台，在顶部菜单栏选择地域后，在左侧导航栏单击资源 > 凭据管理。

   2. 单击通用凭据页签，选择实例ID后，单击创建凭据，完成各项配置后单击确定。

      配置项	说明
      凭据名称	自定义凭据名称，需确保名称在当前地域内唯一。
      设置凭据值	选择凭据键/值或纯文本，输入要托管的敏感数据。长度不超过 30720 字节（30 KB）。
      初始版本号	初始版本号，默认为 v1，支持自定义。
      加密主密钥	选择用于加密凭据值的对称密钥。密钥和凭据必须属于同一个 KMS 实例。 重要 密钥和凭据需要属于同一个 KMS 实例，且密钥必须为对称密钥。关于 KMS 支持哪些对称密钥，请参见密钥管理类型和密钥规格。 如果是 RAM 用户、RAM 角色，需要具备使用加密主密钥执行 GenerateDataKey 操作的权限。
      标签	为凭据添加标签，便于分类管理。每个标签由键值对（Key:Value）组成。 说明 标签键和标签值的格式：最多支持 128 个字符，可以包含英文大小写字母、数字、正斜线（/）、反斜线（\）、下划线（_）、短划线（-）、半角句号（.）、加号（+）、等于号（=）、半角冒号（:）、字符 at（@）、空格。 标签键不能以 aliyun 或 acs:开头。 每个凭据最多可以设置 20 个标签键值对。
      描述信息	填写凭据的补充描述信息，便于后续识别和管理。
      高级设置 > 策略配置	设置凭据的访问权限策略，可控制哪些 RAM 用户或角色可以读取或修改此凭据。 可先选择默认策略，创建后根据业务需要修改。

2. 获取凭据值。

   • 使用curl命令。

     curl -v -H "X-Vault-Token:$(</var/run/kmstoken/token)" 'http://localhost:2025/secretsmanager/get?secretId=app/dev/secret-1'

   • 在业务代码里使用HTTP GET请求获取凭据。

     package main
     import (
     	"fmt"
     	"io/ioutil"
     	"net/http"
     )
     func main() {
     	url := fmt.Sprintf("http://localhost:2025/secretsmanager/get?secretId=%s", "app/dev/secret-1")
     	token, err := ioutil.ReadFile("/var/run/kmstoken/token")
     	if err != nil {
     		fmt.Printf("error reading token file: %v\n", err)
     	}
     	req, err := http.NewRequest("GET", url, nil)
     	if err != nil {
     		fmt.Printf("error creating request: %v\n", err)
     	}
     	req.Header.Add("X-KMS-Token", string(token))
     	client := &http.Client{}
     	resp, err := client.Do(req)
     	if err != nil {
     		fmt.Printf("error sending request: %v \n", err)
     	}
     	defer resp.Body.Close()
     	body, _ := ioutil.ReadAll(resp.Body)
     	fmt.Printf("status code %d - %s \n", resp.StatusCode, string(body))
     }