Container Service for Kubernetes：在ACK叢集中基於機密虛擬機器實現CAA機密容器方案

步驟三：部署 CAA

請參見下文部署CAA的兩個核心組件：

• CoCo（Confidential Containers） Operator：負責自動化部署和管理機密容器所需的運行時環境，例如Kata Containers的遠程運行時Kata Remote Runtime。

• CAA（Cloud API Adaptor） DaemonSet：CAA以DaemonSet的形式部署在節點上，可根據Pod調度請求動態建立機密虛擬機器作為Pod的運行時節點。

1、安裝CoCo Operator

參見以下命令進行安裝。

mkdir -p kustomize && cd kustomize
mkdir release && mkdir -p ccruntime/peer-pods

cat <<EOF > release/kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- "github.com/confidential-containers/operator/config/release?ref=v0.17.0"

images:
- name: quay.io/confidential-containers/operator
  newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/coco-operator
EOF

cat <<EOF > ccruntime/peer-pods/kustomization.yaml
apiVersion: kustomize.config.k8s.io/v1beta1
kind: Kustomization
resources:
- "github.com/confidential-containers/operator/config/samples/ccruntime/peer-pods?ref=v0.17.0"

images:
- name: quay.io/confidential-containers/reqs-payload
  newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/coco-reqs-payload
- name: quay.io/kata-containers/kata-deploy-ci
  newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/coco-kata-deploy-ci
- name: quay.io/kata-containers/kata-deploy
  newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/coco-kata-deploy
EOF

kubectl apply -k release
kubectl apply -k ccruntime/peer-pods

2、部署 CAA DaemonSet

1. 下載專案源碼。

   git clone https://github.com/confidential-containers/cloud-api-adaptor.git -b v0.17.0
   cd cloud-api-adaptor

2. 修改 src/cloud-api-adaptor/install/overlays/alibabacloud/kustomization.yaml 檔案中的相關配置。

   參數	說明
   newTag	CAA Daemonset鏡像版本。修改為v0.17.0-alibaba-alpha0。
   SECURITY_GROUP_IDS	虛擬機器安全性群組ID，即步驟二所建立的節點池的安全性群組ID。
   VSWITCH_ID	虛擬機器交換器ID，即步驟二所建立的節點池在可用性區域下的交換器ID。
   IMAGEID	虛擬機器啟動鏡像。 華北2（北京）：修改為m-2zef6zaa0j0qz3sunhjp。 新加坡：修改為m-t4n9ocuen5sy6rhbxbk1。

3. 建立檔案 src/cloud-api-adaptor/install/overlays/alibabacloud/alibabacloud-cred.env，配置身份認證。內容如下。

   替換<role_arn>為RAM 角色ARN，<provider_arn>為RRSA OIDC的供應商 ARN。

   ALIBABA_CLOUD_ROLE_ARN=<role_arn>
   ALIBABA_CLOUD_OIDC_PROVIDER_ARN=<provider_arn>
   ALIBABA_CLOUD_OIDC_TOKEN_FILE=/var/run/secrets/ack.alibabacloud.com/rrsa-tokens/token

4. 部署CAA工作負載。

   kubectl apply -k src/cloud-api-adaptor/install/overlays/alibabacloud

   等待大概3分鐘後，檢查部署狀態。

   kubectl -n confidential-containers-system get pod 

   預期輸出：

   NAME                                              READY   STATUS    RESTARTS   AGE
   cc-operator-controller-manager-5d79465b47-d8s2k   1/1     Running   0          2m11s
   cc-operator-daemon-install-trlvt                  1/1     Running   0          108s
   cc-operator-pre-install-daemon-qpvzw              1/1     Running   0          117s
   cloud-api-adaptor-daemonset-46spp                 1/1     Running   0          92s

   預期輸出包含 cc-operator-* 和 cloud-api-adaptor-daemonset-*組件，狀態均為 Running，表明部署成功。 

3、部署 peerpod-ctl 服務

在 CAA 營運過程中，可能會出現 Pod 已刪除但底層 ECS 虛擬機器（即 TDX 執行個體）殘留的情況，導致資源浪費。部署 peerpod-ctl可實現殘留虛擬機器的自動監測與動態回收。

常見情境如下：

• 已部署應用 Pod，但cloud-api-adaptor-daemonset Pod被刪除、重啟或更新。系統檢測到原 Pod 串連失敗並建立新 Pod，但原 Pod 對應的虛擬機器可能會遺留。

• 從 Kubernetes 側刪除了一個剛建立不久的 Pod，而該 Pod 對應的 TDX 執行個體仍在初始化中。

1. 建立工作目錄。

   mkdir -p deployment/kustomize/peerpod-ctrl

2. 建立 kustomization.yaml。

   該檔案定義了資源來源及鏡像重新導向。

   cat << EOF > deployment/kustomize/peerpod-ctrl/kustomization.yaml
   apiVersion: kustomize.config.k8s.io/v1beta1
   kind: Kustomization
   resources:
   - "github.com/confidential-containers/cloud-api-adaptor/src/peerpod-ctrl/config/default?ref=v0.17.0"    
   
   images:
   - name: gcr.io/kubebuilder/kube-rbac-proxy
     newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/kube-rbac-proxy
     newTag: v0.13.0
   - name: quay.io/confidential-containers/peerpod-ctrl
     newName: registry-cn-hangzhou.ack.aliyuncs.com/dev/peerpod-ctrl
     newTag: v0.17.0
   
   patchesStrategicMerge:
     - patch.yaml
   EOF

3. 建立 patch.yaml。

   該檔案通過 RRSA 機製為控制器注入 OIDC Token，使其具備操作阿里雲資源的身份。

   cat << EOF > deployment/kustomize/peerpod-ctrl/patch.yaml
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: peerpod-ctrl-controller-manager
     namespace: confidential-containers-system
   spec:
     template:
       spec:
         containers:
         - name: manager
           volumeMounts:
           - mountPath: /var/run/secrets/ack.alibabacloud.com/rrsa-tokens
             name: rrsa-oidc-token
             readOnly: true
         volumes:
         - name: rrsa-oidc-token
           projected:
             defaultMode: 420
             sources:
             - serviceAccountToken:
                 audience: sts.aliyuncs.com
                 expirationSeconds: 3600
                 path: token
   EOF

4. 應用上述配置。

   kubectl apply -k deployment/kustomize/peerpod-ctrl

5. 檢查服務是否正常啟動，確認Pod為Running狀態。

   kubectl -n confidential-containers-system get pod -l control-plane=controller-manager