容器计算服务 ACS：通过 ACK One 多集群舰队管理 Agent Sandbox

背景信息

Agent Sandbox是面向生产级 AI 智能体的沙箱算力。ACK One 舰队提供对多集群Agent Sandbox 的统一管理能力，支持以下调度特性：

• 单集群容量控制：每个子集群配置最大可运行 Sandbox 数量（Capacity），超出上限后调度器自动调度到其他尚有容量的集群，防止单集群过载。

• 水位均衡调度：默认根据各集群当前 Sandbox 使用水位进行均衡分配，充分利用多集群资源。

• 集群优先级调度：支持将集群划分为优先级分组，优先将 Sandbox 调度到指定集群组，资源不足时自动降级到下一优先级。

• 多集群故障转移：当某集群出现异常或进入维护状态时，新建的 Sandbox 和 SandboxClaim 会自动调度到其他健康集群，无需人工干预。

• E2B 协议接入：舰队提供面向 E2B 协议的 Multi-Cluster Gateway 统一入口与多集群调度能力，您可以通过 E2B SDK 在多个集群间创建和使用 Sandbox，无需感知 Sandbox 所在的具体集群。

准备工作

1. 开启舰队管理功能。

2. 在ACK One控制台获取舰队的 KubeConfig，并通过 kubectl 连接到舰队。

3. 参见管理关联集群，为舰队添加至少两个关联集群。

4. 参见安装组件，在所有关联集群中安装 Agent Sandbox 相关组件。

   重要

   ack-agent-sandbox-controller 组件版本需为 v0.5.13-release.1或更高。安装该组件时，请在 FeatureGate 中配置SandboxMultiClusterNaming=true，以确保 Sandbox ID 在多集群间唯一。

   说明

   如需使用多集群 Agent Sandbox 的 E2B 能力，在多个子集群中安装 ack-sandbox-manager 组件时，请为每个集群配置不同的 E2B domain。

5. 安装AMC命令行帮助工具。

步骤一：通过 SandboxSet 创建 Sandbox 预热池

1. 将下方示例保存到sandbox-set.yaml，然后执行kubectl apply -f sandbox-set.yaml，在舰队中创建 SandboxSet。

   SandboxSet 定义了 Sandbox 的模板和期望的可用副本数。

   apiVersion: agents.kruise.io/v1alpha1
   kind: SandboxSet
   metadata:
     name: code-interpreter
   spec:
     persistentContents:
     - filesystem
     replicas: 4
     runtimes:
     - name: csi
     - name: agent-runtime
     scaleStrategy: {}
     template:
       metadata:
         labels:
           alibabacloud.com/acs: "true"
           alibabacloud.com/compute-class: agent-sandbox
           alibabacloud.com/compute-qos: default
       spec:
         automountServiceAccountToken: false
         containers:
         - image: registry-cn-zhangjiakou.ack.aliyuncs.com/acs/code-interpreter:v1.6
           imagePullPolicy: IfNotPresent
           name: sandbox
           resources:
             limits:
               cpu: "1"
               memory: 1Gi
             requests:
               cpu: "1"
               ephemeral-storage: 30Gi
               memory: 1Gi
         restartPolicy: Always
     updateStrategy:
       maxUnavailable: 20%

2. 将下方示例保存到code-interpreter-pp.yaml，然后执行kubectl apply -f code-interpreter-pp.yaml。

   创建 SandboxSet 时，同时需要创建 PropagationPolicy 资源，通过spec.placement.replicaScheduling.replicaSchedulingType字段指定 SandboxSet 分发到关联集群的规则。spec.resourceSelectors.kind配置为SandboxSet时，replicaSchedulingType目前仅支持Duplicated选项，即每个关联集群都会创建一份完整的 SandboxSet 副本。

   preserveResourcesOnDeletion 设为 false 时，删除舰队上的资源会同步清理子集群上的资源。如需保留子集群资源，请设置为 true。

   apiVersion: policy.one.alibabacloud.com/v1alpha1
   kind: PropagationPolicy
   metadata:
     name: code-interpreter-pp
   spec:
     preserveResourcesOnDeletion: false
     resourceSelectors:
     - apiVersion: agents.kruise.io/v1alpha1
       kind: SandboxSet
     placement:
       replicaScheduling:
         replicaSchedulingType: Duplicated

3. 查看舰队中所有关联集群的 SandboxSet 状态（聚合显示）。

   kubectl get sandboxset

   预期输出：

   NAME               REPLICAS   AVAILABLE   UPDATEDREPLICAS   UPDATEDAVAILABLEREPLICAS   UPDATEREVISION   AGE
   code-interpreter   8          8           8                 8                          74bfb6****      

4. 查看不同关联集群中的 SandboxSet 状态。

   kubectl amc get sandboxset -M

   预期输出：

   NAME               CLUSTER          CLUSTER_ALIAS     REPLICAS   AVAILABLE   UPDATEDREPLICAS   UPDATEDAVAILABLEREPLICAS   UPDATEREVISION   AGE   ADOPTION
   code-interpreter   <cluster-id-1>   sandbox-cluster1  4          4           4                 4                          56fc44****       5d    Y
   code-interpreter   <cluster-id-2>   sandbox-cluster2  4          4           4                 4                          74bfb6****       5d    Y

5. （可选）使用 OverridePolicy 为不同集群指定不同的 SandboxSet 副本数和资源规格。

   以下示例为名为 code-interpreter的 SandboxSet 在两个集群中分别配置了不同的副本数量和规格：

   • CLUSTER_1_ID：5 副本，1CPU、2GiB 内存配置。

   • CLUSTER_2_ID：2 副本，2CPU、4GiB 内存配置。

   将下方示例保存到code-interpreter-op.yaml，然后执行kubectl apply -f code-interpreter-op.yaml。

   OverridePolicy 通过 JSON Patch 路径精确定位需要覆盖的字段。/spec/replicas 覆盖副本数配置，/spec/template/spec/containers/0/resources 覆盖容器资源配置。

   apiVersion: policy.one.alibabacloud.com/v1alpha1
   kind: OverridePolicy
   metadata:
     name: code-interpreter-op
   spec:
     resourceSelectors:
       - apiVersion: agents.kruise.io/v1alpha1
         kind: SandboxSet
         name: code-interpreter
     overrideRules:
       - targetCluster:
           clusterNames:
             - CLUSTER_1_ID
         overriders:
           plaintext:
             - operator: replace
               path: /spec/replicas
               value: 5
             - path: /spec/template/spec/containers/0/resources
               operator: add
               value:
                 requests:
                   cpu: "1"
                   memory: "2Gi"
                 limits:
                   cpu: "1"
                   memory: "2Gi"
       - targetCluster:
           clusterNames:
             - CLUSTER_2_ID
         overriders:
           plaintext:
             - operator: replace
               path: /spec/replicas
               value: 2
             - path: /spec/template/spec/containers/0/resources
               operator: add
               value:
                 requests:
                   cpu: "2"
                   memory: "4Gi"
                 limits:
                   cpu: "2"
                   memory: "4Gi"

步骤二：使用 Agent Sandbox

完成 Sandbox 预热池创建后，您可以通过以下任一方式使用 Agent Sandbox：

• SandboxClaim 方式：从预热池中申请 Sandbox 实例，通过 Kubernetes 原生的方式管理和使用，适用于基于 kubectl/CRD 的集群内使用场景。

• E2B SDK 方式：通过 E2B SDK 经由舰队的 Multi-Cluster Gateway 创建和使用 Sandbox，适用于 AI Agent 应用开发场景。

步骤三：（可选）配置多集群故障转移（Failover）

SandboxClaim 链路与 E2B 链路的多集群故障转移机制不同，请根据您的使用方式参考对应页签进行配置。

apiVersion: v1
kind: ConfigMap
metadata:
  name: sandbox-e2b-scheduler-config
  namespace: sandbox-system
data:
  config: |
    ...
    # Fields per cluster:
    #   disabled — bool, optional — drain the cluster (exclude from create scheduling)
    clusters:
    - name: $clusterid
      disabled: true
      ...