对象存储 OSS：模型广播

方案一：购买并配置云数据库Tair（推荐）

Tair是阿里云提供的兼容Redis协议的云数据库服务，具备高可用性和免运维的优势。

1. 参考快速入门概览创建Tair实例，版本需 ≥ 6.0，最低规格。

2. 设置白名单，确保推理节点能够访问Tair实例。

3. 准备好连接地址、端口号、账号和密码，用于后续配置模型广播。

方案二：独立部署Redis服务

如果不使用云数据库Tair，你也可以在Kubernetes集群中自行部署Redis服务。

以下YAML文件部署了一个包含ACL认证的Redis服务：

1. 创建ACL配置文件并生成Kubernetes Secret。

   # 创建 ACL 内容
   cat > users.acl << EOF
   user default off -@all
   user Username on >Password ~* &* +@all
   EOF
   
   # 创建 Secret
   kubectl create secret generic redis-acl-secret \
     --from-file=users.acl \
     --dry-run=client -o yaml | kubectl apply -f -

   说明

   请将Username和Password替换为实际的用户名和密码。

2. 使用以下YAML文件部署Redis Service和Deployment。

   # redis-service.yaml
   apiVersion: v1
   kind: Service
   metadata:
     name: redis
   spec:
     selector:
       app: model-redis
     ports:
       - protocol: TCP
         port: 6379
         targetPort: 6379
   
   ---
   # redis-deployment.yaml
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: model-redis-deployment
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: model-redis
     template:
       metadata:
         labels:
           app: model-redis
       spec:
         containers:
         - name: redis
           image: mirrors-ssl.aliyuncs.com/redis:8.4.0
           ports:
           - containerPort: 6379
           command: ["redis-server"]
           args:
           - "--aclfile"
           - "/etc/redis/users.acl"
           - "--maxmemory"
           - "900mb"
           - "--maxmemory-policy"
           - "volatile-lru"
           - "--save"
           - ""
           - "--appendonly"
           - "no"
           - "--loglevel"
           - "notice"
           resources:
             requests:
               memory: "1Gi"
               cpu: "100m"
             limits:
               memory: "1Gi"
               cpu: "200m"
           volumeMounts:
           - name: acl-config
             mountPath: /etc/redis/users.acl
             subPath: users.acl
         volumes:
         - name: acl-config
           secret:
             secretName: redis-acl-secret

3. 执行以下命令部署Redis服务。

   kubectl apply -f redis-service.yaml

北京Region测试

测试环境

不限制缓存大小

• 仅一份数据回源，其他均通过P2P传输，将OSS带宽压力降至最低。

• 平均模型就绪时间接近O(1)时间，不随节点数线性增加，具有良好的水平扩展能力。

限制缓存大小

分别测试不限制缓存大小、限制缓存大小到100/60/40/20/0 GB时，1/10/50/100节点同时启动的模型就绪时间。

• 在不同缓存限制下，模型广播能正常工作，达到预期效果。

• 在不同并发下，限制缓存对性能的影响基本一致。当缓存 ≥ 40 GB时，限制缓存对模型就绪时间影响不显著；当缓存 ≤ 20 GB时，性能开始明显下降。

乌兰察布Region测试

测试环境

分别测试不限制缓存大小、限制缓存大小到60/0 GB时，1/10/50/100节点同时启动的模型就绪时间。

从测试结果看，当OSS下载带宽受限时，模型广播仍具备良好的水平扩展能力，将OSS带宽压力降至最低。