Object Storage Service：模型廣播

方案一：購買並配置雲資料庫Tair（推薦）

Tair是阿里雲提供的相容Redis協議的雲資料庫服務，具備高可用性和免營運的優勢。

1. 參考快速入門概覽建立Tair執行個體，版本需 ≥ 6.0，最低規格。

2. 設定白名單，確保推理節點能夠訪問Tair執行個體。

3. 準備好串連地址、連接埠號碼、帳號和密碼，用於後續配置模型廣播。

方案二：獨立部署Redis服務

如果不使用雲資料庫Tair，你也可以在Kubernetes叢集中自行部署Redis服務。

以下YAML檔案部署了一個包含ACL認證的Redis服務：

1. 建立ACL設定檔並產生Kubernetes Secret。

   # 建立 ACL 內容
   cat > users.acl << EOF
   user default off -@all
   user Username on >Password ~* &* +@all
   EOF
   
   # 建立 Secret
   kubectl create secret generic redis-acl-secret \
     --from-file=users.acl \
     --dry-run=client -o yaml | kubectl apply -f -

   說明

   請將Username和Password替換為實際的使用者名稱和密碼。

2. 使用以下YAML檔案部署Redis Service和Deployment。

   # redis-service.yaml
   apiVersion: v1
   kind: Service
   metadata:
     name: redis
   spec:
     selector:
       app: model-redis
     ports:
       - protocol: TCP
         port: 6379
         targetPort: 6379
   
   ---
   # redis-deployment.yaml
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: model-redis-deployment
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: model-redis
     template:
       metadata:
         labels:
           app: model-redis
       spec:
         containers:
         - name: redis
           image: mirrors-ssl.aliyuncs.com/redis:8.4.0
           ports:
           - containerPort: 6379
           command: ["redis-server"]
           args:
           - "--aclfile"
           - "/etc/redis/users.acl"
           - "--maxmemory"
           - "900mb"
           - "--maxmemory-policy"
           - "volatile-lru"
           - "--save"
           - ""
           - "--appendonly"
           - "no"
           - "--loglevel"
           - "notice"
           resources:
             requests:
               memory: "1Gi"
               cpu: "100m"
             limits:
               memory: "1Gi"
               cpu: "200m"
           volumeMounts:
           - name: acl-config
             mountPath: /etc/redis/users.acl
             subPath: users.acl
         volumes:
         - name: acl-config
           secret:
             secretName: redis-acl-secret

3. 執行以下命令部署Redis服務。

   kubectl apply -f redis-service.yaml

北京Region測試

測試環境

不限制緩衝大小

• 僅一份資料回源，其他均通過P2P傳輸，將OSS頻寬壓力降至最低。

• 平均模型就緒時間接近O(1)時間，不隨節點數線性增加，具有良好的水平擴充能力。

限制緩衝大小

分別測試不限制緩衝大小、限制緩衝大小到100/60/40/20/0 GB時，1/10/50/100節點同時啟動的模型就緒時間。

• 在不同緩衝限制下，模型廣播能正常工作，達到預期效果。

• 在不同並發下，限制緩衝對效能的影響基本一致。當緩衝 ≥ 40 GB時，限制緩衝對模型就緒時間影響不顯著；當緩衝 ≤ 20 GB時，效能開始明顯下降。

烏蘭察布Region測試

測試環境

分別測試不限制緩衝大小、限制緩衝大小到60/0 GB時，1/10/50/100節點同時啟動的模型就緒時間。

從測試結果看，當OSS下載頻寬受限時，模型廣播仍具備良好的水平擴充能力，將OSS頻寬壓力降至最低。