Object Storage Service:Model broadcasting

Opção 1: Adquirir e configurar o Tair (Recomendado)

O Tair é o serviço de banco de dados em nuvem totalmente gerenciado da Alibaba Cloud, compatível com o protocolo Redis.

1. Crie uma instância Tair (versão 6,0 ou posterior, especificações mínimas). Visão geral do início rápido.

2. Configure uma lista de permissões para que os nós de inferência possam acessar a instância Tair.

3. Anote o Connection Address, Port Number, Username e Password para usar na configuração do model broadcasting.

Opção 2: Implantar um serviço Redis independente

Também é possível implantar o Redis em um cluster Kubernetes.

O YAML a seguir implanta o Redis com autenticação ACL.

1. Crie um arquivo de configuração ACL e gere um secret do Kubernetes.

   # Create ACL content
   cat > users.acl << EOF
   user default off -@all
   user Username on >Password ~* &* +@all
   EOF
   
   # Create a secret
   kubectl create secret generic redis-acl-secret \
     --from-file=users.acl \
     --dry-run=client -o yaml | kubectl apply -f -

   Nota

   Substitua Username e Password pelo nome de usuário e senha reais.

2. Aplique o YAML a seguir para implantar o Redis.

   # redis-service.yaml
   apiVersion: v1
   kind: Service
   metadata:
     name: redis
   spec:
     selector:
       app: model-redis
     ports:
       - protocol: TCP
         port: 6379
         targetPort: 6379
   
   ---
   # redis-deployment.yaml
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: model-redis-deployment
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: model-redis
     template:
       metadata:
         labels:
           app: model-redis
       spec:
         containers:
         - name: redis
           image: mirrors-ssl.aliyuncs.com/redis:8.4.0
           ports:
           - containerPort: 6379
           command: ["redis-server"]
           args:
           - "--aclfile"
           - "/etc/redis/users.acl"
           - "--maxmemory"
           - "900mb"
           - "--maxmemory-policy"
           - "volatile-lru"
           - "--save"
           - ""
           - "--appendonly"
           - "no"
           - "--loglevel"
           - "notice"
           resources:
             requests:
               memory: "1Gi"
               cpu: "100m"
             limits:
               memory: "1Gi"
               cpu: "200m"
           volumeMounts:
           - name: acl-config
             mountPath: /etc/redis/users.acl
             subPath: users.acl
         volumes:
         - name: acl-config
           secret:
             secretName: redis-acl-secret

3. Implante o serviço Redis.

   kubectl apply -f redis-service.yaml

{
  ...
  "broadcast": {
    "enableBroadcast": true,
    "tenant": "${P2P_KEY_PREFIX}",
    "db": {
      "host": "${P2P_REDIS_HOST}",
      "port": 6379,
      "username": "${P2P_REDIS_USERNAME}",
      "password": "${P2P_REDIS_PASSWD}"
    }
  },
  "bindPort": 19898
  ...
}

Teste na região de Pequim

Ambiente de teste

Tamanho de cache ilimitado

• Apenas um fluxo de retorno à origem é utilizado; todos os outros dados são transferidos via P2P, minimizando a pressão sobre a largura de banda do OSS.

• O tempo médio para disponibilização do modelo permanece próximo de O(1), independentemente do número de nós, demonstrando excelente escalabilidade horizontal.

Tamanho de cache limitado

O tempo de disponibilização do modelo foi testado para 1, 10, 50 e 100 nós iniciando simultaneamente, com o tamanho de cache ilimitado e limitado a 100, 60, 40, 20 e 0 GB.

• O model broadcasting funciona conforme o esperado em todos os limites de tamanho de cache.

• O impacto do limite de cache é consistente em todos os níveis de concorrência. Um cache de 40 GB ou mais não afeta significativamente o tempo de disponibilização do modelo. O desempenho cai visivelmente com 20 GB ou menos.

Teste na região de Ulanqab

Ambiente de teste

O tempo de disponibilização do modelo foi testado para 1, 10, 50 e 100 nós iniciando simultaneamente, com o tamanho de cache ilimitado e limitado a 60 e 0 GB.

Mesmo com largura de banda de download do OSS limitada, o model broadcasting mantém excelente escalabilidade horizontal e minimiza a pressão sobre a largura de banda da origem.