Object Storage Service:モデルブロードキャスト

オプション 1: Tair の購入と設定 (推奨)

Tair は、Alibaba Cloud のフルマネージド型クラウドデータベースサービスであり、Redis プロトコルと互換性があります。

1. Tair インスタンスを作成します。手順については、「クイックスタートの概要」をご参照ください。インスタンスのバージョンは 6.0 以降である必要があり、最小仕様を使用できます。

2. 推論ノードが Tair インスタンスにアクセスできるように、ホワイトリストを設定します。

3. モデルブロードキャストを設定するには、接続アドレス、ポート番号、ユーザー名、およびパスワードが必要です。

オプション 2: スタンドアロンの Redis サービスのデプロイ

または、Kubernetes クラスターに独自の Redis サービスをデプロイすることもできます。

以下の YAML 設定は、アクセス制御リスト (ACL) 認証を持つ Redis サービスをデプロイします。

1. ACL 設定ファイルを作成し、Kubernetes の Secret を生成します。

   # ACL コンテンツの作成
   cat > users.acl << EOF
   user default off -@all
   user Username on >Password ~* &* +@all
   EOF
   
   # Secret の作成
   kubectl create secret generic redis-acl-secret \
     --from-file=users.acl \
     --dry-run=client -o yaml | kubectl apply -f -

   説明

   Username と Password を実際のユーザー名とパスワードに置き換えてください。

2. 以下の設定を使用して、Redis サービスとそのデプロイメントをデプロイします。

   # redis-service.yaml
   apiVersion: v1
   kind: Service
   metadata:
     name: redis
   spec:
     selector:
       app: model-redis
     ports:
       - protocol: TCP
         port: 6379
         targetPort: 6379
   
   ---
   # redis-deployment.yaml
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: model-redis-deployment
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: model-redis
     template:
       metadata:
         labels:
           app: model-redis
       spec:
         containers:
         - name: redis
           image: mirrors-ssl.aliyuncs.com/redis:8.4.0
           ports:
           - containerPort: 6379
           command: ["redis-server"]
           args:
           - "--aclfile"
           - "/etc/redis/users.acl"
           - "--maxmemory"
           - "900mb"
           - "--maxmemory-policy"
           - "volatile-lru"
           - "--save"
           - ""
           - "--appendonly"
           - "no"
           - "--loglevel"
           - "notice"
           resources:
             requests:
               memory: "1Gi"
               cpu: "100m"
             limits:
               memory: "1Gi"
               cpu: "200m"
           volumeMounts:
           - name: acl-config
             mountPath: /etc/redis/users.acl
             subPath: users.acl
         volumes:
         - name: acl-config
           secret:
             secretName: redis-acl-secret

3. Redis サービスをデプロイするには、次のコマンドを実行します。

   kubectl apply -f redis-service.yaml

北京リージョンでのテスト

テスト環境

キャッシュサイズ無制限

• ソースへのデータストリームは 1 つだけ使用され、他のすべてのデータは P2P を介して転送されます。これにより、OSS への帯域幅の負荷が最小限に抑えられます。

• 平均モデル準備完了時間は O(1) に近く、ノード数に比例して増加しません。これは、優れた水平スケーリングを示しています。

キャッシュサイズ制限あり

キャッシュサイズを無制限、100 GB、60 GB、40 GB、20 GB、0 GB に制限した場合に、1、10、50、100 ノードが同時に起動したときのモデル準備完了時間をテストしました。

• モデルブロードキャストは、さまざまなキャッシュサイズ制限下で期待どおりに機能します。

• キャッシュ制限がパフォーマンスに与える影響は、すべての同時実行レベルで一貫しています。キャッシュサイズが 40 GB 以上の場合、モデル準備完了時間に大きな影響はありません。パフォーマンスは、キャッシュサイズが 20 GB 以下になると著しく低下し始めます。

ウランチャブリージョンでのテスト

テスト環境

キャッシュサイズを無制限、60 GB、0 GB に制限した場合に、1、10、50、100 ノードが同時に起動したときのモデル準備完了時間をテストしました。

OSS のダウンロード帯域幅が限られている場合でも、テスト結果は、モデルブロードキャストが優れた水平スケーリングを維持し、OSS への帯域幅の負荷を最小限に抑えることを示しています。