Container Service for Kubernetes:Best practices for OSS read/write splitting

Seçenek 1: Okuma/yazma ossfs PV'si kullanarak yazma

1. Veri kümesi için salt okunur bir ossfs 1,0 PV'si oluşturun. Temel yapılandırma değişiklikleri şunlardır:

   • Hem PV hem de PVC üzerinde accessModes değerini ReadOnlyMany olarak ayarlayın. Veri kümesi alt yolunu /tf-train/train/data olarak bağlayın.

   • otherOpts içine -o kernel_cache -o max_stat_cache_size=10000 -o umask=022 ekleyin:

     • kernel_cache bellek içi okuma önbelleğini etkinleştirir.

     • max_stat_cache_size=10000 10.000 meta veri girdisini (~40 MB) önbelleğe alır. Örnek türüne ve veri kümesi boyutuna göre ayarlayın.

     • umask=022 root olmayan kapsayıcı işlemlerine okuma erişimi sağlar.

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: default
   stringData:
     akId: "<your-accesskey-id>"
     akSecret: "<your-accesskey-secret>"
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-train-pv
     labels:
       alicloud-pvname: tf-train-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-train-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o kernel_cache -o max_stat_cache_size=10000 -o umask=022 -o allow_other"
         path: "/tf-train/train/data"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-train-pvc
   spec:
     accessModes:
     - ReadOnlyMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-train-pv
   EOF

2. Kontrol noktaları için /tf-train/training_logs alt yolunu bağlayan bir okuma/yazma ossfs 1,0 PV'si oluşturun. Sıralı kontrol noktası yazmaları önbellekten yararlanmadığı için meta veri önbelleğe alma devre dışı bırakılır (max_stat_cache_size=0).

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-logging-pv
     labels:
       alicloud-pvname: tf-logging-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-logging-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o max_stat_cache_size=0 -o allow_other"
         path: "/tf-train/training_logs"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-logging-pvc
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-logging-pv
   EOF

3. Her iki PV'yi de bağlanmış olarak eğitim pod'unu dağıtın.

   Kod değişikliği gerekmez. Her iki PV'yi de bağlayın: salt okunur PV'yi /mnt/train/data konumuna ve okuma/yazma PV'sini /mnt/training_logs konumuna bağlayın.

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       app: tfjob
     name: tf-mnist
     namespace: default
   spec:
     containers:
     - command:
       - sh
       - -c
       - python /app/main.py
       env:
       - name: NVIDIA_VISIBLE_DEVICES
         value: void
       - name: gpus
         value: "0"
       - name: workers
         value: "1"
       - name: TEST_TMPDIR
         value: "/mnt"
       image: registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:rw
       imagePullPolicy: Always
       name: tensorflow
       ports:
       - containerPort: 20000
         name: tfjob-port
         protocol: TCP
       volumeMounts:
         - name: train
           mountPath: "/mnt/train/data"
         - name: logging
           mountPath: "/mnt/training_logs"
       workingDir: /root
     priority: 0
     restartPolicy: Never
     securityContext: {}
     terminationGracePeriodSeconds: 30
     volumes:
     - name: train
       persistentVolumeClaim:
         claimName: tf-train-pvc
     - name: logging
       persistentVolumeClaim:
         claimName: tf-logging-pvc
   EOF

Seçenek 2: OSS SDK kullanarak yazma

Kontrol noktalarını doğrudan SDK ile OSS'e yazın; okuma/yazma PV'sine gerek yoktur. Pod, salt okunur bir PV'den okur ve SDK aracılığıyla yazar.

1. Kapsayıcı görüntüsüne OSS Python SDK'yı ekleyin:

   RUN pip install oss2

   Bkz. Kurulum.

2. Kontrol noktalarını SDK kullanarak yüklemek için eğitim kodunu değiştirin. Orijinal kod, her 100 yinelemede tf.train.Saver ve max_to_keep=0 kullanarak kontrol noktalarını log_dir konumuna kaydeder ve 1.000 yineleme sonunda 10 kontrol noktası seti üretir.

   • Bellek kullanımını azaltmak için yalnızca en son kontrol noktasını saklamak üzere max_to_keep=1 olarak ayarlayın.

   • Kaydettikten sonra her kontrol noktasını put_object_from_file ile OSS'e yükleyin.

   Okuma ve yazma yolları ayrıldığında aktarım hızını daha da artırmak için SDK ile asenkron G/Ç kullanın.

   def train():
       ...
   saver = tf.train.Saver(max_to_keep=0)
   
       for i in range(FLAGS.max_steps):
           if i % 10 == 0:  # Record summaries and test-set accuracy
               summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
               print('Accuracy at step %s: %s' % (i, acc))
               if i % 100 == 0:
                   print('Save checkpoint at step %s: %s' % (i, acc))
                   saver.save(sess, FLAGS.log_dir + '/model.ckpt', global_step=i)

   SDK tabanlı yüklemelerle değiştirin. İki değişiklik bellek kullanımını azaltır ve okuma/yazma PV'sini ortadan kaldırır: AccessKey ve paket ayarlarını ortam değişkenlerinden okuyun. Bkz. Erişim kimlik bilgilerini yapılandırma.

   import oss2
   from oss2.credentials import EnvironmentVariableCredentialsProvider
   
   auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
   url = os.getenv('URL','<default-url>')
   bucketname = os.getenv('BUCKET','<default-bucket-name>')
   bucket = oss2.Bucket(auth, url, bucketname)
   
   ...
   def train():
     ...
     saver = tf.train.Saver(max_to_keep=1)
   
    for i in range(FLAGS.max_steps):
       if i % 10 == 0:  # Record summaries and test-set accuracy
         summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
         print('Accuracy at step %s: %s' % (i, acc))
         if i % 100 == 0:
           print('Save checkpoint at step %s: %s' % (i, acc))
           saver.save(sess, FLAGS.log_dir + '/model.ckpt', global_step=i)
           # FLAGS.log_dir = os.path.join(os.getenv('TEST_TMPDIR', '/mnt'),'training_logs')
           for path,_,file_list in os.walk(FLAGS.log_dir) :
             for file_name in file_list:
               bucket.put_object_from_file(os.path.join('tf-train/training_logs', file_name), os.path.join(path, file_name))

   Değiştirilen kapsayıcı görüntüsü registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:ro şeklindedir.

3. Pod'u salt okunur PV ve SDK kimlik bilgileriyle dağıtın. Pod, accessModes değerini ReadOnlyMany olarak ayarlar ve SDK'nın PV ile aynı kimlik bilgileriyle kimlik doğrulaması yapabilmesi için OSS_ACCESS_KEY_ID ve OSS_ACCESS_KEY_SECRET değerlerini iletir.

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: default
   stringData:
     akId: "<your-accesskey-id>"
     akSecret: "<your-accesskey-secret>"
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-train-pv
     labels:
       alicloud-pvname: tf-train-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-train-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o kernel_cache -o max_stat_cache_size=10000 -o umask=022 -o allow_other"
         path: "/tf-train/train/data"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-train-pvc
   spec:
     accessModes:
     - ReadOnlyMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-train-pv
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       app: tfjob
     name: tf-mnist
     namespace: default
   spec:
     containers:
     - command:
       - sh
       - -c
       - python /app/main.py
       env:
       - name: NVIDIA_VISIBLE_DEVICES
         value: void
       - name: gpus
         value: "0"
       - name: workers
         value: "1"
       - name: TEST_TMPDIR
         value: "/mnt"
       - name: OSS_ACCESS_KEY_ID      #The source of the AccessKey is the same as that of the PV.
         valueFrom:
           secretKeyRef:
             name: oss-secret
             key: akId
       - name: OSS_ACCESS_KEY_SECRET  #The source of the AccessKey is the same as that of the PV.
         valueFrom:
           secretKeyRef:
             name: oss-secret
             key: akSecret
       - name: URL                    #You can ignore this if a default URL is configured.
         value: "https://oss-<region>.aliyuncs.com"
       - name: BUCKET                 #You can ignore this if a default BUCKET is configured.
         value: "<bucket-name>"
       image: registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:ro
       imagePullPolicy: Always
       name: tensorflow
       ports:
       - containerPort: 20000
         name: tfjob-port
         protocol: TCP
       volumeMounts:
         - name: train
           mountPath: "/mnt/train/data"
       workingDir: /root
     priority: 0
     restartPolicy: Never
     securityContext: {}
     terminationGracePeriodSeconds: 30
     volumes:
     - name: train
       persistentVolumeClaim:
         claimName: tf-train-pvc
   EOF