Container Service for Kubernetes:Best practices for OSS read/write splitting

Opción 1: escritura mediante un PV de ossfs de lectura y escritura

1. Cree un PV de ossfs 1.0 de solo lectura para el conjunto de datos. Los cambios clave de configuración son:

   • Establezca accessModes en ReadOnlyMany tanto en el PV como en el PVC. Monte la subruta del conjunto de datos /tf-train/train/data.

   • En otherOpts, agregue -o kernel_cache -o max_stat_cache_size=10000 -o umask=022:

     • kernel_cache habilita la caché de lectura en memoria.

     • max_stat_cache_size=10000 almacena 10,000 entradas de metadatos en caché (~40 MB). Ajústelo según el tipo de instancia y el tamaño del conjunto de datos.

     • umask=022 otorga acceso de lectura a los procesos del contenedor que no son root.

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: default
   stringData:
     akId: "<your-accesskey-id>"
     akSecret: "<your-accesskey-secret>"
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-train-pv
     labels:
       alicloud-pvname: tf-train-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-train-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o kernel_cache -o max_stat_cache_size=10000 -o umask=022 -o allow_other"
         path: "/tf-train/train/data"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-train-pvc
   spec:
     accessModes:
     - ReadOnlyMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-train-pv
   EOF

2. Cree un PV de ossfs 1.0 de lectura y escritura para los puntos de control, y monte la subruta /tf-train/training_logs. La caché de metadatos se deshabilita (max_stat_cache_size=0) porque las escrituras secuenciales de puntos de control no se benefician de ella.

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-logging-pv
     labels:
       alicloud-pvname: tf-logging-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-logging-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o max_stat_cache_size=0 -o allow_other"
         path: "/tf-train/training_logs"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-logging-pvc
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-logging-pv
   EOF

3. Despliegue el pod de entrenamiento con ambos PV montados.

   No se requieren cambios en el código. Monte ambos PV: el de solo lectura en /mnt/train/data y el de lectura y escritura en /mnt/training_logs .

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       app: tfjob
     name: tf-mnist
     namespace: default
   spec:
     containers:
     - command:
       - sh
       - -c
       - python /app/main.py
       env:
       - name: NVIDIA_VISIBLE_DEVICES
         value: void
       - name: gpus
         value: "0"
       - name: workers
         value: "1"
       - name: TEST_TMPDIR
         value: "/mnt"
       image: registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:rw
       imagePullPolicy: Always
       name: tensorflow
       ports:
       - containerPort: 20000
         name: tfjob-port
         protocol: TCP
       volumeMounts:
         - name: train
           mountPath: "/mnt/train/data"
         - name: logging
           mountPath: "/mnt/training_logs"
       workingDir: /root
     priority: 0
     restartPolicy: Never
     securityContext: {}
     terminationGracePeriodSeconds: 30
     volumes:
     - name: train
       persistentVolumeClaim:
         claimName: tf-train-pvc
     - name: logging
       persistentVolumeClaim:
         claimName: tf-logging-pvc
   EOF

Opción 2: escritura mediante el SDK de OSS

Escriba los puntos de control directamente en OSS con el SDK; no necesita un PV de lectura y escritura. El pod lee desde un PV de solo lectura y escribe mediante el SDK.

1. Agregue el SDK de Python de OSS a la imagen del contenedor:

   RUN pip install oss2

   Consulte Installation.

2. Modifique el código de entrenamiento para cargar los puntos de control con el SDK. El código original guarda los puntos de control en log_dir cada 100 iteraciones mediante tf.train.Saver con max_to_keep=0, lo que genera 10 conjuntos de puntos de control tras 1,000 iteraciones.

   • Establezca max_to_keep=1 para conservar solo el punto de control más reciente y reducir el consumo de memoria.

   • Cargue cada punto de control en OSS con put_object_from_file después de guardarlo.

   Use E/S asíncrona con el SDK para mejorar aún más el rendimiento cuando las rutas de lectura y escritura están separadas.

   def train():
       ...
   saver = tf.train.Saver(max_to_keep=0)
   
       for i in range(FLAGS.max_steps):
           if i % 10 == 0:  # Record summaries and test-set accuracy
               summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
               print('Accuracy at step %s: %s' % (i, acc))
               if i % 100 == 0:
                   print('Save checkpoint at step %s: %s' % (i, acc))
                   saver.save(sess, FLAGS.log_dir + '/model.ckpt', global_step=i)

   Reemplace el código anterior por cargas basadas en el SDK. Dos cambios reducen el consumo de memoria y eliminan el PV de lectura y escritura: lea la AccessKey y la configuración del bucket desde variables de entorno. Consulte Configure access credentials.

   import oss2
   from oss2.credentials import EnvironmentVariableCredentialsProvider
   
   auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
   url = os.getenv('URL','<default-url>')
   bucketname = os.getenv('BUCKET','<default-bucket-name>')
   bucket = oss2.Bucket(auth, url, bucketname)
   
   ...
   def train():
     ...
     saver = tf.train.Saver(max_to_keep=1)
   
    for i in range(FLAGS.max_steps):
       if i % 10 == 0:  # Record summaries and test-set accuracy
         summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
         print('Accuracy at step %s: %s' % (i, acc))
         if i % 100 == 0:
           print('Save checkpoint at step %s: %s' % (i, acc))
           saver.save(sess, FLAGS.log_dir + '/model.ckpt', global_step=i)
           # FLAGS.log_dir = os.path.join(os.getenv('TEST_TMPDIR', '/mnt'),'training_logs')
           for path,_,file_list in os.walk(FLAGS.log_dir) :
             for file_name in file_list:
               bucket.put_object_from_file(os.path.join('tf-train/training_logs', file_name), os.path.join(path, file_name))

   La imagen del contenedor modificada es registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:ro.

3. Despliegue el pod con el PV de solo lectura y las credenciales del SDK. El pod establece accessModes en ReadOnlyMany y pasa OSS_ACCESS_KEY_ID y OSS_ACCESS_KEY_SECRET para que el SDK se autentique con las mismas credenciales que el PV.

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: default
   stringData:
     akId: "<your-accesskey-id>"
     akSecret: "<your-accesskey-secret>"
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-train-pv
     labels:
       alicloud-pvname: tf-train-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-train-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o kernel_cache -o max_stat_cache_size=10000 -o umask=022 -o allow_other"
         path: "/tf-train/train/data"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-train-pvc
   spec:
     accessModes:
     - ReadOnlyMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-train-pv
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       app: tfjob
     name: tf-mnist
     namespace: default
   spec:
     containers:
     - command:
       - sh
       - -c
       - python /app/main.py
       env:
       - name: NVIDIA_VISIBLE_DEVICES
         value: void
       - name: gpus
         value: "0"
       - name: workers
         value: "1"
       - name: TEST_TMPDIR
         value: "/mnt"
       - name: OSS_ACCESS_KEY_ID      #The source of the AccessKey is the same as that of the PV.
         valueFrom:
           secretKeyRef:
             name: oss-secret
             key: akId
       - name: OSS_ACCESS_KEY_SECRET  #The source of the AccessKey is the same as that of the PV.
         valueFrom:
           secretKeyRef:
             name: oss-secret
             key: akSecret
       - name: URL                    #You can ignore this if a default URL is configured.
         value: "https://oss-<region>.aliyuncs.com"
       - name: BUCKET                 #You can ignore this if a default BUCKET is configured.
         value: "<bucket-name>"
       image: registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:ro
       imagePullPolicy: Always
       name: tensorflow
       ports:
       - containerPort: 20000
         name: tfjob-port
         protocol: TCP
       volumeMounts:
         - name: train
           mountPath: "/mnt/train/data"
       workingDir: /root
     priority: 0
     restartPolicy: Never
     securityContext: {}
     terminationGracePeriodSeconds: 30
     volumes:
     - name: train
       persistentVolumeClaim:
         claimName: tf-train-pvc
   EOF