Container Service for Kubernetes:OSS 読み書き分離のベストプラクティス

オプション 1：読み取り/書き込み ossfs PersistentVolume を使用した書き込み

1. データセット用の読み取り専用 ossfs 1.0 PersistentVolume を作成します。主な構成変更は次のとおりです。

   • PersistentVolume と PersistentVolumeClaim の両方で accessModes を ReadOnlyMany に設定します。データセットサブパス /tf-train/train/data をマウントします。

   • otherOpts に -o kernel_cache -o max_stat_cache_size=10000 -o umask=022 を追加します。

     • kernel_cache はメモリ内読み取りキャッシュを有効にします。

     • max_stat_cache_size=10000 は 10,000 個のメタデータエントリ (約 40 MB) をキャッシュします。インスタンスタイプとデータセットサイズに応じて調整してください。

     • umask=022 は非 root コンテナプロセスに読み取りアクセスを許可します。

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: default
   stringData:
     akId: "<your-accesskey-id>"
     akSecret: "<your-accesskey-secret>"
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-train-pv
     labels:
       alicloud-pvname: tf-train-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-train-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o kernel_cache -o max_stat_cache_size=10000 -o umask=022 -o allow_other"
         path: "/tf-train/train/data"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-train-pvc
   spec:
     accessModes:
     - ReadOnlyMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-train-pv
   EOF

2. チェックポイント用の読み取り/書き込み ossfs 1.0 PersistentVolume を作成し、サブパス /tf-train/training_logs をマウントします。シーケンシャルなチェックポイント書き込みはキャッシュの恩恵を受けないため、メタデータキャッシュは無効 (max_stat_cache_size=0) にします。

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-logging-pv
     labels:
       alicloud-pvname: tf-logging-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-logging-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o max_stat_cache_size=0 -o allow_other"
         path: "/tf-train/training_logs"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-logging-pvc
   spec:
     accessModes:
     - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-logging-pv
   EOF

3. 両方の PersistentVolume をマウントしてトレーニング Pod をデプロイします。

   コード変更は不要です。両方の PersistentVolume をマウントします。読み取り専用 PersistentVolume を /mnt/train/data に、読み取り/書き込み PersistentVolume を /mnt/training_logs にマウントします。

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       app: tfjob
     name: tf-mnist
     namespace: default
   spec:
     containers:
     - command:
       - sh
       - -c
       - python /app/main.py
       env:
       - name: NVIDIA_VISIBLE_DEVICES
         value: void
       - name: gpus
         value: "0"
       - name: workers
         value: "1"
       - name: TEST_TMPDIR
         value: "/mnt"
       image: registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:rw
       imagePullPolicy: Always
       name: tensorflow
       ports:
       - containerPort: 20000
         name: tfjob-port
         protocol: TCP
       volumeMounts:
         - name: train
           mountPath: "/mnt/train/data"
         - name: logging
           mountPath: "/mnt/training_logs"
       workingDir: /root
     priority: 0
     restartPolicy: Never
     securityContext: {}
     terminationGracePeriodSeconds: 30
     volumes:
     - name: train
       persistentVolumeClaim:
         claimName: tf-train-pvc
     - name: logging
       persistentVolumeClaim:
         claimName: tf-logging-pvc
   EOF

オプション 2：OSS SDK を使用した書き込み

SDK を使用してチェックポイントを OSS に直接書き込みます。この方法では読み取り/書き込み PersistentVolume は不要です。Pod は読み取り専用 PersistentVolume から読み取り、SDK 経由で書き込みます。

1. OSS Python SDK をコンテナイメージに追加します。

   RUN pip install oss2

   詳細については、「インストール」をご参照ください。

2. SDK を使用してチェックポイントをアップロードするようにトレーニングコードを変更します。元のコードは、log_dir に 100 イテレーションごとにチェックポイントを保存し、tf.train.Saver を max_to_keep=0 で使用して、1,000 イテレーション後に 10 個のチェックポイントセットを生成します。

   • max_to_keep=1 に設定して最新のチェックポイントのみを保持し、メモリ使用量を削減します。

   • 保存後、put_object_from_file で各チェックポイントを OSS にアップロードします。

   読み取りパスと書き込みパスが分離されている場合、SDK で非同期 I/O を使用してスループットをさらに向上させることができます。

   def train():
       ...
   saver = tf.train.Saver(max_to_keep=0)
   
       for i in range(FLAGS.max_steps):
           if i % 10 == 0:  # 概要とテストセットの精度を記録
               summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
               print('Accuracy at step %s: %s' % (i, acc))
               if i % 100 == 0:
                   print('Save checkpoint at step %s: %s' % (i, acc))
                   saver.save(sess, FLAGS.log_dir + '/model.ckpt', global_step=i)

   SDK ベースのアップロードに置き換えます。この変更によりメモリ使用量が削減され、読み取り/書き込み PersistentVolume が不要になります。AccessKey とバケット設定は環境変数から読み取ります。詳細については、「アクセス認証情報の構成」をご参照ください。

   import oss2
   from oss2.credentials import EnvironmentVariableCredentialsProvider
   
   auth = oss2.ProviderAuth(EnvironmentVariableCredentialsProvider())
   url = os.getenv('URL','<default-url>')
   bucketname = os.getenv('BUCKET','<default-bucket-name>')
   bucket = oss2.Bucket(auth, url, bucketname)
   
   ...
   def train():
     ...
     saver = tf.train.Saver(max_to_keep=1)
   
    for i in range(FLAGS.max_steps):
       if i % 10 == 0:  # 概要とテストセットの精度を記録
         summary, acc = sess.run([merged, accuracy], feed_dict=feed_dict(False))
         print('Accuracy at step %s: %s' % (i, acc))
         if i % 100 == 0:
           print('Save checkpoint at step %s: %s' % (i, acc))
           saver.save(sess, FLAGS.log_dir + '/model.ckpt', global_step=i)
           # FLAGS.log_dir = os.path.join(os.getenv('TEST_TMPDIR', '/mnt'),'training_logs')
           for path,_,file_list in os.walk(FLAGS.log_dir) :
             for file_name in file_list:
               bucket.put_object_from_file(os.path.join('tf-train/training_logs', file_name), os.path.join(path, file_name))

   変更されたコンテナイメージは registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:ro です。

3. 読み取り専用 PersistentVolume と SDK 認証情報を使用して Pod をデプロイします。Pod では accessModes を ReadOnlyMany に設定し、OSS_ACCESS_KEY_ID と OSS_ACCESS_KEY_SECRET を渡すことで、SDK が PersistentVolume と同じ認証情報で認証されるようにします。

   cat << EOF | kubectl apply -f -
   apiVersion: v1
   kind: Secret
   metadata:
     name: oss-secret
     namespace: default
   stringData:
     akId: "<your-accesskey-id>"
     akSecret: "<your-accesskey-secret>"
   ---
   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: tf-train-pv
     labels:
       alicloud-pvname: tf-train-pv
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadOnlyMany
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: ossplugin.csi.alibabacloud.com
       volumeHandle: tf-train-pv
       nodePublishSecretRef:
         name: oss-secret
         namespace: default
       volumeAttributes:
         bucket: "<your-bucket-name>"
         url: "oss-<region>.aliyuncs.com"
         otherOpts: "-o kernel_cache -o max_stat_cache_size=10000 -o umask=022 -o allow_other"
         path: "/tf-train/train/data"
   ---
   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: tf-train-pvc
   spec:
     accessModes:
     - ReadOnlyMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         alicloud-pvname: tf-train-pv
   ---
   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       app: tfjob
     name: tf-mnist
     namespace: default
   spec:
     containers:
     - command:
       - sh
       - -c
       - python /app/main.py
       env:
       - name: NVIDIA_VISIBLE_DEVICES
         value: void
       - name: gpus
         value: "0"
       - name: workers
         value: "1"
       - name: TEST_TMPDIR
         value: "/mnt"
       - name: OSS_ACCESS_KEY_ID      # AccessKey のソースは PersistentVolume と同じです。
         valueFrom:
           secretKeyRef:
             name: oss-secret
             key: akId
       - name: OSS_ACCESS_KEY_SECRET  # AccessKey のソースは PersistentVolume と同じです。
         valueFrom:
           secretKeyRef:
             name: oss-secret
             key: akSecret
       - name: URL                    # デフォルトの URL が設定されている場合は省略可能です。
         value: "https://oss-<region>.aliyuncs.com"
       - name: BUCKET                 # デフォルトの BUCKET が設定されている場合は省略可能です。
         value: "<bucket-name>"
       image: registry.cn-beijing.aliyuncs.com/tool-sys/tf-train-demo:ro
       imagePullPolicy: Always
       name: tensorflow
       ports:
       - containerPort: 20000
         name: tfjob-port
         protocol: TCP
       volumeMounts:
         - name: train
           mountPath: "/mnt/train/data"
       workingDir: /root
     priority: 0
     restartPolicy: Never
     securityContext: {}
     terminationGracePeriodSeconds: 30
     volumes:
     - name: train
       persistentVolumeClaim:
         claimName: tf-train-pvc
   EOF