Container Service for Kubernetes:strmvol ボリュームを使用した OSS の小規模ファイルの読み取りの最適化

PersistentVolume (PV) を作成します。

1. 以下の内容で strmvol-pv.yaml という名前のファイルを作成します。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # マウントされた OSS パスは最大 16 TiB のデータを保存できます。
       storage: 20Gi
     # ReadOnlyMany アクセスモードのみがサポートされています。
     accessModes:
       - ReadOnlyMany
     # 偶発的なデータ損失を防ぐため、Retain ポリシーのみがサポートされています。
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # 前提条件のステップで作成したシークレットを使用します。
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol ボリュームは、内部ネットワーク経由での OSS データへのアクセスのみをサポートします。
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • nodeStageSecretRef のパラメーター

     パラメーター	必須	説明
     name	はい	AccessKey 情報を保存するシークレットの名前。
     namespace	はい	AccessKey 情報を含むシークレットの名前空間。

   • volumeAttributes のパラメーター

     パラメーター	必須	説明
     bucket	はい	マウントする OSS バケット。
     path	いいえ	OSS バケット内でマウントするディレクトリのパス。このパスはバケットのルートからの相対パスです。 重要 最小権限の原則に基づいてマウントパスを選択してください。
     url	はい	OSS の内部エンドポイント。これは、OSS コンソールのバケットの概要ページに表示されるエンドポイントと一致する必要があります。内部エンドポイントの一般的なフォーマットは次のとおりです： http://oss-{{regionName}}-internal.aliyuncs.com または https://oss-{{regionName}}-internal.aliyuncs.com。 重要 vpc100-oss-{{regionName}}.aliyuncs.com 内部エンドポイントフォーマットは非推奨です。できるだけ早く新しいフォーマットに更新してください。
     umask	いいえ	仮想ブロックデバイスがマウントされた後のファイルシステムの権限マスク。 たとえば、デフォルトのファイル権限を `755` に設定するには、`umask` を `022` に設定します。
     directMode	いいえ	ダイレクトモードを有効にするかどうかを指定します。 "true"：ダイレクトモードを有効にします。これにより、データプリフェッチとローカルキャッシュが無効になります。これは、訓練データセットのランダムなバッチ読み取りなど、ランダム読み取りシナリオに適しています。 "false"：ダイレクトモードを無効にします (デフォルト)。これは、小規模ファイルのシーケンシャル読み取りや大規模ファイルの読み取りなど、汎用的なシナリオに適しています。アプリケーションに特定のデータアクセスパターンがない場合は、このモードを無効のままにしてください。
     resourceLimit	いいえ	仮想ブロックデバイスが消費できる最大のノードリソース。 たとえば、"2c4g" は、仮想ブロックデバイスがノードから最大 2 vCPU と 4 GiB のメモリを使用できることを示します。 説明 メモリは主にデータプリフェッチとローカルキャッシュに使用されます。ダイレクトモードが有効な場合、メモリ使用量はプリセット値よりも大幅に低くなります。 Alibaba Cloud Linux 3 以外のオペレーティングシステムでは、設定に関係なく読み取り性能はほぼ同じです。そのため、高いリソース制限は推奨されません。詳細については、「データ読み取り性能テスト」をご参照ください。

2. PV を作成します。

   kubectl create -f strmvol-pv.yaml

3. PV のステータスを確認します。

   kubectl get pv pv-strmvol

   期待される出力：

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

PersistentVolumeClaim (PVC) を作成します。

1. 以下の内容で strmvol-pvc-static.yaml という名前のファイルを作成します。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # 以下の設定は PV の構成と一致する必要があります。
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. PVC を作成します。

   kubectl create -f strmvol-pvc-static.yaml

3. PVC のステータスを確認します。

   kubectl get pvc pvc-strmvol

   期待される出力は、PVC が PV にバインドされていることを示します。

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

StorageClass を作成します。

1. 以下の内容で strmvol-sc.yaml という名前のファイルを作成します。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # 前提条件のステップで作成したシークレットを使用します。
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret  
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test 
     path: /subpath
     # strmvol ボリュームは、内部ネットワーク経由での OSS データへのアクセスのみをサポートします。
     url: oss-cn-hangzhou-internal.aliyuncs.com 
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # 偶発的なデータ損失を防ぐため、Retain ポリシーのみがサポートされています。
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   parameters のパラメーターは以下のとおりです：

   • シークレット設定

     パラメーター	必須	説明
     csi.storage.k8s.io/node-stage-secret-name	はい	AccessKey 情報を保存するシークレットの名前。
     csi.storage.k8s.io/node-stage-secret-namespace	はい	AccessKey 情報を含むシークレットの名前空間。

   • ボリューム設定

     パラメーター	必須	説明
     bucket	はい	マウントする OSS バケット。
     path	いいえ	OSS バケット内でマウントするディレクトリのパス。このパスはバケットのルートからの相対パスです。 重要 最小権限の原則に基づいてマウントパスを選択してください。
     url	はい	OSS の内部エンドポイント。これは、OSS コンソールのバケットの概要ページに表示されるエンドポイントと一致する必要があります。内部エンドポイントの一般的なフォーマットは次のとおりです： http://oss-{{regionName}}-internal.aliyuncs.com または https://oss-{{regionName}}-internal.aliyuncs.com。 重要 vpc100-oss-{{regionName}}.aliyuncs.com 内部エンドポイントフォーマットは非推奨です。できるだけ早く新しいフォーマットに更新してください。
     umask	いいえ	仮想ブロックデバイスがマウントされた後のファイルシステムの権限マスク。 たとえば、デフォルトのファイル権限を `755` に設定するには、`umask` を `022` に設定します。
     directMode	いいえ	ダイレクトモードを有効にするかどうかを指定します。 "true"：ダイレクトモードを有効にします。これにより、データプリフェッチとローカルキャッシュが無効になります。これは、訓練データセットのランダムなバッチ読み取りなど、ランダム読み取りシナリオに適しています。 "false"：ダイレクトモードを無効にします (デフォルト)。これは、小規模ファイルのシーケンシャル読み取りや大規模ファイルの読み取りなど、汎用的なシナリオに適しています。アプリケーションに特定のデータアクセスパターンがない場合は、このモードを無効のままにしてください。
     resourceLimit	いいえ	仮想ブロックデバイスが消費できる最大のノードリソース。 たとえば、"2c4g" は、仮想ブロックデバイスがノードから最大 2 vCPU と 4 GiB のメモリを使用できることを示します。 説明 メモリは主にデータプリフェッチとローカルキャッシュに使用されます。ダイレクトモードが有効な場合、メモリ使用量はプリセット値よりも大幅に低くなります。 Alibaba Cloud Linux 3 以外のオペレーティングシステムでは、設定に関係なく読み取り性能はほぼ同じです。そのため、高いリソース制限は推奨されません。詳細については、「データ読み取り性能テスト」をご参照ください。

2. StorageClass を作成します。

   kubectl create -f strmvol-sc.yaml

PVC を作成します。

1. 以下の内容で strmvol-pvc-dynamic.yaml という名前のファイルを作成します。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # ReadOnlyMany アクセスモードのみがサポートされています。
     accessModes:
       - ReadOnlyMany
     # StorageClass を指定します。
     storageClassName: strmvol-test
     resources:
       requests:
         # マウントされた OSS パスは最大 16 TiB のデータを保存できます。
         storage: 20Gi

2. PVC を作成します。

   kubectl create -f strmvol-pvc-dynamic.yaml

3. PVC のステータスを確認します。

   kubectl get pvc pvc-strmvol

   期待される出力は、PVC が CSI ドライバーによって自動的にプロビジョニングされた PV にバインドされていることを示します。

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m