Container Service for Kubernetes:strmvol ボリュームを使用して小規模 OSS ファイルの読み取りパフォーマンスを最適化する

PV を作成します。

1. 次の YAML ファイルを変更し、strmvol-pv.yaml として保存します。

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: pv-strmvol
   spec:
     capacity:
     # OSS マウントポイントには最大 16 TiB のデータを格納できます。
       storage: 20Gi
     # ReadOnlyMany アクセスモードのみがサポートされています。
     accessModes:
       - ReadOnlyMany
     # リモートデータが削除されないように、Retain のみがサポートされています。
     persistentVolumeReclaimPolicy: Retain
     csi:
       driver: strmvolplugin.csi.alibabacloud.com
       volumeHandle: pv-strmvol
       # 作成したシークレットを使用します。
       nodeStageSecretRef:
         name: strmvol-secret
         namespace: default
       volumeAttributes:
         bucket: cnfs-oss-test
         path: /subpath
         # strmvol ボリュームは内部ネットワーク経由でのみ OSS データにアクセスできます。
         url: oss-cn-hangzhou-internal.aliyuncs.com
         umask: "000"
         directMode: "false"
         resourceLimit: "2c4g"

   • nodeStageSecretRef

     パラメータ	必須	説明
     name	必須	AccessKey 情報を格納するシークレットの名前。
     namespace	必須	AccessKey 情報を格納するシークレットの名前空間。

   • volumeAttributes

     パラメータ	必須	説明
     bucket	必須	マウントする OSS バケット。
     path	オプション	OSS バケットのマウント パス、これは、マウント時のバケットのルート ファイルを基準としたディレクトリ構造を表します。 重要 最小権限の原則に基づいてマウントパスを選択します。
     url	必須	OSS のマウントに使用する内部エンドポイント。内部エンドポイントは、OSS コンソールの [バケット] ページで確認できます。一般的なエンドポイント形式: http://oss-{{regionName}}-internal.aliyuncs.com または https://oss-{{regionName}}-internal.aliyuncs.com。 重要 内部アクセス エンドポイント形式 vpc100-oss-{{regionName}}.aliyuncs.com は非推奨です。できるだけ早く新しい形式に切り替えてください。
     umask	オプション	仮想ブロックデバイスがマウントされた後のデフォルトのファイルシステム権限のマスク。 デフォルトのファイルシステム権限として 755 を使用する場合、umask を 022 に設定します。
     directMode	オプション	ダイレクトモードを有効にするかどうかを指定します。 "true": ダイレクトモードを有効にすると、プリフェッチとローカルデータキャッシュが無効になります。このモードは、トレーニングデータセットのランダムバッチ読み取りなど、小規模ファイルのランダム読み取りに適しています。 "false": デフォルトでは、ダイレクトモードは無効になっています。このモードは、小規模ファイルと大規模ファイルの順次読み取りなどの一般的なシナリオに適しています。ビジネスに明らかなデータ読み取り機能がない場合は、ダイレクトモードを無効にします。
     resourceLimit	オプション	仮想ブロックデバイスがマウントされた後のノードの最大リソース制限。 たとえば、"2c4g" は、仮想ブロックデバイスがノードから最大 2 個の vCPU と 4 GiB のメモリを使用できることを示します。 説明 メモリはデータのプリフェッチとローカルキャッシュに使用されます。ダイレクトモードを有効にすると、必要なメモリはデフォルト値よりも大幅に少なくなります。 Alibaba Cloud Linux 3 以外のオペレーティングシステムでは、データ読み取りパフォーマンスの上限は同じです。したがって、高度なパフォーマンス構成を使用することはお勧めしません。詳細については、「データ読み取りパフォーマンステスト」をご参照ください。

2. PV を作成します。

   kubectl create -f strmvol-pv.yaml

3. PV のステータスを確認します。

   kubectl get pv pv-strmvol

   予期される出力:

   NAME         CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   VOLUMEATTRIBUTESCLASS   REASON   AGE
   pv-strmvol   20Gi       ROX            Retain           Available                          <unset>                          18s

永続ボリューム要求 (PVC) を作成します。

1. 次の YAML ファイルを変更し、strmvol-pvc-static.yaml として保存します。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # 次の構成は PV の構成と一致する必要があります。
     accessModes:
       - ReadOnlyMany
     resources:
       requests:
         storage: 20Gi
     volumeName: pv-strmvol

2. PVC を作成します。

   kubectl create -f strmvol-pvc-static.yaml

3. PVC のステータスを確認します。

   kubectl get pvc pvc-strmvol

   次の出力は、PV が PVC にバインドされていることを示しています。

   NAME            STATUS   VOLUME       CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol-2   Bound    pv-strmvol   20Gi       ROX                           <unset>                 16s

StorageClass を作成します。

1. 次の YAML ファイルを変更し、strmvol-sc.yaml として保存します。

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: strmvol-test
   parameters:
     # 作成したシークレットを使用します。
     csi.storage.k8s.io/node-stage-secret-name: strmvol-secret
     csi.storage.k8s.io/node-stage-secret-namespace: default
     bucket: cnfs-oss-test
     path: /subpath
     # strmvol ボリュームは内部ネットワーク経由でのみ OSS データにアクセスできます。
     url: oss-cn-hangzhou-internal.aliyuncs.com
     umask: "000"
     directMode: "false"
     resourceLimit: "2c4g"
   provisioner: strmvolplugin.csi.alibabacloud.com
   # リモートデータが削除されないように、Retain のみがサポートされています。
   reclaimPolicy: Retain
   volumeBindingMode: Immediate

   次の表で、parameters について説明します。

   • シークレットを構成する

     パラメータ	必須	説明
     csi.storage.k8s.io/node-stage-secret-name	必須	AccessKey 情報を格納するシークレットの名前。
     csi.storage.k8s.io/node-stage-secret-namespace	必須	AccessKey 情報を格納するシークレットの名前空間。

   • PV を構成する

     パラメータ	必須	説明
     bucket	必須	マウントする OSS バケット。
     path	オプション	注: このチュートリアルでは、基本的な WordPress のデプロイについて説明します。より高度な構成については、公式ドキュメントを参照してください。 重要 最小権限の原則に基づいてマウントパスを選択します。
     url	必須	OSS のマウントに使用する内部エンドポイント。内部エンドポイントは、OSS コンソールの [バケット] ページで確認できます。一般的なエンドポイント形式: http://oss-{{regionName}}-internal.aliyuncs.com または https://oss-{{regionName}}-internal.aliyuncs.com。 重要 内部アクセス エンドポイント形式 vpc100-oss-{{regionName}}.aliyuncs.com は非推奨です。できるだけ早く新しい形式に切り替えてください。
     umask	オプション	仮想ブロックデバイスがマウントされた後のデフォルトのファイルシステム権限のマスク。 デフォルトのファイルシステム権限として 755 を使用する場合、umask を 022 に設定します。
     directMode	オプション	ダイレクトモードを有効にするかどうかを指定します。 "true": ダイレクトモードを有効にすると、プリフェッチとローカルデータキャッシュが無効になります。このモードは、トレーニングデータセットのランダムバッチ読み取りなど、小規模ファイルのランダム読み取りに適しています。 "false": デフォルトでは、ダイレクトモードは無効になっています。このモードは、小規模ファイルと大規模ファイルの順次読み取りなどの一般的なシナリオに適しています。ビジネスに明らかなデータ読み取り機能がない場合は、ダイレクトモードを無効にします。
     resourceLimit	オプション	仮想ブロックデバイスがマウントされた後のノードの最大リソース制限。 たとえば、"2c4g" は、仮想ブロックデバイスがノードから最大 2 個の vCPU と 4 GiB のメモリを使用できることを示します。 説明 メモリはデータのプリフェッチとローカルキャッシュに使用されます。ダイレクトモードを有効にすると、必要なメモリはデフォルト値よりも大幅に少なくなります。 Alibaba Cloud Linux 3 以外のオペレーティングシステムでは、データ読み取りパフォーマンスの上限は同じです。したがって、高度なパフォーマンス構成を使用することはお勧めしません。詳細については、「データ読み取りパフォーマンステスト」をご参照ください。

2. StorageClass を作成します。

   kubectl create -f strmvol-sc.yaml

PVC を作成します。

1. 次の YAML ファイルを変更し、strmvol-pvc-dynamic.yaml として保存します。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: pvc-strmvol
     namespace: default
   spec:
     # ReadOnlyMany アクセスモードのみがサポートされています。
     accessModes:
       - ReadOnlyMany
     # StorageClass を指定します。
     storageClassName: strmvol-test
     resources:
       requests:
         # OSS マウントポイントには最大 16 TiB のデータを格納できます。
         storage: 20Gi

2. PVC を作成します。

   kubectl create -f strmvol-pvc-dynamic.yaml

3. PVC のステータスを確認します。

   kubectl get pvc pvc-strmvol

   次の出力は、CSI プラグインによって PV が自動的に作成され、PVC にバインドされていることを示しています。

   NAME          STATUS   VOLUME                                         CAPACITY   ACCESS MODES   STORAGECLASS   VOLUMEATTRIBUTESCLASS   AGE
   pvc-strmvol   Bound    strmvol-d8d1d22a-e1d7-4caa-b875-54f378dec769   20Gi       ROX            strmvol-test   <unset>                 3m