Container Service for Kubernetes:共有 NAS ボリュームの設定

事前準備

以下が準備できていることを確認してください。

• 実行中の ACK クラスター

• NAS ファイルシステムを作成し、ACK のストレージリソースを管理するための権限

• NAS ファイルシステムをマウントしてデータを入力するために、ACK クラスターと同じ Virtual Private Cloud (VPC) 内にある Elastic Compute Service (ECS) インスタンス

注意事項

以下の制約にご注意ください。

• VPC のコロケーションが必須です。NAS ファイルシステム、そのマウントポイント、および ACK クラスターは、すべて同じ VPC 内に存在する必要があります。

• プロトコルタイプはマルチライターパフォーマンスに影響します。複数の ECS インスタンスが同じファイルに同時に書き込みを行わない場合、NFSv3 の方がパフォーマンスが向上します。エクストリーム NAS は NFSv3 のみをサポートします。

• PV の容量はマッチングにのみ使用されます。容量の値は実際のストレージを制限するものではありません。実際の制限は NAS ファイルシステムの仕様に依存します。

• 静的 PV は `archiveOnDelete` をサポートしていません。静的 PV に 削除 を設定しても、実際には PV や NAS のデータは削除されません。動的にプロビジョニングされた NAS ボリュームを使用する場合を除き、Retain (デフォルト) を使用してください。

背景情報

Arena のジョブ環境用に共有ストレージボリュームを設定することで、データサイエンティストの作業 (コードとデータ) がコンテナの削除時に失われるのを防ぎ、共有トレーニングデータへのアクセスを容易にします。チーム開発では、共有ストレージプールを割り当てることで、チーム全体でデータとコードを共有できます。

Arena ジョブをサブミットする際に、--data パラメーターを使用して共有ストレージとマウントパスを宣言できます。共有ストレージは指定されたディレクトリにマウントされ、後続のジョブでこのデータやコードを再利用できます。

Kubernetes では、ストレージオブジェクトは永続ボリューム (PV) と永続ボリューム要求 (PVC) によって記述されます。クラスター管理者として環境を割り当てる際は、データサイエンティストごとに個別の PVC を作成します。例えば、ユーザー A とユーザー B の PVC は同じ NAS または CPFS バックエンドをマウントできますが、作業環境を分離するために異なるサブディレクトリを指す必要があります。

ステップ 1：NAS インスタンスの作成

ACK クラスターと同じリージョンおよび VPC に、汎用 NAS ファイルシステムを作成します。

詳細については、「コンソールを使用した汎用 NAS ファイルシステムの作成」をご参照ください。

以下の値を使用します。

ステップ 2：ECS インスタンスへのファイルシステムのマウント

後でトレーニングデータを入力するために、NAS ファイルシステムを ECS インスタンスにマウントします。このステップでは、ワンクリックマウント機能を使用します。その他の方法については、「ファイルシステムをマウントするシナリオ」をご参照ください。

マウントの確認

ECS インスタンスに接続し、以下のコマンドを実行してアクセスを確認します。

mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mnt

出力には dir1、dir2、file1、および file2 がリストされます。

マウントの詳細を表示したり、容量を確認したりするには、mount -l または df -h を実行します。

各 NAS ファイルシステムにはマウントポイントが必要です。マウントポイントの追加や検索については、「マウントポイントの管理」をご参照ください。[マウントターゲットタイプ] を [VPC] に設定し、ACK クラスターと同じ VPC と vSwitch を選択します。

ステップ 3：PV と PVC の作成

ACK クラスターに NAS ファイルシステムを PV として登録し、Pod がアクセスするための PVC を作成します。

kubectl get pvc pvc-nas

NAME       STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-nas    Bound    pv-nas   5Gi        RWX                           1m

ステップ 4：PVC へのデータ入力

Kubernetes クラスターは PVC (ステップ 1 で作成した NAS インスタンスを指す) を介して共有データにアクセスするため、PVC のバックエンドである NAS にデータを入力するだけで済みます。以下の手順では、PyTorch と TensorFlow の MNIST データセットをサンプルコンテナイメージから NAS の指定されたディレクトリにコピーする 2 つの Kubernetes ジョブを作成します。この例では、ステップ 3 の PVC pvc-nas を使用します。

1. 次の内容で prepare-pytorch-mnist-data.yaml という名前のファイルを作成します。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-pytorch-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: pytorch-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/pytorch-mnist-example:2.5.1-cuda12.4-cudnn9-runtime
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/pytorch_data/MNIST/raw
             cp -r /data/MNIST/raw/* /mnt/pytorch_data/MNIST/raw || { echo "Copy failed"; exit 1; }
             echo "MNIST data prepared successfully at /mnt/pytorch_data/MNIST/raw."
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

2. ジョブを作成して、PyTorch MNIST データセットを NAS の /pytorch_data にコピーします。

   # ジョブの作成
   kubectl create -f prepare-pytorch-mnist-data.yaml
   
   # ジョブの完了を待機
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-pytorch-mnist-data

   ジョブが正常に終了すると、出力は次のようになります。

   job.batch/prepare-pytorch-mnist-data condition met

3. 次の内容で prepare-tensorflow-mnist-data.yaml という名前のファイルを作成します。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-tensorflow-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: tensorflow-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/tf_data
             cp -r /data/mnist.npz /mnt/tf_data/mnist.npz || { echo "Copy failed"; exit 1; }
             echo "MNIST data prepared successfully at /mnt/tf_data/mnist.npz."
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

4. ジョブを作成して、TensorFlow MNIST データセットを NAS の /tf_data にコピーします。

   # ジョブの作成
   kubectl create -f prepare-tensorflow-mnist-data.yaml
   
   # ジョブの完了を待機
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-tensorflow-mnist-data

   ジョブが正常に終了すると、出力は次のようになります。

   job.batch/prepare-tensorflow-mnist-data condition met

この例では、default 名前空間の pvc-nas という名前の PVC を使用します。PVC の名前が異なる場合や、異なる名前空間にある場合は、マニフェストを適宜調整してください。

/tf_data には TensorFlow MNIST データが、/pytorch_data には PyTorch MNIST データが含まれています。どちらも pvc-nas をマウントする任意の Pod からアクセスできます。

次のステップ

• Arena のトレーニングジョブを --data を付けてサブミットし、pvc-nas をマウントします。

• ユーザー環境を分離するには、同じ NAS ファイルシステムの異なるサブディレクトリを指す個別の PVC を作成します。

• 本番ワークロードでは、CNFS の有効化をご検討ください。