Container Service for Kubernetes:共有 NAS ボリュームの設定

事前準備

以下の要件を満たしていることを確認してください。

• 稼働中の ACK クラスター

• NAS ファイルシステムを作成して、ACK ストレージリソースを管理するための権限

• NAS ファイルシステムのマウントとデータの配置に使用する、ACK クラスターと同じ Virtual Private Cloud (VPC) 内の Elastic Compute Service (ECS) インスタンス

注意事項

以下の制約事項に注意してください。

• 同一 VPC 内に配置する必要があります。NAS ファイルシステム、そのマウントターゲット、および ACK クラスターは、すべて同じ VPC 内に存在する必要があります。

• プロトコルタイプは同時書き込みのパフォーマンスに影響します。複数の ECS インスタンスが同じファイルに同時に書き込まない場合、NFSv3 の方がパフォーマンスが優れています。Extreme NAS は NFSv3 のみをサポートします。

• PV 容量はマッチングにのみ使用されます。容量値は実際のストレージを制限しません。実際の制限は、NAS ファイルシステムの仕様によって決まります。

• 静的 PV は archiveOnDelete をサポートしません。静的 PV に Delete を設定しても、実際には PV や NAS データは削除されません。動的にプロビジョニングされた NAS ボリュームを使用する場合を除き、Retain (デフォルト) を使用してください。

背景情報

Arena ジョブ環境用に共有ストレージボリュームを設定することで、データサイエンティストの作業 (コードとデータ) がコンテナの削除時に失われることを防いで、共有トレーニングデータへのアクセスを容易にします。チーム開発では、共有ストレージプールを割り当てることで、データとコードをチーム全体で共有できます。

Arena ジョブを送信する際、--data パラメーターを使用して共有ストレージとマウントパスを指定できます。共有ストレージは指定されたディレクトリにマウントされ、後続の Job でこのデータやコードを再利用できます。

Kubernetes では、ストレージオブジェクトは PersistentVolume (PV) と PersistentVolumeClaim (PVC) で定義されます。クラスター管理者として環境を割り当てる際は、各データサイエンティストに個別の PVC を作成します。たとえば、ユーザー A とユーザー B の PVC は、同じ NAS または CPFS バックエンドをマウントできますが、作業環境を分離するために異なるサブディレクトリを指す必要があります。

ステップ 1: NAS インスタンスの作成

ACK クラスターと同じリージョンおよび VPC 内に General-purpose NAS ファイルシステムを作成します。

詳細については、「コンソールを使用して汎用 NAS ファイルシステムを作成する」をご参照ください。

以下の値を使用してください。

ステップ 2: ファイルシステムを ECS インスタンスにマウント

後でトレーニングデータを入力できるように、NAS ファイルシステムを ECS インスタンスにマウントします。 この手順では、ワンクリックマウント機能を使用します。 その他の方法については、「ファイルシステムをマウントするシナリオ」をご参照ください。

mkdir /mnt/dir1
mkdir /mnt/dir2
touch /mnt/file1
echo 'some file content' > /mnt/file2
ls /mnt

dir1  dir2  file1  file2

ステップ 3: PV と PVC の作成

NAS ファイルシステムを ACK クラスターに PV として登録し、Pod アクセス用の PVC を作成します。

kubectl get pvc pvc-nas

NAME       STATUS   VOLUME   CAPACITY   ACCESS MODES   STORAGECLASS   AGE
pvc-nas    Bound    pv-nas   5Gi        RWX                           1m

ステップ 4: PVC にデータを配置

Kubernetes クラスターは、ステップ 1 で作成された NAS インスタンスを指す PVC を介して共有データにアクセスするため、PVC のバッキングストレージである NAS にデータを格納するだけで済みます。次の手順では、サンプルのコンテナイメージから PyTorch および TensorFlow の MNIST データセットを NAS の指定されたディレクトリにコピーする 2 つの Kubernetes ジョブを作成します。この例では、ステップ 3 の PVC pvc-nas を使用します。

1. 次の内容で prepare-pytorch-mnist-data.yaml という名前のファイルを作成します。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-pytorch-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: pytorch-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/pytorch-mnist-example:2.5.1-cuda12.4-cudnn9-runtime
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/pytorch_data/MNIST/raw
             cp -r /data/MNIST/raw/* /mnt/pytorch_data/MNIST/raw || { echo "コピーに失敗しました"; exit 1; }
             echo "/mnt/pytorch_data/MNIST/raw に MNIST データを正常に準備しました。"
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

2. PyTorch MNIST データセットを NAS 上の /pytorch_data にコピーするジョブを作成します:

   # ジョブを作成
   kubectl create -f prepare-pytorch-mnist-data.yaml
   
   # ジョブが完了するまで待機
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-pytorch-mnist-data

   Job が正常に完了すると、以下が出力されます。

   job.batch/prepare-pytorch-mnist-data 条件が満たされました

3. 次の内容で prepare-tensorflow-mnist-data.yaml という名前のファイルを作成します。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: prepare-tensorflow-mnist-data
     namespace: default
   spec:
     completions: 1
     parallelism: 1
     backoffLimit: 3
     ttlSecondsAfterFinished: 3600
     template:
       spec:
         containers:
         - name: tensorflow-mnist-example
           image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/tensorflow-mnist-example:2.15.0-gpu
           imagePullPolicy: Always
           command:
           - /bin/bash
           - -c
           args:
           - |
             set -eux
             mkdir -p /mnt/tf_data
             cp -r /data/mnist.npz /mnt/tf_data/mnist.npz || { echo "コピーに失敗しました"; exit 1; }
             echo "MNIST データは /mnt/tf_data/mnist.npz に正常に準備されました。"
           resources:
             requests:
               cpu: 100m
               memory: 128Mi
             limits:
               cpu: 100m
               memory: 128Mi
           volumeMounts:
           - name: training-data
             mountPath: /mnt
         volumes:
         - name: training-data
           persistentVolumeClaim:
             claimName: pvc-nas
         restartPolicy: Never

4. TensorFlow MNIST データセットを NAS 上の /tf_data にコピーするジョブを作成します:

   # ジョブを作成
   kubectl create -f prepare-tensorflow-mnist-data.yaml
   
   # ジョブが完了するまで待機
   kubectl wait --for=condition=complete --namespace=default --timeout=300s job/prepare-tensorflow-mnist-data

   Job が正常に完了すると、以下が出力されます。

   job.batch/prepare-tensorflow-mnist-data 条件が満たされました

この例では、default namespace の pvc-nas という名前の PVC を使用します。お使いの PVC の名前が異なる場合や、別の namespace にある場合は、マニフェストを適宜調整してください。

/tf_data には TensorFlow MNIST データが、/pytorch_data には PyTorch MNIST データが格納されています。どちらのディレクトリも、pvc-nas をマウントするポッドからアクセスできます。

次のステップ

• --data を指定して Arena トレーニングジョブを提出し、pvc-nas をマウントします。

• ユーザー環境を分離するには、同じ NAS ファイルシステムの異なるサブディレクトリを指す個別の PVC を作成します。

• 本番ワークロードでは、CNFS を有効にすることをご検討ください。