File Storage NAS は、Elastic Compute Service (ECS) インスタンス、Elastic High Performance Computing (E-HPC) クラスター、Container Service for Kubernetes (ACK) クラスターなどのコンピューティングサービス向けに設計されたファイルシステムサービスです。NAS は、シームレスな統合、共有ストレージ、およびセキュリティ管理を提供します。NAS は、ECS インスタンス、E-HPC クラスター、ACK クラスターなどのコンピューティングサービスが同じデータソースにアクセスする必要があるマルチクラスターアプリケーションに最適です。このトピックでは、共有 NAS ボリュームの構成方法について説明します。
背景情報
データサイエンティストの作業を保護し、共有トレーニングデータへのアクセスを提供するために、Arena ジョブ送信環境で共有永続ボリュームを構成してマウントできます。これにより、コンテナーが削除されても、コードやデータを含むデータサイエンティストの作業が保持されます。チーム開発では、共有ストレージプールを割り当てて、チームメンバー間でデータとコードを共有できます。
Arena でジョブを送信するときに、--data パラメーターを使用して、共有ストレージ構成とマウントパスを動作環境で宣言できます。その後、共有ストレージが指定されたディレクトリにマウントされます。これにより、ジョブはデータやコードを再利用できます。
Kubernetes では、ストレージは永続ボリューム (PV) と永続ボリューム要求 (PVC) を使用して管理されます。クラスター管理者として、環境を割り当てる際に、データサイエンティストごとに個別の PVC を作成する必要があります。たとえば、ユーザー A とユーザー B の PVC のバックエンドは、同じ NAS または CPFS ファイルシステムにマウントできます。ただし、動作環境を分離するには、異なるサブディレクトリを指定する必要があります。
ステップ 1: NAS インスタンスの作成
NAS インスタンスの作成方法の詳細については、「コンソールを使用して汎用型 NAS ファイルシステムを作成する」をご参照ください。
NAS インスタンスを作成する際は、次のパラメーター構成に注意してください。
[ファイルシステムタイプ] を [汎用] に設定します。
[リージョン] を ACK クラスターと同じリージョンに設定します。
[Virtual Private Cloud (VPC)] には、ACK クラスターと同じ VPC を選択します。
[プロトコルタイプ] を [NFS] に設定します。
ステップ 2: ファイルシステムのマウント
File Storage NAS インスタンスを作成した後、NFS ファイルシステムを同じ VPC 内の ECS インスタンスにマウントし、マウントを検証する必要があります。このトピックでは、コンソールでのワンクリックマウント機能を例として使用します。他のマウント方法の詳細については、「ファイルシステムをマウントするシナリオ」をご参照ください。
NAS ファイルシステムのマウント
NAS コンソールにログインし、次の手順を実行します。
左側のナビゲーションウィンドウで、 を選択します。
上部のナビゲーションバーで、ファイルシステムが存在するリソースグループとリージョンを選択します。
作成したファイルシステムを見つけ、[アクション] 列の [マウント] をクリックします。
説明NAS コンソールでマウント機能を初めて使用する場合は、AliyunServiceRoleForNasEcsHandler サービスリンクロールを NAS に割り当てる必要があります。ダイアログボックスの指示に従って権限付与を完了します。詳細については、「NAS のサービスリンクロール」をご参照ください。
[マウント] パネルで、ファイルシステムをマウントするための構成を実行します。
マウントポイントを選択し、[次へ] をクリックします。
ECS インスタンスを選択し、[次へ] をクリックします。
選択した ECS インスタンスは、ファイルシステムと同じ VPC に存在する必要があります。そうでない場合、NAS はネットワークが切断される可能性があることをプロンプトで表示します。注意して進めてください。
説明ドロップダウンリストから ECS インスタンスが見つからない場合は、ページをリフレッシュして再試行してください。
ECS インスタンスは 1 つしか選択できません。複数の ECS インスタンスに NAS ファイルシステムをマウントする場合は、「一度に複数の ECS インスタンスに NFS ファイルシステムをマウントする」をご参照ください。
ECS インスタンスにファイルシステムをマウントします。
パラメーター
説明
マウントパス
ファイルシステムをマウントする ECS インスタンスのローカルパスを入力します。
自動マウント
デフォルトでは、起動時の自動マウント が選択されています。ECS インスタンスを再起動しても、ファイルシステムを再マウントする必要はありません。
プロトコルタイプ
ファイルシステムのプロトコルタイプを選択します。
汎用型 NAS ファイルシステムは NFSv3 と NFSv4 をサポートします。一度に複数の ECS インスタンスで同じ NAS ファイルを変更する必要がない場合は、最適なパフォーマンスを確保するために NFSv3 を選択することをお勧めします。
超高速型 NAS ファイルシステムは NFSv3 のみをサポートします。
NAS ディレクトリ
NAS ファイルシステムのディレクトリを入力します。
ルートディレクトリ / またはサブディレクトリ (例: /abc) を入力できます。
説明ディレクトリが存在しない場合は、[新しいディレクトリの確認] を選択してファイルシステムにディレクトリを作成できます。さらに、ディレクトリを作成するためのユーザー識別子 (UID)、グループ識別子 (GID)、および POSIX 権限を構成する必要があります。そうしないと、デフォルト値とデフォルト権限が使用されてディレクトリが作成されます。
マウントパラメーター
デフォルトのマウントパラメーターを使用することをお勧めします。詳細については、「Linux ECS インスタンスに NFS ファイルシステムをマウントする」で説明されているマウントパラメーターをご参照ください。
[完了] をクリックします。
マウントには約 1〜2 分かかります。マウントステータスが [マウント済み] の場合、NAS ファイルシステムは ECS インスタンスにマウントされています。
マウントステータスが [失敗] の場合は、トラブルシューティングツールを使用して問題をトラブルシューティングできます。詳細については、「Linux ECS インスタンスに NFS ファイルシステムをマウントする」をご参照ください。
ファイルシステムがマウントされた後、ECS インスタンスに接続し、
mount -lまたはdf -hコマンドを実行して、マウントパラメーターまたはファイルシステムの容量を表示できます。
マウントの検証
ファイルシステムがマウントされた後、ECS インスタンス上で通常のディレクトリとしてアクセスして使用できます。次のセクションで例を示します。
リモートで ECS インスタンスに接続し、次のコマンドを実行して NAS ファイルシステムにアクセスします。
mkdir /mnt/dir1 mkdir /mnt/dir2 touch /mnt/file1 echo 'some file content' > /mnt/file2 ls /mnt次の図のようなメッセージが返された場合、汎用型 NAS NFS ファイルシステムに正常にアクセスできています。
File Storage NAS では、マウントポイントを使用してファイルシステムを ECS インスタンスにマウントする必要があります。マウントポイントの追加方法とマウントポイントアドレスの表示方法の詳細については、「マウントポイントの管理」をご参照ください。
マウントポイントを追加する際は、次の点に注意してください。
[マウントターゲットタイプ] を [VPC] に設定します。
[VPC ネットワーク] と [vSwitch] を ACK クラスターと同じ VPC と vSwitch に設定します。
ステップ 3: ACK クラスター用の PV と PVC の構成
PV の作成
PV を作成して、既存の NAS ファイルシステムをクラスターに登録します。
ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。
クラスター ページで、目的のクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、 を選択します。
[永続ボリューム] ページで、[作成] をクリックします。表示されるダイアログボックスでパラメーターを構成し、[作成] をクリックします。
設定項目
説明
例
永続ボリュームタイプ
[NAS] を選択します。
NAS
名前
PV の名前。名前はクラスター内で一意である必要があります。
pv-nas
総容量
PV の容量。これは PVC との照合にのみ使用され、実際に利用可能な容量を制限するものではありません。実際に利用可能なストレージの上限は、NAS ファイルシステムの総容量です。
NAS ファイルシステムの実際の容量制限は、その仕様によって決まります。詳細については、「汎用型 NAS ファイルシステム」および「超高速型 NAS ファイルシステム」をご参照ください。
5 Gi
アクセスモード
アクセスモードを構成します。有効な値:
ReadWriteMany: ボリュームは多くのノードによって読み取り/書き込みとしてマウントできます。
ReadWriteOnce: ボリュームは単一のノードによって読み取り/書き込みとしてマウントできます。
ReadWriteMany
CNFS の使用
Container Network File System (CNFS) を使用して、自動 O&M、キャッシュアクセラレーション、パフォーマンスモニタリングの強化された機能を活用するかどうか。
CNFS を使用して既存の NAS ファイルシステムを管理するには、「CNFS を作成して NAS ファイルシステムを管理する (推奨)」をご参照ください。
無効
マウントターゲットドメイン名
このパラメーターは、CNFS が無効になっている場合にのみ使用できます。
NAS マウントポイントのアドレス。
アドレスを取得するには、「マウントポイントの管理」をご参照ください。
[マウントターゲットの選択]: 以前に追加したマウントポイントアドレスを選択します。
[カスタム]: カスタムドメイン名をマウントアドレスとして使用します。カスタムドメイン名が宛先の NAS マウントポイントに解決されるように構成していることを確認してください。
0c47****-mpk25.cn-shenzhen.nas.aliyuncs.co
詳細オプション (オプション)
マウントパス
マウントする NAS ファイルシステムのサブディレクトリ。設定しない場合、デフォルトでルートディレクトリがマウントされます。
ディレクトリが NAS ファイルシステムに存在しない場合、システムは自動的にディレクトリを作成してマウントします。
汎用型 NAS ファイルシステムのルートディレクトリは
/です。超高速型 NAS ファイルシステムのルートディレクトリは
/shareです。サブディレクトリをマウントする場合、pathは/shareで始まる必要があります (例:/share/data)。
/data
再利用ポリシー
Retain (デフォルト): PVC が削除されても、PV と NAS ファイルは削除されません。手動で削除する必要があります。
Delete: これは
archiveOnDeleteと一緒に使用する必要があります。静的 PV はarchiveOnDeleteをサポートしていません。ポリシーを Delete に設定しても、PVC が削除されるときに PV と NAS ファイルは実際には削除されません。archiveOnDeleteを構成するには、「動的にプロビジョニングされた NAS ボリュームを使用する」をご参照ください。
Retain
マウントオプション
NAS ファイルシステムのマウントパラメーター (NFS プロトコル バージョンを含む)。NFSv3 を使用することをお勧めします。
nolock,tcp,noresvport
vers=3
ラベル
PV のラベル。
pv-nas
PV が作成された後、[永続ボリューム] ページで表示できます。
PVC の作成
PVC を作成して、アプリケーションが必要とする永続ストレージ容量を要求します。
クラスター管理ページの左側のナビゲーションウィンドウで、 を選択します。
[永続ボリューム要求] ページで、[作成] をクリックします。表示されるダイアログボックスでパラメーターを構成し、[作成] をクリックします。
設定項目
説明
例
永続ボリューム要求タイプ
[NAS] を選択します。
NAS
名前
PVC の名前。名前はクラスター内で一意である必要があります。
pvc-nas
プロビジョニングモード
[既存の永続ボリュームを使用] を選択します。
このトピックでは、以前に作成した PV を使用します。PV を作成していない場合は、[割り当てパターン] を [永続ボリュームの作成] に設定できます。
既存の永続ボリュームを使用
既存の永続ボリューム
以前に作成した PV を選択します。
pv-nas
総容量
要求する永続ボリュームの容量。要求された容量は PV との照合にのみ使用され、実際の容量を制限するものではありません。
NAS ファイルシステムの実際の容量制限は、その仕様によって決まります。詳細については、「汎用型 NAS ファイルシステム」および「超高速型 NAS ファイルシステム」をご参照ください。
5
アクセスモード
アクセスモード。有効な値:
ReadWriteMany(デフォルト): ボリュームは多くのノードによって読み取り/書き込みとしてマウントできます。ReadWriteOnce: ボリュームは単一のノードによって読み取り/書き込みとしてマウントできます。ReadOnlyMany: ボリュームは多くのノードによって読み取り専用としてマウントできます。
ReadWriteMany
ステップ 4: PVC へのデータ入力
Kubernetes クラスターは PVC を介して共有データにアクセスするため、ステップ 1 で作成した対応する NAS インスタンスにデータを入力するだけで済みます。
Workbench を使用して ACK クラスター内の任意の ECS ノードにログインします。詳細については、「Linux インスタンスへのログイン」をご参照ください。ECS インスタンスに接続する他の方法の詳細については、「ECS インスタンスへの接続方法の概要」をご参照ください。
ステップ 2 で、NFS ファイルシステムは ECS インスタンスの
/mntディレクトリにマウントされました。次のコマンドを実行して、マウントされたディレクトリにtf_data/とpytorch_data/の 2 つのディレクトリを作成します。これらのディレクトリには、それぞれTF-mnistとPytorch-mnistのトレーニングデータが格納されます。cd /mnt/ mkdir tf_data/ mkdir pytorch_data/次のコマンドを実行して、
TF-mnistデータセットをダウンロードします。cd tf_data git clone https://code.aliyun.com/xiaozhou/tensorflow-sample-code.git mv tensorflow-sample-code/data/* ./ && rm -rf tensorflow-sample-code次のコマンドを実行して、
Pytorch-mnistデータセットをダウンロードします。cd pytorch_data git clone https://code.aliyun.com/370272561/mnist-pytorch.git mv mnist-pytorch/MNIST ./ && rm -rf mnist-pytorch