NAS からのデータの読み取りと NAS へのデータの書き込み - Platform For AI

前提条件

開始する前に、以下をご確認ください：

汎用 NAS ファイルシステムが作成済みであること。詳細については、「ファイルシステムの作成」をご参照ください。

ステップ1：NAS データセットの作成

EAS を使用している場合は、このステップをスキップしてください。EAS はデータセットオブジェクトを使用せずに NAS を直接マウントします。DLC および DSW の場合、データセットの代わりに [直接マウント] オプションを使用する場合にのみ、このステップをスキップしてください。

PAI で NAS データセットを作成し、DLC と DSW が名前でファイルシステムを参照できるようにします。詳細については、「データセットの作成と管理」をご参照ください。

重要

データセットは、お使いの DLC ジョブ、DSW インスタンス、EAS サービスと同じリージョン、かつデータとコードが格納されている場所に作成してください。

データセットの作成時に、次のパラメーターを設定します：

パラメーター	値
[ストレージタイプ]	汎用 NAS
[ファイルシステム]	NAS ファイルシステムの ID です。[NAS コンソール]にログインして ID を確認するか、ドロップダウンリストから選択します。
[ファイルシステムパス]	`/`
[デフォルトのマウントパス]	`/mnt/data/`

ステップ2：DLC、DSW、または EAS での NAS のマウント

データセットを作成したら、DLC トレーニングジョブ、DSW インスタンス、または EAS サービスを作成するときにアタッチします。

DLC での NAS のマウント

トレーニングジョブを作成する際、[環境情報] セクションでストレージを設定します。2 つのオプションが利用可能です:

オプション 1：[Custom dataset] (推奨)

[カスタムデータセット] をクリックし、汎用 NAS データセットを選択します。
データセットで設定されたマウントパスが自動的に適用されます。トレーニングジョブは、実行時にこのパスから読み取ります。
[読み取り専用] を切り替えて、読み書きアクセスを制御します。

オプション 2：[Directly mount]

[汎用 NAS] をクリックし、ファイルシステムパラメーターを設定します。
[マウントパス] に、DLC コンテナ内でデータにアクセスするためのパスを設定します。
[読み取り専用] を切り替えて、読み取り/書き込みアクセスを制御します。

nconnect によるスループットの向上 (オプション)

データ集約型のトレーニングジョブの場合、[詳細設定] で nconnect パラメーターを設定することで、NAS の読み取りスループットを向上させることができます。このパラメーターは、NFS クライアントとサーバー間に複数の TCP 接続を開き、単一の接続が飽和状態になったときのスループットを向上させます。

nconnect を 4 に設定することを推奨します：

{"nconnect":"4"}

DSW での NAS のマウント

DSW インスタンスを作成する際、[データセットのマウント] セクションでストレージを設定します:

[カスタムデータセット]: をクリックし、[汎用 NAS] タブに移動して、NAS データセットを選択します。データセットで設定されたマウントパスが自動的に適用されます。 DSW 開発環境にて、そのパスからファイルシステムにアクセスします。
[作業ディレクトリ]：ドロップダウンリストからデータセットを選択します。データセットは DSW の /mnt/workspace ディレクトリに同期されます。

EAS での NAS のマウント

EAS サービスをデプロイする際、[環境情報] セクションでストレージを設定します：

[モデル設定] で [標準 NAS] をクリックし、以下のパラメーターを設定します:

パラメーター	説明
[ファイルシステムの選択]	マウントする NAS ファイルシステム。
[マウントターゲット]	EAS がファイルシステムへのアクセスに使用するマウントターゲット。
[ファイルシステムパス]	サービスに公開する NAS ファイルシステム内のパス。
[マウントパス]	サービスコンテナ内で NAS データがアクセス可能になるパス。