Platform for AI(PAI)の Deep Learning Containers(DLC)、Data Science Workshop(DSW)、または Elastic Algorithm Service(EAS)では、Storage NAS(NAS)または Cloud Parallel File Storage(CPFS)データセットを特定のパスにマウントして、トレーニングファイル、デプロイメントファイル、および結果ファイルを保存できます。このトピックでは、汎用 NAS ファイルシステムを例として使用して、PAI のサブモジュールに NAS または CPFS データセットをマウントする方法について説明します。
前提条件
汎用 NAS ファイルシステムが作成されていること。詳細については、「ファイルシステムを作成する」をご参照ください。
手順 1:NAS データセットを作成する
EAS で NAS データをマウントする場合、追加の操作は必要ありません。DLC または DSW では、NAS データセットをマウントするか、NAS データを直接マウントできます。NAS データセットをマウントする場合は、事前に NAS データセットを作成する必要があります。詳細については、「データセットの作成と管理」をご参照ください。
NAS データセットを作成するリージョンは、DLC インスタンス、DSW インスタンス、および EAS サービスが存在し、データとコードが保存されているリージョンと同じである必要があります。
パラメーター | 説明 | |
データセットの構成 | ストレージタイプ | [汎用 NAS] を選択します。 |
バージョンの構成 | ファイルシステム | 作成された NAS ファイルシステムの ID。NAS コンソール |
ファイルシステムパス | NAS データセットをマウントする特定のパス。値を | |
デフォルトのマウントパス | DLC ジョブまたは DSW インスタンスにおける NAS データセットのマウントパス。値を | |
手順 2:NAS データセットを使用する
NAS データセットを作成した後、NAS データセットを使用して、DLC、DSW、または EAS の NAS ファイルシステムからデータを読み取ることができます。
DLC で NAS データセットをアタッチする
トレーニングジョブを作成する 際に、[ジョブの作成] ページの [環境情報] セクションで、トレーニングジョブに NAS ストレージをアタッチします。次の図は、主要なパラメーターを示しています。
パラメーター | 説明 |
データセット | [カスタムデータセット] をクリックし、汎用 NAS データセットを選択します。データセットを選択すると、システムはデータセットで構成されたマウントパスを自動的に関連付けます。DLC ジョブを実行すると、システムはこのパスから NAS ファイルシステムデータにアクセスします。また、[読み取り専用] をオンまたはオフにして、読み取りおよび書き込み権限を構成し、きめ細かい管理を実現することもできます。 |
直接マウント | [汎用 NAS] をクリックし、ファイルシステム関連のパラメーターを構成し、[マウントパス] パラメーターを構成して、データセットを DLC コンテナーの特定のパスにマウントします。DLC ジョブを実行すると、システムはこのパスから NAS ファイルシステムデータにアクセスします。また、[読み取り専用] をオンまたはオフにして、読み取りおよび書き込み権限を構成し、きめ細かい管理を実現することもできます。 [詳細設定] で nconnect パラメーターを構成して、NAS にアクセスするための DLC コンテナーのスループットを向上させることもできます。 nconnect パラメーターは、Linux ECS インスタンスに NFS ファイルシステムをマウントするためのオプションです。このパラメーターを使用して、NFS クライアントと ECS インスタンス間に複数の TCP 接続を確立し、スループットを向上させることができます。 nconnect パラメーターを 4 に設定することをお勧めします。サンプルコード: |
DSW で NAS データセットをアタッチする
DSW インスタンスを作成する 際に、NAS データセットをインスタンスにアタッチできます。次の図は、主要なパラメーターを示しています。
データセットのマウント:次のパラメーターを構成して、データセットをアタッチします。
カスタムデータセット:
をクリックします。[カスタムデータセット] パネルの [汎用 NAS] タブで、NAS データセットを選択します。マウントパス:データセットを選択すると、システムはデータセットで構成されたマウントパスを自動的に関連付けます。DSW 開発環境では、このパスから NAS ファイルシステムデータにアクセスできます。
作業ディレクトリ:ドロップダウンリストからデータセットを選択できます。その後、システムはデータセットを DSW の /mnt/workspace ディレクトリに同期します。
EAS で NAS データセットをアタッチする
EAS サービスをデプロイする 際に、NAS データセットを EAS サービスにアタッチできます。次の図は、主要なパラメーターを示しています。
[環境情報] セクションで、[モデル設定] を構成します。[標準 NAS] をクリックし、次のパラメーターを構成します。
ファイルシステムを選択:NAS ファイルシステムを選択します。
マウントターゲット:マウントターゲットを選択します。EAS サービスはこのマウントターゲットから NAS ファイルシステムにアクセスします。
ファイルシステムパス:NAS インスタンスの NAS データセットをマウントする特定のパス。
マウントパス:NAS データセットをサービスインスタンスにアタッチし、NAS からファイルを読み取るために使用するパス。