Deep Learning Containers (DLC) のトレーニングジョブを送信する際、コード設定またはマウントを使用して Object Storage Service (OSS)、File Storage NAS (NAS)、Cloud Parallel File Storage (CPFS)、または MaxCompute ストレージを設定できます。これにより、トレーニングプロセス中に指定されたストレージから直接データを読み書きできます。
前提条件
-
PAI (DLC) を有効化し、ワークスペースを作成済みであること。詳細については、「PAI の有効化とデフォルトワークスペースの作成」をご参照ください。
-
(オプション) Object Storage Service (OSS) ストレージを使用する場合は、以下の手順を完了してください。
-
OSS を有効化し、PAI に必要な権限を付与済みであること。詳細については、「OSS の有効化」および「PAI サービスアカウントの認可」をご参照ください。
-
OSS バケットを作成済みであること。詳細については、「コンソールクイックスタート」をご参照ください。
-
-
(オプション) File Storage NAS (NAS) を使用する場合は、汎用 NAS ファイルシステムを作成する必要があります。詳細については、「ファイルシステムの作成」をご参照ください。
-
(オプション) MaxCompute ストレージを使用する場合は、MaxCompute を有効化し、MaxCompute プロジェクトを作成する必要があります。詳細については、「MaxCompute の有効化」および「MaxCompute プロジェクトの作成」をご参照ください。
OSS ストレージの使用
マウントによる OSS ストレージの設定
Deep Learning Containers (DLC) のトレーニングジョブを作成する際、Object Storage Service (OSS) をマウントできます。以下のマウントタイプがサポートされています。設定の詳細については、「トレーニングジョブの作成」をご参照ください。
|
マウントタイプ |
説明 |
|
[データセットのマウント] |
カスタムデータセットまたはパブリックデータセットをマウントします。
Object Storage Service (OSS) タイプのデータセットを選択し、マウントパス を設定します。 DLC ジョブが実行されると、システムはこのパスで OSS データにアクセスします。 |
|
[ストレージのマウント] |
OSS バケットパスをマウントし、[読み取り専用] スイッチを使用して読み書き権限を設定します。 |
DLC は、OSS のマウントにおいて JindoFuse と ossfs をサポートしています。
マウントなしでの OSS ストレージの設定
DLC ジョブは、OSS PyTorch Connector または OSS SDK を使用して OSS のデータを読み書きできます。トレーニングジョブを作成する際、関連するコードファイルを設定します。コード例については、「OSS Connector for AI/ML」または「OSS SDK」をご参照ください。
[コード設定] セクションの [オンライン設定] タブで、ドロップダウンリストからコードソースを選択し、コードの [マウントパス] を入力します。
NAS/CPFS ストレージの使用
DLC ジョブを作成する際、NAS/CPFS タイプのカスタムデータセットをバインドするか、ストレージマウントを使用することで、NAS または CPFS ストレージを使用できます。設定の詳細については、「NAS/CPFS の使用」をご参照ください。
[データセットマウント] セクションで、[マウントパス] を設定します (例：/mnt/data/)。 [ストレージマウント] セクションで、[ファイルシステムの選択]、[ファイルシステムマウントポイント]、[ファイルシステムパス]、[マウントパス] の順に設定します (例：/mnt/data2/)。選択したストレージタイプに単一アベイラビリティーゾーンのリスクがある場合、オレンジ色の警告が表示されます。
|
マウントタイプ |
説明 |
|
[データセットのマウント] |
カスタムデータセットをマウントします。[読み取り専用] スイッチを使用して読み書き権限を設定できます。 |
|
[ストレージのマウント] |
NAS または CPFS ファイルシステムをマウントし、[読み取り専用] スイッチを使用して読み書き権限を設定します。 さらに、[詳細設定] で nconnect パラメータを設定して、DLC コンテナが NAS にアクセスする際のスループットを向上させることができます。nconnect は、NFS クライアント用の Linux マウントオプションで、クライアントとサーバー間でより多くの TCP トランスポート接続を確立することでスループットを向上させます。詳細については、「Linux オペレーティングシステムから NAS にアクセスする際のパフォーマンス低下を解決する方法」をご参照ください。例として、 |
MaxCompute ストレージの使用
MaxCompute ストレージはマウントなしで使用できます。トレーニングジョブを作成する際、関連するコードファイルを設定します。コード例については、「MaxCompute の使用」をご参照ください。
よくある質問
Q：PAIIO ジョブがエラーなしで 'killed' になる
この問題はリソース不足が原因です。PAIIO はメモリ使用量を制限しないため、MaxCompute データを読み取る際に大量のメモリを消費する可能性があります。OS やその他のシステムコンポーネントもリソースを消費するため、コンテナがメモリ不足になると、オペレーティングシステムがプロセスを終了させることがあります。