Cloud Parallel File Storage (CPFS) for Lingjun は、Alibaba Cloud Platform for AI (PAI) とシームレスに統合されています。Deep Learning Containers (DLC)、Data Science Workshop (DSW)、Elastic Algorithm Service (EAS) などの PAI モジュールで CPFS for Lingjun を構成できます。これは、デプロイメントとトレーニング用のファイルや結果ファイルを保存するためのデータセットとして使用できます。このトピックでは、PAI モジュールに CPFS for Lingjun データセットをマウントする方法について説明します。
前提条件
CPFS for Lingjun ファイルシステムが作成されていること。詳細については、「ファイルシステムの作成」をご参照ください。
CPFS for Lingjun ファイルシステム用にシングルテナントの Lingjun リソースを準備する場合、クラスターの作成時に [ソフトウェアインスタンスの基本パラメーター] の [CPFS] タブで CPFS for Lingjun を構成するだけで済みます。構成が完了すると、自動デプロイメント中に Lingjun クラスターが自動的に初期化され、CPFS for Lingjun ファイルシステムがマウントされます。詳細については、「ACK を有効にして Lingjun クラスターを作成する」をご参照ください。
CPFS for Lingjun データセットの作成
EAS で CPFS for Lingjun をマウントする場合、データセットを作成する必要はありません。ただし、DLC および DSW で CPFS for Lingjun データセットをマウントする場合は、事前に基本的なデータセットを作成する必要があります。次の表に、主要なパラメーターを示します。
パラメーター | 説明 | |
データセット構成 | ストレージタイプ | [CPFS For LINGJUN] を選択します。 |
インポート構成 | ファイルシステム | 作成した CPFS for Lingjun ファイルシステムの ID を構成します。NAS コンソールにログオンし、クラスターを作成するリージョンで、またはドロップダウンリストから CPFS for Lingjun ファイルシステムの ID を表示します。 |
ファイルシステムパス | CPFS for Lingjun ファイルシステムのマウントパス。たとえば、マウントパスを | |
デフォルトのマウントパス | DLC および DSW にマウントされる CPFS for Lingjun ファイルシステムのマウントパス。たとえば、マウントパスを | |
CPFS for Lingjun データセットのマウント
データセットが作成された後、DLC、DSW、または EAS にマウントされている CPFS for Lingjun データセットからデータを読み取ります。
次の 3 つのメソッドを使用して CPFS をマウントする場合、CPFS インスタンスと Lingjun GPU が同じゾーンおよびクラスターにあることを確認してください。
DLC で
DLC で分散トレーニングジョブを作成する場合、[環境情報] セクションで CPFS for Lingjun ファイルシステムを構成します。次の表に、主要なパラメーターを示します。
パラメーター | 説明 |
データセット | [カスタムデータセット] をクリックし、CPFS for Lingjun データセットを選択して、[マウントパス] パラメーターを設定します。DLC ジョブを実行すると、システムはこのパスにある CPFS for Lingjun ファイルシステムからデータにアクセスします。[読み取り専用] をトリガーして、カスタムデータセットの読み取りおよび書き込み権限を構成します。 |
直接マウント | Lingjun リソースを使用するタスクのみが、名前が BMCPFS で始まる CPFS for Lingjun ファイルシステムを使用できます。[BMCPFS] をクリックしてファイルシステムのパラメーターを構成し、次にマウントパスを構成してデータセットを DLC コンテナーの指定されたパスにマウントします。 DLC ジョブを実行すると、システムはこのパスにある CPFS for Lingjun ファイルシステムからデータにアクセスします。[読み取り専用] をトリガーして、カスタムデータセットの読み取りおよび書き込み権限を構成します。 |
タスクが一般的な計算リソースを使用する場合、CPFS for Lingjun と同じ virtual private cloud (VPC) を構成する必要があります。そうしないと、送信された DLC トレーニングジョブが環境の準備中に長時間留まる可能性があります。CPFS for Lingjun ファイルシステムが VPC にアクセスできない場合は、VPC マウントポイントを追加し、VPC 情報を構成します。
DSW で
DSW インスタンスを作成する場合、CPFS for Lingjun データセットを構成します。次の表に、主要なパラメーターを示します。
パラメーター | 説明 |
カスタムデータセット |
|
マウントパス | データセットを選択すると、データセットのマウントパスが [マウントパス] エリアに表示されます。DSW 開発環境では、このパスを使用して CPFS for Lingjun ファイルシステムからデータにアクセスします。 |
をクリックし、作成した [CPFS For Lingjun] のデータセットを選択します。[リソースクォータ] パラメーターで一般的な計算リソースを選択した場合、CPFS for Lingjun と同じ VPC を構成する必要があります。CPFS for Lingjun ファイルシステムが VPC にアクセスできない場合は、VPC マウントポイントを追加し、VPC 情報を構成します。
EAS で
Lingjun リソースを使用して EAS サービスをデプロイする場合、CPFS for Lingjun ファイルシステムをマウントします。以下に主要なパラメーターを示します。
[環境情報] セクションで [モデル設定] を構成し、マウントタイプとして [CPFS For Lingjun] を選択し、次のパラメーターを構成します。
[ファイルシステムの選択]: Alibaba Cloud アカウントの Cloud Parallel File Storage (CPFS) ファイルシステムを選択します。
[ファイルシステムパス]: ファイルが保存されている CPFS パス。
[マウントパス]: サービスインスタンスのマウントパス。マウントパスは、CPFS ファイルシステムからファイルを読み取るために使用されます。
参考
Alibaba Cloud アカウント B のソース OSS バケットと Alibaba Cloud アカウント A の CPFS for Lingjun ファイルシステムとの間にデータフローを作成するには、「CPFS for Lingjun データフロー (招待プレビュー)」をご参照ください。
ファイルシステムのディレクトリのストレージ容量とファイル数量制限を管理するには、「ファイルセットのクォータ管理」をご参照ください。
ファイルシステムのパフォーマンスを理解するには、「データモニタリング」をご参照ください。