Platform for AI (PAI) は、DLC、DSW、および EAS での CPFS AI Edition のマウントをサポートしています。これにより、データ、コード、モデルを単一コピーで保存し、複数箇所からアクセスできるようになります。冗長なコピーやコードの変更を行うことなく、すべての段階でパスの一貫性を保つことができます。
前提条件
-
CPFS AI Edition は、VSC と VPC の 2 つのアクセスチャンネルを提供します。VSC チャンネルは RDMA プロトコルを使用し、ファイルシステムのピークパフォーマンスを最大限に活用できます。VPC チャンネルは TCP プロトコルを使用し、ファイルシステムあたりのデフォルトの読み取り帯域幅は 10 GB/s、書き込み帯域幅は 5 GB/s です。両チャンネルの完全なパフォーマンス仕様については、「製品仕様」をご参照ください。使用するリソースタイプに基づいて、対応するネットワーク設定を完了してください。リソースタイプの詳細については、「PAI リソース概要」をご参照ください。
-
Lingjun AI コンピューティングリソース:まず、Lingjun リソースと CPFS が同じコンピューティングとストレージのアフィニティドメインにあるかどうかを判断します (下記の説明をご参照ください)。同じアフィニティドメインにある場合、VSC チャンネルが使用され、追加の設定は不要です。同じアフィニティドメインにない場合、VPC チャンネルが使用されるため、CPFS ファイルシステム用のVPC マウントポイントを作成する必要があります。
-
汎用コンピューティングリソース:VPC チャンネルが使用されます。CPFS ファイルシステム用のVPC マウントポイントを作成する必要があります。また、DLC/DSW/EAS タスクで使用される VPC は、VPC マウントポイントと同じ VPC であるか、Cloud Enterprise Network (CEN) を介して接続されている必要があります。
-
Lingjun と CPFS が同じコンピューティングとストレージのアフィニティドメインにあるかどうかの判断方法
-
ターゲットの CPFS ファイルシステム ID を渡して DescribeFilesystemsAssociatedHpnZones を呼び出し、そのファイルシステムと同じコンピューティングとストレージのアフィニティドメインを共有する Lingjun HPNZone のリストを取得します。
-
Lingjun OpenAPI または PAI コンソールを介して、使用予定の Lingjun リソースの HPNZone を照会します。
-
Lingjun の HPNZone がリスト内のエントリと一致する場合、リソースは同じコンピューティングとストレージのアフィニティドメインにあります。一致しない場合は、異なるアフィニティドメインにあります。
常に API の応答を正式な結果として信頼してください。アベイラビリティゾーンや HPNZone の値が同じであるというだけで判断しないでください。同じクラスター番号を持つコンピューティングリソースとストレージリソースは、同じコンピューティングとストレージのアフィニティドメインに属します。クラスター番号が異なるリソースでも、同じアフィニティドメインに属する場合があります。ただし、異なるアベイラビリティゾーンにある Lingjun リソースと CPFS リソースが、同じコンピューティングとストレージのアフィニティドメインに属することはありません。
DLC での CPFS のマウント
DLC トレーニングタスクを作成する際、直接マウントまたはデータセットマウントによって CPFS ストレージを設定できます。DLC トレーニングタスクの完全な設定については、「トレーニングジョブの作成」をご参照ください。
-
リソースクォータが汎用コンピューティングリソースの場合、VPC を設定する必要があり、選択した VPC は CPFS マウントポイントの VPC と同じである必要があります。CPFS AI Edition ファイルシステムに VPC が設定されていない場合は、「VPC マウントポイントの管理」から設定してください。
-
Lingjun リソースが使用され、アフィニティドメインをまたぐアクセスが発生した場合、システムは自動的に VPC アクセスチャンネルに切り替わります。この場合も、CPFS ファイルシステム用のVPC マウントポイントを作成する必要があります。
一度限りのパラメーターチューニングには直接マウントを使用し、チームでの共同作業や頻繁なタスク作成にはデータセットマウントを使用します。
直接マウント
-
PAI コンソールにログインし、対象のワークスペースに移動します。
-
左側のナビゲーションウィンドウで、[分散トレーニング (DLC)] を選択し、[タスクの作成] をクリックします。
-
[環境情報] セクションの [ストレージマウント] で、[CPFS for AI] をクリックします。
-
次のマウントパラメーターを設定します:
パラメーター
説明
ファイルシステム
作成した CPFS AI Edition ファイルシステムのインスタンスを選択します。
ファイルシステムマウントポイント
(任意) CPFS ファイルシステムの VPC マウントポイントのドメイン名を選択します。これは、コンピューティングリソースと CPFS ファイルシステムが同じコンピューティングとストレージのアフィニティドメインにない場合にのみ必須です。同じアフィニティドメインにある場合は、VSC チャンネルを介して直接アクセスが提供されるため、このフィールドを入力する必要はありません。
コンピューティングとストレージのアフィニティドメインの判断方法については、「前提条件」をご参照ください。
ファイルシステムパス
マウントする CPFS ディレクトリを指定します。
/はファイルシステム全体をマウントします。サブディレクトリを指定することもできます。マウントパス
サービスインスタンス内で CPFS にアクセスするためのパスです (例:
/mnt/data/)。読み取り専用
マウントされたディレクトリの読み取り/書き込み権限を設定します。
-
他の設定を完了した後、タスクを送信します。
データセットマウント
ストレージ設定を再利用するには、データセットマウント方式を使用できます。まず、「CPFS AI Edition データセットの作成」を行います。
-
PAI コンソールにログインし、対象のワークスペースに移動します。
-
左側のナビゲーションウィンドウで、[分散トレーニング (DLC)] を選択し、[タスクの作成] をクリックします。
-
[データセットマウント] セクションで、[カスタムデータセット] をクリックします。
-
[ファイルストレージ - CPFS for AI] タブに切り替え、作成したデータセットを選択し、[OK] をクリックします。
-
マウントパスを確認し、必要に応じて [読み取り専用] を設定します。
-
他の設定を完了した後、タスクを送信します。
DSW での CPFS のマウント
DSW インスタンスを作成する際、直接マウントまたはデータセットマウントによって CPFS ストレージを設定できます。DSW インスタンスの完全な設定については、「DSW インスタンスの作成」をご参照ください。
-
リソースクォータが汎用コンピューティングリソースの場合、VPC を設定する必要があり、選択した VPC は CPFS マウントポイントの VPC と同じである必要があります。CPFS AI Edition ファイルシステムに VPC が設定されていない場合は、「VPC マウントポイントの管理」から設定してください。
-
Lingjun リソースが使用され、アフィニティドメインをまたぐアクセスが発生した場合、システムは自動的に VPC アクセスチャンネルに切り替わります。この場合も、CPFS ファイルシステム用のVPC マウントポイントを作成する必要があります。
一度限りのパラメーターチューニングには直接マウントを使用し、チームでの共同作業や頻繁なインスタンス作成にはデータセットマウントを使用します。
直接マウント
-
PAI コンソールにログインし、対象のワークスペースに移動します。
-
左側のナビゲーションウィンドウで、[インタラクティブモデリング (DSW)] を選択し、[インスタンスの作成] をクリックします。
-
[環境情報] セクションの [ストレージマウント] で、[CPFS for AI] をクリックします。
-
マウントパラメーターを設定します:
パラメーター
説明
ファイルシステム
作成した CPFS AI Edition ファイルシステムのインスタンスを選択します。
ファイルシステムマウントポイント
(任意) CPFS ファイルシステムの VPC マウントポイントのドメイン名を選択します。これは、コンピューティングリソースと CPFS ファイルシステムが同じコンピューティングとストレージのアフィニティドメインにない場合にのみ必須です。同じアフィニティドメインにある場合は、VSC チャンネルを介して直接アクセスが提供されるため、このフィールドを入力する必要はありません。
コンピューティングとストレージのアフィニティドメインの判断方法については、「前提条件」をご参照ください。
ファイルシステムパス
マウントする CPFS ディレクトリを指定します。
/はファイルシステム全体をマウントします。サブディレクトリを指定することもできます。マウントパス
サービスインスタンス内で CPFS にアクセスするためのパスです (例:
/mnt/data/)。読み取り専用
マウントされたディレクトリの読み取り/書き込み権限を設定します。
-
他の設定を完了した後、インスタンスを作成します。
データセットマウント
データセットは、複数のタスクで再利用するためにストレージ設定を保存します。まず、「CPFS AI Edition データセットの作成」を行います。
-
PAI コンソールにログインし、対象のワークスペースに移動します。
-
左側のナビゲーションウィンドウで、[インタラクティブモデリング (DSW)] を選択し、[インスタンスの作成] をクリックします。
-
[データセットマウント] セクションで、[カスタムデータセット] をクリックします。
-
[ファイルストレージ - CPFS for AI] タブに切り替え、作成したデータセットを選択し、[OK] をクリックします。
-
他の設定を完了した後、インスタンスを作成します。
EAS での CPFS のマウント
EAS サービスをデプロイする際、直接マウントによって CPFS ストレージを設定できます。EAS サービスの完全な設定については、「カスタムデプロイ」をご参照ください。
-
EAS は直接マウントのみをサポートし、データセットマウントはサポートしていません。リソースクォータが汎用コンピューティングリソースに設定されている場合、VPC を設定する必要があり、選択した VPC は CPFS マウントポイントの VPC と同じである必要があります。CPFS AI Edition ファイルシステムに VPC が設定されていない場合は、まず「VPC マウントポイントの管理」を行ってください。
-
Lingjun リソースが使用され、アフィニティドメインをまたぐアクセスが発生した場合、システムは自動的に VPC アクセスチャンネルに切り替わります。この場合も、CPFS ファイルシステム用のVPC マウントポイントを作成する必要があります。
-
PAI コンソールにログインし、対象のワークスペースに移動します。
-
左側のナビゲーションウィンドウで、Elastic Algorithm Service (EAS) を選択し、オンライン推論サービス タブを選択します。
-
[サービスのデプロイ] > [カスタムデプロイ] をクリックします。
-
[環境情報] セクションの [ストレージマウント] で、[CPFS for AI] をクリックします。
-
次のマウントパラメーターを設定します:
パラメーター
説明
ストレージ権限リソースグループ
ストレージ権限リソースグループを選択します。
ファイルシステム
作成した CPFS AI Edition ファイルシステムのインスタンスを選択します。
ファイルシステムパス
マウントする CPFS ディレクトリを指定します。
/はファイルシステム全体をマウントします。サブディレクトリを指定することもできます。マウントパス
サービスインスタンス内で CPFS にアクセスするためのパスです (例:
/mnt/data/)。読み取り専用
マウントされたディレクトリの読み取り/書き込み権限を設定します。
-
他の設定を完了した後、サービスをデプロイします。
CPFS AI Edition データセットの作成
データセットは、ファイルシステム、ディレクトリパス、マウントパスなどの情報を記録するストレージ設定のテンプレートです。作成後、複数の DLC/DSW タスクで再利用できるため、繰り返し設定する必要がなくなります。
EAS はデータセットマウントをサポートしていません。
-
PAI コンソールにログインし、対象のワークスペースに移動して、[AI アセット管理] > [データセット] を選択します。
-
[カスタムデータセット] タブで、[データセットの作成] をクリックし、次のパラメーターを設定します:
セクション
パラメーター
説明
データセット設定
名前
データセット名。
データセットタイプ
[基本] を選択します。
ストレージタイプ
[ファイルストレージ (CPFS for AI)] を選択します。
コンテンツタイプ
データタイプを選択します:画像、テキスト、音声、動画、テーブル、または一般。
バージョン設定
ストレージ権限リソースグループ
対象の CPFS ファイルシステムへのアクセス権限を持つリソースグループを選択します。
ファイルシステム
作成した CPFS AI Edition ファイルシステムのインスタンスを選択します。
ファイルシステムパス
CPFS 内のディレクトリを指定します。
/はファイルシステム全体をマウントします。サブディレクトリ (例:/datasets/train) を指定することもできます。デフォルトマウントパス
サービスインスタンス内で CPFS にアクセスするためのパスです (例:
/mnt/data/)。 -
OK をクリックします。