データセットアクセラレータを使用するには、加速スロットを作成してデータソースに関連付ける必要があります。システムは、データセットのタイプ、サイズ、トレーニングモデルに基づいてデータセットを事前処理し、アクセス速度を向上させます。このトピックでは、加速スロットの作成と管理の方法について説明します。
前提条件
データセット高速化インスタンスを作成済みであること。詳細については、「データセット高速化インスタンスの作成と管理」をご参照ください。
加速スロットの作成
-
PAI コンソールにログインします。左側メニューで、 を選択します。
-
次のいずれかの方法で [加速スロットの作成] パネルを開きます。
-
方法 1: [アクセラレーションスロット] タブで、[アクセラレーションスロットの作成] をクリックします。
-
方法 2: インスタンス詳細ページから作成します。
説明この方法を使用すると、[インスタンス] パラメーターは現在のアクセラレーションインスタンスに自動的に設定され、変更できません。
-
[アクセラレーションインスタンス] タブで、対象インスタンスの名前をクリックすると、その詳細ページが開きます。
-
[データセットアクセラレーションスロット] タブで、[アクセラレーションスロットの作成] をクリックします。
-
-
-
[アクセラレーションスロットの作成] パネルで、次の主要なパラメーターを設定します。
パラメーター
説明
[インスタンス]
既存の高速化インスタンスを選択します。
[クラウド製品の関連付け]
Object Storage Service (OSS)
-
[Read/Write Attributes]: Read-only または Read/Write を選択します。
-
[OSS パスの選択]: データセットを含む OSS ディレクトリを選択します。
汎用 NAS、エクストリーム NAS
-
[Select File System]: 既存のファイルシステムのIDを選択します。
-
[Mount Target]: ファイルシステムにアクセスするためのマウントターゲットを選択します。
-
[File System Path]: NAS内の既存のストレージパスを選択します。デフォルトは
/です。
[Maximum Capacity]
加速スロットの容量を設定します。容量はデータセットサイズ以上である必要があります。高速化するデータセットのサイズに基づいてこのパラメーターを設定できます。
[Mount Target]
このパラメーターは、[クラウド製品のバインド] が [Object Storage Service (OSS)] に設定されている場合にのみ利用可能です。
トレーニングクラスターにデータセットアクセラレータをマウントするには、マウントターゲットを選択または作成します。モデルトレーニング中、トレーニング ジョブはマウントターゲットを介して加速スロットにアクセスし、関連付けられたデータセットを読み取ることで、データアクセス効率を向上させます。
次のいずれかの方法を使用できます。
-
[Select Mount Point]: 既存のマウントターゲットを選択します。
-
[Create Mount Target]: 次のパラメーターを設定して、新しいマウントターゲットを作成します。
-
[Mount Target Type]: VPC のみがサポートされています。
-
[VPC Network]:既存の仮想プライベートクラウド (VPC) を選択します。利用可能な VPC がない場合は、create VPC をクリックして作成できます。
-
[vSwitch]: 既存の vSwitch を選択します。利用可能な vSwitch がない場合は、create vSwitch をクリックして作成できます。
-
説明-
データセットアクセラレータは、VPC マウントターゲットのみをサポートしています。
-
同じ VPC 内のトレーニングクラスタは、クラスタが異なる vSwitch にある場合でも、VPC マウントターゲットを使用できます。
-
マウントターゲットを追加すると、ファイルシステムは 1 つの IP アドレスを使用します。利用可能なプライベート IP アドレスが十分にある vSwitch を選択することを推奨します。
-
同じ VPC 内のトレーニングクラスタのみがターゲットをマウントできます。
[自動リサイクルの有効化]
[自動リサイクルの有効化] スイッチをオンにして、加速スロットのランタイム期間または定期停止時刻を設定します。
-
-
Submit をクリックします。
システムがアクセラレーションスロットを初期化します。そのStatusがRunningに変更されると、スロットを使用できます。
データセット加速スロットの管理
データセット加速スロットは、[データセットアクセラレータ] ページの [加速スロット] タブから、または高速化インスタンスの詳細ページから管理できます。両方のページで使用可能な操作は同じです。[加速スロット] タブでは、スロット名/ID、マウントターゲット、同期ステータス、インスタンス、高速化されたストレージ、ストレージパス、ステータス、ロード時間を含むスロットリストを表示できます。[操作] 列の [その他] メニューには、[停止] および [削除] オプションが含まれています。
-
スロット名をクリックすると、詳細ページが開き、Basic Information を表示できます。
-
[高速化されたストレージ] 列にカーソルを合わせると、データセットストレージタイプを表示できます。
-
未使用のスロットを停止または削除したり、既存のスロットを複製したりできます。また、Automatic Recycling をクリックして、ランタイム期間または予約停止時刻を設定することもできます。
マウントターゲットの管理
マウントターゲットを管理するには、加速スロット名をクリックして詳細ページを開きます。マウントターゲットの設定には、[マウントターゲット名]、 [マウントターゲットタイプ] (VPC など)、 [VPC ID]、 [vSwitch ID]、 [アベイラビリティーゾーン]、 [IP]、 [ポート] が含まれます。
-
設定の表示: マウントターゲット名にカーソルを合わせると、設定の詳細が表示されます。
-
デプロイメント構成の表示: マウントターゲット名をクリックすると、データセットアクセラレータ クライアントのデプロイメント構成が表示されます。
-
デプロイ設定のダウンロード: Deployment configuration パネルで、Download をクリックして YAML ファイルをダウンロードします。このファイルを使用して、トレーニングクラスターで Dataset Accelerator を設定します。
または、[コピー] ボタンをクリックして、YAML コンテンツをクリップボードにコピーします。YAML ファイルには、
apiVersion: data.datasetacc.io/v1、kind: DataSetAccelerator、metadata(加速スロット名を含む)、spec(frontEndAddrとfrontEndPortを含む) などのフィールドが含まれます。
次のステップ
Data Science Workshop (DSW) インスタンスの作成時または Deep Learning Containers (DLC) ジョブの送信時にデータセット高速化を有効にして、データアクセスを高速化できます。詳細については、「PAI でのデータセットアクセラレータの使用」をご参照ください。