Dataset Accelerator を使用するには、アクセラレーションスロットを作成し、データソースに関連付ける必要があります。システムは、データセットのタイプ、サイズ、トレーニングモデルに基づいてデータセットを事前処理し、アクセス速度を向上させます。このトピックでは、アクセラレーションスロットを作成および管理する方法について説明します。
前提条件
データセットアクセラレーションインスタンスが作成されている必要があります。詳細については、「データセットアクセラレーションインスタンスの作成と管理」をご参照ください。
アクセラレーションスロットの作成
-
PAI コンソール にログインします。左側メニューで、 を選択します。
-
次のいずれかの方法で、[Create Acceleration Slot] パネルを開きます。
-
方法 1: [高速化スロット] タブで、[高速化スロットの作成] をクリックします。
-
方法 2： インスタンスの詳細ページから実行します。
説明この方法を使用する場合、[インスタンス] パラメーターは現在のアクセラレーションインスタンスに自動的に設定され、変更できません。
-
[アクセラレーションインスタンス] タブで、対象のインスタンスの名前をクリックすると、その詳細ページが開きます。
-
[データセットアクセラレーションスロット] タブで、[アクセラレーションスロットの作成] をクリックします。
-
-
-
[アクセラレーションスロットの作成] パネルで、次の主要なパラメーターを設定します。
パラメータ
説明
[Instance]
既存のアクセラレーションインスタンスを選択します。
[クラウド製品のバインド]
Object Storage Service (OSS)
-
[読み書きプロパティ]：読み取り専用 または 読み取り/書き込み を選択します。
-
[Select OSS path]： データセットを含む OSS ディレクトリを選択します。
汎用 NAS、Extreme NAS
-
[ファイルシステムの選択]： 既存のファイルシステムの ID を選択します。
-
[ファイルシステム マウントポイント]： ファイルシステムにアクセスするためのマウントターゲットを選択します。
-
[ファイルシステムパス]： NAS 内の既存のストレージパスを選択します。デフォルト：
/
[最大容量]
アクセラレーションスロットの容量を設定します。容量は、データセットのサイズ以上である必要があります。アクセラレーション対象のデータセットのサイズに基づいて、このパラメータを設定できます。
[マウントポイント]
このパラメーターは、[クラウド製品のバインド] が [Object Storage Service (OSS)] に設定されている場合にのみ利用できます。
マウントターゲットを選択または作成して、トレーニングクラスタに Dataset Accelerator をマウントします。モデルのトレーニング中、トレーニングジョブはマウントターゲットを介してアクセラレーションスロットにアクセスし、関連するデータセットを読み取ることで、データアクセス効率を向上させます。
次のいずれかの方法を使用できます。
-
[マウントポイントの選択]： 既存のマウントターゲットを選択します。
-
[マウントポイントの作成]： 次のパラメータを設定して、新しいマウントターゲットを作成します。
-
[マウントポイントタイプ]： VPC のみがサポートされています。
-
[VPC ネットワーク]：既存の仮想プライベートクラウド (VPC) を選択します。利用可能な VPC がない場合は、VPC を作成 をクリックして作成できます。
-
[vSwitch]：既存の vSwitch を選択します。利用可能な vSwitch がない場合は、vSwitchの作成 をクリックして作成できます。
-
説明-
Dataset Accelerator は VPC マウントターゲットのみをサポートしています。
-
同じ VPC 内のトレーニングクラスタは、異なる vSwitch にある場合でも、VPC マウントターゲットを使用できます。
-
マウントターゲットを追加すると、ファイルシステムは 1 つの IP アドレスを使用します。使用可能なプライベート IP アドレスが十分にある vSwitch を選択することを推奨します。
-
同じ VPC 内のトレーニングクラスタのみがターゲットをマウントできます。
[自動リサイクルの有効化]
[自動リサイクルを有効にする] スイッチをオンにして、加速スロットのランタイム期間またはスケジュールされた停止時刻を設定します。
-
-
コミット をクリックします。
システムがアクセラレーションスロットを初期化します。 ステータス が 実行中 になると、スロットを使用できます。
データセットアクセラレーションスロットの管理
データセットアクセラレーションスロットは、[Dataset Accelerator] ページの [Acceleration Slots] タブ、またはアクセラレーションインスタンスの詳細ページで管理できます。両方のページで使用できる操作は同じです。[Acceleration Slots] タブでは、[Slot Name/ID]、[Mount Target]、[Sync Status]、[Instance]、[Accelerated Storage]、[Storage Path]、[Status]、[Loading Time] を含むスロットリストを表示できます。[Actions] 列の [More] メニューには、[Stop] および [Delete] オプションが含まれています。
-
スロット名をクリックすると、その詳細ページが開き、基本情報を表示できます。
-
[Accelerated Storage] 列にカーソルを合わせると、データセットのストレージタイプが表示されます。
-
未使用のスロットを停止または削除したり、既存のスロットをクローンしたりできます。また、自動リサイクル をクリックして、ランタイム期間またはスケジュールされた停止時刻を設定することもできます。
マウントターゲットの管理
マウントターゲットを管理するには、アクセラレーションスロットの名前をクリックして詳細ページを開きます。マウントターゲットの設定には、[Mount Target Name]、[Mount Target Type] (VPC など)、[VPC ID]、[vSwitch ID]、[Availability Zone]、[IP]、および [Port] が含まれます。
-
設定の表示： マウントターゲット名にカーソルを合わせると、設定の詳細が表示されます。
-
デプロイ設定の表示： マウントターゲット名をクリックすると、Dataset Accelerator クライアントのデプロイ設定が表示されます。
-
デプロイ設定のダウンロード: デプロイメント設定 パネルで、ダウンロード をクリックして YAML ファイルをダウンロードします。このファイルを使用して、トレーニングクラスターで Dataset Accelerator を設定します。
または、[Copy] ボタンをクリックして YAML コンテンツをクリップボードにコピーします。YAML ファイルには、
apiVersion: data.datasetacc.io/v1、kind: DataSetAccelerator、metadata(アクセラレーションスロット名を含む)、およびspec(frontEndAddrとfrontEndPortを含む) などのフィールドが含まれています。
次のステップ
Data Science Workshop (DSW) インスタンスの作成時、または Deep Learning Containers (DLC) ジョブの送信時にデータセットアクセラレーションを有効にして、データアクセスを高速化できます。詳細については、「PAI で Dataset Accelerator を使用する」をご参照ください。