データセットアクセラレーションスロットを作成し、データソースにバインドします。システムは、トレーニング用データへのアクセス速度を向上させるために、データセットを事前に前処理します。
前提条件
データセットアクセラレーションインスタンスを作成します。詳細については、「データセットアクセラレーションインスタンスの作成と管理」をご参照ください。
データセットアクセラレーションスロットの作成
-
PAI コンソール にログインします。左側のナビゲーションウィンドウで、 を選択します。
-
アクセラレーションスロットを作成するパネルを開きます。
-
方法 1: [アクセラレーションスロット] タブで、[アクセラレーションスロットの作成] をクリックします。
-
方法 2：インスタンスの詳細ページからアクセラレーションスロットを作成します。
説明この方法を使用する場合、[インスタンス] パラメーターは現在のアクセラレーションインスタンスに自動的に設定され、変更できません。
-
[アクセラレーションインスタンス] タブで、ターゲットインスタンスの名前をクリックして、インスタンスの詳細ページを開きます。
-
[データセットアクセラレーションスロット] タブで、[アクセラレーションスロットの作成] をクリックします。
-
-
-
[Create Acceleration Slot] パネルで、以下の主要なパラメーターを設定します。
パラメーター
説明
インスタンス
既存のアクセラレーションインスタンスを選択します。
クラウドプロダクトのバインド
アクセラレーションインスタンスで構成済みのデータソースタイプに対応するクラウドプロダクトを選択します。選択可能な値は以下のとおりです：
Object Storage Service (OSS)
-
読み取り／書き込み権限：OSS の読み取りおよび書き込み権限を設定します。オプションは 読み取り専用 および 読み取り／書き込み です。
-
OSS パスの選択：OSS 内のデータセット用ストレージフォルダーを選択します。
汎用型 NAS ファイルシステム & 超高速型 NAS ファイルシステム
-
ファイルシステムの選択：既存のファイルシステムの ID を選択します。
-
ファイルシステムのマウントポイント：ファイルシステムにアクセスするためのマウントポイントを選択します。
-
ファイルシステムパス：NAS 内の既存のストレージパスを選択します。デフォルト値は
/です。
最大容量
データセットアクセラレーションスロットの容量を設定します。容量は、データセットのサイズ以上である必要があります。加速対象のデータセットサイズに基づいて設定してください。
マウントポイント
このパラメーターは、[クラウド製品のアタッチ] オプションで Alibaba Cloud Object Storage Service (OSS) を選択した場合にのみ設定可能です。
データセットアクセラレータをトレーニングクラスターにアタッチするためのマウントポイントを選択または作成します。クラスター上でモデルトレーニングを実行する際、トレーニングタスクはこのマウントポイントを介してデータセットアクセラレーションスロットにアクセスできます。これにより、関連付けられたデータセットを読み取ることができ、データアクセス効率が向上します。
以下の 2 つの構成方法がサポートされています：
-
マウントポイントの選択：既存のマウントポイントを選択します。
-
マウントポイントの作成：以下のパラメーターを設定して新しいマウントポイントを作成します。
-
マウントポイントタイプ：VPC のみがサポートされます。
-
VPC ネットワーク：既存の仮想プライベートクラウド（VPC）を選択します。利用可能な VPC がない場合は、VPC の作成 をクリックして新規作成します。
-
vSwitch：既存の vSwitch を選択します。利用可能な vSwitch がない場合は、vSwitch の作成 をクリックして新規作成します。
-
説明-
データセットアクセラレータは、VPC マウントポイントのみをサポートします。
-
VPC マウントポイントは、同じ VPC 内にあるが異なる vSwitch を使用するトレーニングクラスターで共用できます。
-
マウントポイントを追加すると、ファイルシステムは 1 つの IP アドレスを使用します。多数の利用可能なプライベート IP アドレスを持つ vSwitch を選択してください。
-
マウントポイントは、同一 VPC ネットワーク内のトレーニングクラスターからのみアタッチできます。
自動再利用の有効化
データセットアクセラレーションスロットのランタイムまたは停止時間を設定するには、[自動リサイクルを有効化] スイッチをオンにしてください。
-
-
[送信] をクリックします。
システムがアクセラレーションスロットの初期化を開始します。ステータス が 実行中 に変更された後に、スロットをご利用ください。
データセットアクセラレーションスロットの管理
**[アクセラレーションスロット]** タブまたはインスタンスの詳細ページから、データセットアクセラレーションスロットを管理できます。両方のページでの管理操作は同一です。
-
アクセラレーションスロットの名前をクリックして、その詳細ページを開き、[基本情報] を表示します。
-
② にカーソルを合わせて、データセットのストレージクラスを確認します。
-
不要になったアクセラレーションスロットを停止または削除するか、既存のスロットをクローンしてください。また、[自動リサイクル] をクリックして、ランタイムまたは自動停止時刻を設定します。
マウントポイントの管理
アクセラレーションスロット名をクリックして詳細ページを開き、そのページでマウントポイントを管理します。
-
構成情報の表示：マウントポイント名にカーソルを合わせて、構成情報を確認します。
-
デプロイメント構成の表示：マウントポイント名をクリックして、データセットアクセラレータクライアントのインストールに必要なデプロイメント構成を表示します。
-
デプロイメント構成のダウンロード: [デプロイメント構成] パネルで、[ダウンロード] ボタンをクリックして YAML ファイルをダウンロードします。このファイルを使用して、トレーニングクラスターでデータセットアクセラレータを構成します。
次のステップ
DSW インスタンスの作成時または DLC job の送信時に、データセットアクセラレーション機能を有効化します。これにより、データセットへのアクセスが高速化されます。詳細については、「PAI におけるデータセットアクセラレータの使用」をご参照ください。