データセットの作成と管理 - PAI - Platform For AI - Alibaba Cloud ドキュメントセンター

データセットの概要

PAI は、基本データセットとラベル付きデータセットの 2 種類のデータセットをサポートしています。基本データセットには、モデルの事前学習用の未加工のラベルなしデータが含まれます。ラベル付きデータセットには、ファインチューニングおよび評価用の手動でアノテーションされたデータが含まれます。

項目	基本データセット	ラベル付きデータセット
定義	未加工のラベルなしデータ。	手動でラベル付けされたデータ。
データ処理	データクレンジング、重複排除など。	データラベリング、検証など。
ユースケース	教師なし学習モデルを事前学習して広範な特徴を捉える。	教師あり学習とモデル評価モデルをファインチューニングして、特定のタスクにおけるパフォーマンスを向上させる。

データセットページへのアクセス

PAI コンソールにログインします。
左上隅でリージョンを選択します。
左側のナビゲーションペインで、Workspaces をクリックし、対象のワークスペース名をクリックします。
左側のナビゲーションウィンドウで、AI Computing Asset Management > Dataset を選択します。

基本データセットの作成

Custom Dataset タブで Create Dataset をクリックし、Data Type に Basic を選択します。 Object Storage Service (OSS) やファイルシステム (General-purpose NAS、Extreme NAS、CPFS、AI-CPFS) など、さまざまな Storage オプションからデータセットを作成できます。

ストレージタイプ：OSS

パラメーター	説明
[Content Type]	データタイプを選択します：Image、Text、Audio、Video、Tabular、General。特定のタイプを選択すると、ラベリングシナリオでデータセットをフィルタリングするのに役立ちます。
[Owner]	データセットの所有者を選択します。このパラメーターを設定できるのはワークスペース管理者のみです。
[Import Format]/[OSS Path]	インポート形式がファイルの場合、「OSS パス」にファイルを選択します。データセットはこのファイルにマッピングされます。iTAG データセットで一般的に使用されます。インポート形式がフォルダーの場合、OSS パスにはマウント可能なフォルダーパスを指定する必要があります。DSW、DLC、または EAS で一般的に使用されます。
[Default Mount Path]	DSW および DLC で一般的に使用される、デフォルトのデータマウントパスです。 DSW では、インスタンス作成時にファイルシステムをこのパスにマウントします。 DLC では、システムはこのディレクトリからファイルを読み込みます。例： `python /root/data/file.py`。
[Enable Version Acceleration]	Import Format をフォルダーに設定すると、データセットバージョンの高速化を有効にできます。主なパラメーター: 最大容量：アクセラレーションスロットの容量です。データセットサイズ以上である必要があります。高速マウントターゲット：デフォルトでは内部マウントターゲットを使用します。既存のターゲットを選択するか、新しく作成できます。説明 Lingjun Intelligent Computing Resources を使用する場合、Create Mount Target で Accelerated Mount Target を選択した場合は、Mount Target Type に [VPC] を選択します。 VPC と vSwitch は、Lingjun Intelligent Computing Resources のものと一致している必要があります。高速バージョンのデフォルトマウントパス：高速バージョンのデフォルトマウントパスです。

ストレージタイプ：ファイルシステム

パラメーター	説明
[Content Type]	データタイプを選択します：Image、Text、Audio、Video、Tabular、General。特定のタイプを選択すると、ラベリングシナリオでデータセットをフィルタリングするのに役立ちます。
[Owner]	データセットの所有者を選択します。このパラメーターを設定できるのはワークスペース管理者のみです。
[File System]	選択したStorageに対応するファイルシステムを選択します。
[Mount Target]	NASファイルシステムにアクセスするためのマウントターゲットを設定します。
[File System Path]	NASファイルシステム内の既存のストレージパスを指定します。例： `/`。
[Default Mount Path]	DSW および DLC で一般的に使用される、デフォルトのデータマウントパスです。 DSW では、インスタンス作成時にファイルシステムをこのパスにマウントします。 DLC では、システムはこのディレクトリからファイルを読み込みます。例： `python /root/data/file.py`。
[Enable Version Acceleration]	Storage が汎用 NAS、Extreme NAS または CPFS の場合、データセットバージョンの高速化を有効にできます。主なパラメーター：最大容量：アクセラレーションスロットの容量です。データセットサイズ以上である必要があります。高速バージョンのデフォルトマウントパス：高速バージョンのデフォルトマウントパスです。

基本データセットバージョンの作成

Custom Dataset タブで、対象のデータセットの Actions 列にある Create Version をクリックします。

重要な注意事項：

データセット名、ストレージタイプ、データタイプは以前のバージョンから継承され、変更できません。
バージョン番号は自動生成され、変更できません。
その他のパラメーターは、「基本データセットの作成」と同じです。

パブリックデータセットの表示

PAI は、MMLU、CMMLU、GSM8K などの組み込みパブリックデータセットを提供しています。Public Dataset タブでは、データセット名をクリックしてその基本情報を表示できます。

各データセットには、[Dataset Name/ID]、[Type]、[Task]、[Language]、[Size]、[Data Volume]、[Publisher] が表示されます。

データセットの管理

カスタムデータセットでは、バージョン履歴の表示、「新しいバージョンの作成」、データセットの公開、削除が可能です。ラベル付きデータセットでは、データの表示、データセットの公開、削除が可能です。

重要な注意事項：

Visibility が Visible Only to the Dataset Owner に設定されているデータセットの場合、Set Dataset to Public をクリックして、ワークスペース内のすべてのメンバーと共有できます。データセットが一度公開されると、この操作は元に戻せません。注意して実行してください。
RAM ユーザーがデータセットのデータを表示する際にアクセス拒否エラーが発生した場合は、「RAM ユーザーに必要な権限を付与」してください。
データセットを削除すると、それに依存する実行中のタスクに影響を与える可能性があります。 この操作は元に戻せません。慎重に操作してください。