データセットの作成と管理 - PAI - Platform For AI - Alibaba Cloud ドキュメントセンター

データセットの概要

PAI は、基本データセットとラベル付きデータセットの 2 種類のデータセットをサポートしています。基本データセットには、モデルの事前学習用のラベルなし生データが含まれます。ラベル付きデータセットには、ファインチューニングと評価のために手動でアノテーションが付けられたデータが含まれます。

項目	基本データセット	ラベル付きデータセット
定義	生データ、ラベルなしデータ。	手動でラベルが追加されたデータ。
データ処理	データクレンジング、重複排除など。	データラベリング、検証など。
ユースケース	教師なし学習モデルを事前学習して、広範な特徴を捉えます。	教師あり学習とモデル評価特定のタスクに対するパフォーマンスを向上させるためにモデルをファインチューニングします。

データセットページへのアクセス

PAI コンソールにログインします。
左上隅で、リージョンを選択します。
ナビゲーションペインで ワークスペースの一覧 をクリックし、対象のワークスペースの名前をクリックします。
ナビゲーションペインで、AI アセット管理 > データセット を選択します。

基本データセットの作成

カスタムデータセット タブで データセットの新規作成 をクリックし、データ型 に ベーシック を選択します。サポートされている ストレージクラス オプションには、Object Storage Service (OSS) とファイルシステム (General-purpose NAS、Extreme NAS、CPFS、AI-CPFS) があります。

ストレージタイプ： OSS

パラメーター	説明
[コンテンツタイプ]	データタイプを選択します： Image、Text、Audio、Video、Tabular、または General。特定のタイプを選択すると、ラベリングシナリオでデータセットをフィルタリングするのに役立ちます。
[所有者]	データセットの所有者です。ワークスペース管理者のみがこのパラメーターを設定できます。
[インポートフォーマット]/[OSS パス]	インポート形式がファイルの場合、OSS パスにファイルを選択します。データセットは、このファイルにマップされます。一般的に iTAG データセットで使用されます。インポート形式がフォルダーの場合、OSS パスはマウント可能なフォルダーパスである必要があります。一般的に DSW、DLC、または EAS で使用されます。
[デフォルトのマウントパス]	データのデフォルトのマウントパスで、DSW と DLC で一般的に使用されます： DSW では、インスタンスを作成する際に、ファイルシステムがこのパスにマウントされます。 DLC では、システムはこのディレクトリからファイルを読み取ります。例： `python /root/data/file.py`。
[バージョン高速化の有効化]	インポートフォーマットをフォルダーに設定すると、データセットバージョンの高速化を有効にできます。主なパラメーター: 最大容量：高速化スロットの容量。データセットのサイズ以上である必要があります。高速マウントターゲット：デフォルトでは内部マウントターゲットを使用します。既存のターゲットを選択するか、新規に作成することもできます。説明 Lingjun AI 計算リソースを使用する場合、マウントポイントの作成で高速マウントターゲットを選択した場合は、マウントポイントタイプで [VPC] を選択します。VPC と vSwitch は、お使いの Lingjun AI 計算リソースのものと一致している必要があります。高速化バージョンのデフォルトマウントパス：高速化バージョンのデフォルトのマウントパスです。

ストレージタイプ：ファイルシステム

パラメーター	説明
[コンテンツタイプ]	データタイプを選択します： Image、Text、Audio、Video、Tabular、または General。特定のタイプを選択すると、ラベリングシナリオでデータセットをフィルタリングするのに役立ちます。
[所有者]	データセットの所有者です。ワークスペース管理者のみがこのパラメーターを設定できます。
[ファイルシステム]	選択したストレージクラスに対応するファイルシステムを選択します。
[ファイルシステムマウントポイント]	NAS ファイルシステムにアクセスするためのマウントターゲットを指定します。
[ファイルシステムパス]	NAS ファイルシステム内の既存のストレージパスを指定します。例： `/`。
[デフォルトのマウントパス]	データのデフォルトのマウントパスで、DSW と DLC で一般的に使用されます： DSW では、インスタンスを作成する際に、ファイルシステムがこのパスにマウントされます。 DLC では、システムはこのディレクトリからファイルを読み取ります。例： `python /root/data/file.py`。
[バージョン高速化の有効化]	ストレージクラスが General-purpose NAS、Extreme NAS、または CPFS の場合、データセットバージョンの高速化を有効にできます。主なパラメーター: 最大容量：高速化スロットの容量。データセットのサイズ以上である必要があります。高速化バージョンのデフォルトマウントパス：高速化バージョンのデフォルトのマウントパスです。

基本データセットバージョンの作成

カスタムデータセット タブで、対象のデータセットの操作列にある バージョンの新規作成 をクリックします。

重要な注意点：

データセット名、ストレージタイプ、データタイプは V1 から継承され、変更できません。
バージョン番号は自動生成され、変更できません。
その他のパラメーターは、「基本データセットの作成」のパラメーターと一致します。

パブリックデータセットの表示

PAI は、MMLU、CMMLU、GSM8K などの組み込みパブリックデータセットを提供しています。パブリックデータセット タブで、データセット名をクリックして詳細を表示します。

各データセットには、[Dataset Name/ID]、[Type]、[Task]、[Language]、[Size]、[Data Volume]、[Publisher] が表示されます。

データセットの管理

カスタムデータセットの場合、バージョン履歴の表示、新しいバージョンの作成、データセットの公開、または削除ができます。ラベル付きデータセットの場合、データの表示、データセットの公開、または削除ができます。