Dataset資料結構參考-人工智慧平台 PAI-阿里雲

名稱	類型	描述	樣本值
	object	資料集屬性
DatasetId	string	資料集 ID。	d-c0h44g3****j8o4348
UserId	string	使用者識別碼。	2485765****023475
OwnerId	string	主賬戶 ID。	1631044****3440
Name	string	資料集名稱。	myName
DataSourceType	string	資料來源類型。	NAS
Uri	string	Uri 範例：資料來源類型為 OSS： `oss://bucket.endpoint/object` 資料來源類型為通用型 NAS： `nas://<nasfisid>.region/subpath/to/dir/` 資料來源類型為 CPFS1.0： `nas://<cpfs-fsid>.region/subpath/to/dir/` 資料來源類型為 CPFS2.0： `nas://<cpfs-fsid>.region/<protocolserviceid>/` 說明 CPFS1.0 和 CPFS2.0 根據 fsid 的格式來區分：CPFS1.0 格式為 cpfs-<8 位 ascii 字元>，CPFS2.0 格式為 cpfs-<16 為 ascii 字元>。	nas://09f****f2.cn-hangzhou/
GmtCreateTime	string	建立時間。	2021-01-21T17:12:35.232Z
GmtModifiedTime	string	更新時間。	2021-01-21T17:12:35.232Z
DataType	string	資料集的資料類型。取值： COMMON（預設值）：普通。 PIC：圖片。 TEXT：文本。 VIDEO：視頻。 AUDIO：音頻。	COMMON
Property	string	資料集屬性。取值： FILE：檔案。 DIRECTORY：檔案夾。	DIRECTORY
SourceType	string	來源類型。	USER
SourceId	string	來源 ID。	jdnhf***fnrimv
Description	string	資料集的描述。	This is a description of a dataset.
WorkspaceId	string	資料集所在工作空間 ID。	478**
Options	string	擴充欄位（選項），JsonString 類型。當 DLC 使用資料集時，可通過配置 mountPath 欄位指定資料集預設掛載路徑。	{ "mountPath": "/mnt/data/" }
Accessibility	string	工作空間可見度。取值： PRIVATE（預設值）：表示工作空間內自己以及管理員可見。 PUBLIC：工作空間所有使用者可見。	PRIVATE
ProviderType	string	資料集的資料來源來源類型。取值： Ecs（預設值） Lingjun	Ecs
SourceDatasetId	string	標註資料集的來來源資料集 ID。	d-bvfasdfxxxxj8o411
SourceDatasetVersion	string	標註資料集的來來源資料集版本。	v2
TagTemplateType	string	iTAG 標註資料集的標註模板。	text-classification
LatestVersion	DatasetVersion	資料集的最新版本資訊。
MountAccess	string	MountAccess	RO RW
ImportInfo	string	資料集的儲存匯入配置資訊，支援 OSS/NAS/CPFS 等。 OSS { "region": "${region}",//地區 ID "bucket": "${bucket}",//bucket 名稱 "path": "${path}" //檔案路徑 } NAS CPFS 區塊內容智算 CPFS 區塊內容	{ "region": "cn-wulanchabu", "fileSystemId": "bmcpfs-xxxxxxxxxxx", "path": "/mnt", "mountTarget": "cpfs-xxxxxxxxxxxx-vpc-gacs9f.cn-wulanchabu.cpfs.aliyuncs.com", "isVpcMount": true }
Edition	string	資料集類型。枚舉值： BASIC：基礎型。不支援資料集檔案中繼資料管理。 ADVANCED：進階型。僅 OSS 類型支援，每個版本支援最多 100 萬個檔案中繼資料管理。	BASIC
IsShared	boolean	是否為共用資料集。	false
SharedFrom	DatasetShareRelationship	描述該分享資料集的來源關係。僅 IsShared 為 true 時有效。
SharingConfig	object	當前資料集的分享配置資訊。
SharedTo	array	多條分享配置關係。
	DatasetShareRelationship	該資料集被分享的分享配置關係。
Labels	array	標籤列表。
	Label	標籤。	{"Key": "env", "Value": "test"}
MountAccessReadWriteRoleIdList	array	具有該資料集讀寫權限的工作空間角色名稱列表，PAI 開頭的為基礎角色 ID，role-開頭的為自訂角色 ID。如果列表中包含了"*"，則表示對所有角色都有讀寫權限。
	string	工作空間角色 ID。	PAI.AlgoOperator
AccessibleRoleIdList	array
	string

object

資料集屬性

DatasetId

string

資料集 ID。

d-c0h44g3****j8o4348

UserId

string

使用者識別碼。

2485765****023475

OwnerId

string

主賬戶 ID。

1631044****3440

Name

string

資料集名稱。

myName

DataSourceType

string

資料來源類型。

NAS

Uri

string

Uri 範例：

資料來源類型為 OSS： oss://bucket.endpoint/object
資料來源類型為通用型 NAS： nas://<nasfisid>.region/subpath/to/dir/
資料來源類型為 CPFS1.0： nas://<cpfs-fsid>.region/subpath/to/dir/
資料來源類型為 CPFS2.0： nas://<cpfs-fsid>.region/<protocolserviceid>/

說明

CPFS1.0 和 CPFS2.0 根據 fsid 的格式來區分：CPFS1.0 格式為 cpfs-<8 位 ascii 字元>，CPFS2.0 格式為 cpfs-<16 為 ascii 字元>。

nas://09f****f2.cn-hangzhou/

GmtCreateTime

string

建立時間。

2021-01-21T17:12:35.232Z

GmtModifiedTime

string

更新時間。

2021-01-21T17:12:35.232Z

DataType

string

資料集的資料類型。取值：

COMMON（預設值）：普通。
PIC：圖片。
TEXT：文本。
VIDEO：視頻。
AUDIO：音頻。

COMMON

Property

string

資料集屬性。取值：

FILE：檔案。
DIRECTORY：檔案夾。

DIRECTORY

SourceType

string

來源類型。

USER

SourceId

string

來源 ID。

jdnhf***fnrimv

Description

string

資料集的描述。

This is a description of a dataset.

WorkspaceId

string

資料集所在工作空間 ID。

478**

Options

string

擴充欄位（選項），JsonString 類型。當 DLC 使用資料集時，可通過配置 mountPath 欄位指定資料集預設掛載路徑。

{ "mountPath": "/mnt/data/" }

Accessibility

string

工作空間可見度。取值：

PRIVATE（預設值）：表示工作空間內自己以及管理員可見。
PUBLIC：工作空間所有使用者可見。

PRIVATE

ProviderType

string

資料集的資料來源來源類型。取值：

Ecs（預設值）
Lingjun

Ecs

SourceDatasetId

string

標註資料集的來來源資料集 ID。

d-bvfasdfxxxxj8o411

SourceDatasetVersion

string

標註資料集的來來源資料集版本。

v2

TagTemplateType

string

iTAG 標註資料集的標註模板。

text-classification

LatestVersion

DatasetVersion

資料集的最新版本資訊。

MountAccess

string

MountAccess

RO RW

ImportInfo

string

資料集的儲存匯入配置資訊，支援 OSS/NAS/CPFS 等。

OSS

{ "region": "${region}",//地區 ID "bucket": "${bucket}",//bucket 名稱 "path": "${path}" //檔案路徑 }

NAS

CPFS

區塊內容

智算 CPFS

區塊內容

{ "region": "cn-wulanchabu", "fileSystemId": "bmcpfs-xxxxxxxxxxx", "path": "/mnt", "mountTarget": "cpfs-xxxxxxxxxxxx-vpc-gacs9f.cn-wulanchabu.cpfs.aliyuncs.com", "isVpcMount": true }

Edition

string

資料集類型。枚舉值：

BASIC：基礎型。不支援資料集檔案中繼資料管理。 ADVANCED：進階型。僅 OSS 類型支援，每個版本支援最多 100 萬個檔案中繼資料管理。

BASIC

IsShared

boolean

是否為共用資料集。

false

SharedFrom

DatasetShareRelationship

描述該分享資料集的來源關係。僅 IsShared 為 true 時有效。

SharingConfig

object

當前資料集的分享配置資訊。

SharedTo

array

多條分享配置關係。

DatasetShareRelationship

該資料集被分享的分享配置關係。

Labels

array

標籤列表。

Label

標籤。

{"Key": "env", "Value": "test"}

MountAccessReadWriteRoleIdList

array

具有該資料集讀寫權限的工作空間角色名稱列表，PAI 開頭的為基礎角色 ID，role-開頭的為自訂角色 ID。如果列表中包含了"*"，則表示對所有角色都有讀寫權限。

string

工作空間角色 ID。

PAI.AlgoOperator

AccessibleRoleIdList

array

string