すべてのプロダクト
Search
ドキュメントセンター

Resource Orchestration Service:ALIYUN::PAI::Dataset

最終更新日:Jan 16, 2025

ALIYUN::PAI::Dataset は、データセットを作成するために使用されます。

構文

{
  "Type": "ALIYUN::PAI::Dataset",
  "Properties": {
    "Options": String,
    "Description": String,
    "Accessibility": String,
    "DatasetName": String,
    "SourceType": String,
    "SourceId": String,
    "DataSourceType": String,
    "WorkspaceId": String,
    "DataType": String,
    "Uri": String,
    "Property": String
  }
}

プロパティ

プロパティ

タイプ

必須

編集可能

説明

制約

Options

String

いいえ

はい

拡張フィールド。

Deep Learning Containers(DLC)でデータセットを使用する場合、mountPath フィールドを使用してデータセットのデフォルトのマウントパスを指定できます。例:

{ "mountPath": "/mnt/data/" }

Description

String

いいえ

はい

データセットの説明。

データセットはラベル付けシナリオで使用されます。

Accessibility

String

いいえ

はい

ワークスペースのアクセス権。

有効な値:

  • PRIVATE(デフォルト):ワークスペースには、管理者とユーザーのみがアクセスできます。

  • PUBLIC:ワークスペースには、すべてのユーザーがアクセスできます。

DatasetName

String

はい

はい

データセットの名前。

名前は次の要件を満たしている必要があります。

  • 英字または数字で始まる必要があります。

  • アンダースコア(_)とハイフン(-)を含めることができます。

  • 1 ~ 127 文字の長さである必要があります。

SourceType

String

いいえ

いいえ

データソースのタイプ。

有効な値:

  • USER(デフォルト):データソースはユーザーが提供します。

  • ITAG:データソースは iTAG によって提供されます。

  • PAI_PUBLIC_DATASET:データソースは Machine Learning Platform for AI(PAI)のパブリックデータセットによって提供されます。

SourceId

String

いいえ

いいえ

データソースの ID。

有効な値:

  • SourceType が USER に設定されている場合、このプロパティの値をカスタム ID に設定します。

  • SourceType が ITAG に設定されている場合、このプロパティの値をジョブ ID に設定します。ジョブとは、iTAG がデータセットに基づいて処理するラベル付けジョブを指します。

  • SourceType が PAI_PUBLIC_DATASET に設定されている場合、このプロパティは自動的に空のままになります。PAI_PUBLIC_DATASET の値は、データセットが PAI のパブリックデータセットから作成されたことを指定します。

DataSourceType

String

はい

いいえ

データソースが格納されているストレージサービス。

有効な値:

  • NAS:ファイルストレージ NAS(NAS)

  • OSS:オブジェクトストレージサービス(OSS)

WorkspaceId

String

はい

いいえ

データセットが属するワークスペースの ID。

なし。

DataType

String

いいえ

いいえ

データセットのタイプ。

有効な値:

  • COMMON(デフォルト):標準

  • PIC:画像

  • TEXT:テキスト

  • Video:動画

  • AUDIO:音声

Uri

String

はい

いいえ

URI 設定。

値の形式:

  • DataSourceType が OSS に設定されている場合の値の形式:oss://bucket.endpoint/object

  • DataSourceType が NAS に設定されている場合の値の形式:

    • 汎用 NAS ファイルシステムの値の形式:nas://<nasfisid>.region/subpath/to/dir/

    • Cloud Parallel File Storage (CPFS) 1.0 ファイルシステムの値の形式:

      Cloud Parallel File Storage(CPFS)1.0 ファイルシステムの値の形式:nas://<cpfs-fsid>.region/subpath/to/dir/

    • CPFS 2.0 ファイルシステムの値の形式:

      CPFS 2.0 ファイルシステムの値の形式:nas://<cpfs-fsid>.region/<protocolserviceid>/

    説明

    CPFS 1.0 と CPFS 2.0 のファイルシステムは、ファイルシステム ID の形式に基づいて区別できます。CPFS 1.0 ファイルシステムの ID は CPFS-<8 ビット ASCII 文字> 形式です。CPFS 2.0 ファイルシステムの ID は CPFS-<16 ビット ASCII 文字> 形式です。

Property

String

はい

いいえ

データセットのプロパティ。

有効な値:

  • FILE:ファイル

  • DIRECTORY:フォルダー

戻り値

Fn::GetAtt

  • Options:拡張フィールド。

  • Description:データセットの説明。

  • Accessibility:ワークスペースのアクセス権。

  • SourceId:データソースの ID。

  • CreateTime:データセットが作成された時刻。

  • SourceType:データソースのタイプ。

  • WorkspaceId:データセットが属するワークスペースの ID。

  • Uri:URI 設定。

  • GmtModifiedTime:データセットが更新された時刻。

  • DatasetId:データセットの ID。

  • OwnerId:Alibaba Cloud アカウントの ID。

  • DatasetName:データセットの名前。

  • UserId:ユーザー ID。

  • DataSourceType:データソースが格納されているストレージサービス。

  • DataType:データセットのタイプ。

  • Property:データセットのプロパティ。

YAML 形式

ROSTemplateFormatVersion: '2015-09-01'
Parameters:
  DataSourceType:
    AllowedValues:
    - OSS
    - NAS
    Description: 'データソースタイプ。次の値がサポートされています:

      - OSS:Alibaba Cloud Object Storage(OSS)。

      - NAS:Alibaba Cloud ファイルストレージ(NAS)。'
    Type: String
  DatasetName:
    Description: 'データセットの名前。命名規則は次のとおりです。

      - 小文字、大文字、数字、または中国語で始める。

      - アンダースコア(_)またはダッシュ(-)を含めることができる。

      - 長さは 1 ~ 127 文字。'
    Type: String
  Property:
    AllowedValues:
    - FILE
    - DIRECTORY
    Description: 'データセットのプロパティ。次の値がサポートされています:

      - FILE:ファイル。

      - DIRECTORY:フォルダー。'
    Type: String
  Uri:
    Description: 'URI 設定の例は次のとおりです。

      - データソースタイプが OSS の場合:「oss:// bucket.endpoint/object」

      - データソースタイプが NAS の場合:

      一般的な NAS 形式は「nas://.region/subpath/to/dir/」です。

      CPFS1.0:「nas://.region/subpath/to/dir /」です。

      CPFS2.0:「nas://.region//」です。

      CPFS1.0 と CPFS2.0 は、fsid の形式によって区別されます。CPFS1.0 は cpfs-<8 ビット ASCII 文字> です。CPFS2.0 は cpfs-<16 ASCII 文字> です。'
    Type: String
  WorkspaceId:
    Description: 'データセットが配置されているワークスペースの ID。ワークスペース ID の取得方法については、[ListWorkspaces](~~ 449124 ~~) を参照ください。

      このパラメーターが設定されていない場合は、デフォルトのワークスペースが使用されます。デフォルトのワークスペースが存在しない場合は、エラーが報告されます。'
    Type: String
Resources:
  ExtensionResource:
    Properties:
      DataSourceType:
        Ref: DataSourceType
      DatasetName:
        Ref: DatasetName
      Property:
        Ref: Property
      Uri:
        Ref: Uri
      WorkspaceId:
        Ref: WorkspaceId
    Type: ALIYUN::PAI::Dataset
Outputs:
  Accessibility:
    Description: ワークスペースの可視性。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - Accessibility
  CreateTime:
    Description: リソースの作成時刻。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - CreateTime
  DataSourceType:
    Description: データソースタイプ。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - DataSourceType
  DataType:
    Description: データセットタイプ。デフォルト値は COMMON です。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - DataType
  DatasetId:
    Description: リソースの最初の ID。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - DatasetId
  DatasetName:
    Description: データセットの名前。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - DatasetName
  Description:
    Description: 異なるデータセットを区別するためのデータセットのカスタム記述。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - Description
  GmtModifiedTime:
    Description: 更新時刻。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - GmtModifiedTime
  Options:
    Description: 拡張フィールド。JsonString タイプです。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - Options
  OwnerId:
    Description: プライマリアカウントの ID。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - OwnerId
  Property:
    Description: データセットのプロパティ。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - Property
  SourceId:
    Description: データソース ID。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - SourceId
  SourceType:
    Description: データソースタイプ。デフォルト値は USER です。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - SourceType
  Uri:
    Description: URI 設定の例は次のとおりです。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - Uri
  UserId:
    Description: データセットが属するユーザーの ID。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - UserId
  WorkspaceId:
    Description: データセットが配置されているワークスペースの ID。ワークスペース ID の取得方法については、[ListWorkspaces](~~ 449124 ~~) を参照ください。
    Value:
      Fn::GetAtt:
      - ExtensionResource
      - WorkspaceId

JSON 形式

{
  "ROSTemplateFormatVersion": "2015-09-01",
  "Parameters": {
    "DataSourceType": {
      "AllowedValues": [
        "OSS",
        "NAS"
      ],
      "Description": "データソースタイプ。次の値がサポートされています:\n- OSS:Alibaba Cloud Object Storage(OSS)。\n- NAS:Alibaba Cloud ファイルストレージ(NAS)。",
      "Type": "String"
    },
    "DatasetName": {
      "Description": "データセットの名前。命名規則は次のとおりです。\n- 小文字、大文字、数字、または中国語で始める。\n- アンダースコア(_)またはダッシュ(-)を含めることができる。\n- 長さは 1 ~ 127 文字。",
      "Type": "String"
    },
    "Property": {
      "AllowedValues": [
        "FILE",
        "DIRECTORY"
      ],
      "Description": "データセットのプロパティ。次の値がサポートされています:\n- FILE:ファイル。\n- DIRECTORY:フォルダー。",
      "Type": "String"
    },
    "Uri": {
      "Description": "URI 設定の例は次のとおりです。\n- データソースタイプが OSS の場合:'oss:// bucket.endpoint/object'\n- データソースタイプが NAS の場合:\n一般的な NAS 形式は 'nas://.region/subpath/to/dir/' です。\nCPFS1.0:'nas://.region/subpath/to/dir /' です。\nCPFS2.0:'nas://.region//' です。\nCPFS1.0 と CPFS2.0 は、fsid の形式によって区別されます。CPFS1.0 は cpfs-<8 ビット ASCII 文字> です。CPFS2.0 は cpfs-<16 ASCII 文字> です。",
      "Type": "String"
    },
    "WorkspaceId": {
      "Description": "データセットが配置されているワークスペースの ID。ワークスペース ID の取得方法については、[ListWorkspaces](~~ 449124 ~~) を参照ください。\nこのパラメーターが設定されていない場合は、デフォルトのワークスペースが使用されます。デフォルトのワークスペースが存在しない場合は、エラーが報告されます。",
      "Type": "String"
    }
  },
  "Resources": {
    "ExtensionResource": {
      "Properties": {
        "DataSourceType": {
          "Ref": "DataSourceType"
        },
        "DatasetName": {
          "Ref": "DatasetName"
        },
        "Property": {
          "Ref": "Property"
        },
        "Uri": {
          "Ref": "Uri"
        },
        "WorkspaceId": {
          "Ref": "WorkspaceId"
        }
      },
      "Type": "ALIYUN::PAI::Dataset"
    }
  },
  "Outputs": {
    "Accessibility": {
      "Description": "ワークスペースの可視性。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "Accessibility"
        ]
      }
    },
    "CreateTime": {
      "Description": "リソースの作成時刻。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "CreateTime"
        ]
      }
    },
    "DataSourceType": {
      "Description": "データソースタイプ。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "DataSourceType"
        ]
      }
    },
    "DataType": {
      "Description": "データセットタイプ。デフォルト値は COMMON です。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "DataType"
        ]
      }
    },
    "DatasetId": {
      "Description": "リソースの最初の ID。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "DatasetId"
        ]
      }
    },
    "DatasetName": {
      "Description": "データセットの名前。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "DatasetName"
        ]
      }
    },
    "Description": {
      "Description": "異なるデータセットを区別するためのデータセットのカスタム記述。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "Description"
        ]
      }
    },
    "GmtModifiedTime": {
      "Description": "更新時刻。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "GmtModifiedTime"
        ]
      }
    },
    "Options": {
      "Description": "拡張フィールド。JsonString タイプです。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "Options"
        ]
      }
    },
    "OwnerId": {
      "Description": "プライマリアカウントの ID。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "OwnerId"
        ]
      }
    },
    "Property": {
      "Description": "データセットのプロパティ。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "Property"
        ]
      }
    },
    "SourceId": {
      "Description": "データソース ID。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "SourceId"
        ]
      }
    },
    "SourceType": {
      "Description": "データソースタイプ。デフォルト値は USER です。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "SourceType"
        ]
      }
    },
    "Uri": {
      "Description": "URI 設定の例は次のとおりです。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "Uri"
        ]
      }
    },
    "UserId": {
      "Description": "データセットが属するユーザーの ID。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "UserId"
        ]
      }
    },
    "WorkspaceId": {
      "Description": "データセットが配置されているワークスペースの ID。ワークスペース ID の取得方法については、[ListWorkspaces](~~ 449124 ~~) を参照ください。",
      "Value": {
        "Fn::GetAtt": [
          "ExtensionResource",
          "WorkspaceId"
        ]
      }
    }
  }
}