全部产品
Search
文档中心

大数据开发治理平台 DataWorks:管理数据集

更新时间:Jun 25, 2026

DataWorks的数据集功能可以实现对非结构化数据(如图像、文档)的有效管理控制,并在DataWorks中使用,本文将为您介绍数据集的创建与使用方式。

背景信息

在使用DataWorks进行数据开发的过程中,当您需要读写存储于OSS、NAS中的数据时,可以使用DataWorks的数据集功能。该功能支持您创建和管理数据集及其多个版本,通过数据集版本管理,您能够追踪数据的版本,并在新版本出现问题时迅速切换至旧版本,以确保业务流畅。

计费说明

DataWorks数据集功能不收费,但使用OSS或NAS存储数据会产生相应的存储费用和网络访问费用。详情请参见OSS计费NAS计费

创建数据集

  1. 登录DataWorks控制台,切换至目标地域后,单击左侧导航栏的数据治理 > 数据地图,在右侧页面中单击进入数据地图

  2. 在数据地图左侧导航栏中,单击数据目录image),进入数据目录页面。在目录列表中单击DataSet

  3. 找到需要创建数据集的工作空间后,单击工作空间名称,进入工作空间数据集的详情页,该页面将展示空间下已经创建好的所有数据集,您可通过新建数据集按钮,参照下文,快速创建DataWorks数据集。

说明

如果管理员已创建了自定义属性并绑定了数据集类型,您在创建数据集时可直接配置自定义属性值(如业务域、数据密级等)。自定义属性还支持从工作空间级别继承属性值,减少重复配置。更多信息,请参见自定义属性

在创建新版本时,自定义属性沿用数据集已配置的取值且不可在版本创建页编辑;如需调整,请先编辑数据集的自定义属性后再创建新版本。

在创建数据集表单的数据集配置步骤选择存储类型后,导入配置步骤会根据存储类型展示对应字段。可选的存储类型如下,请参照下方对应小节填写:

存储类型

典型用途

显示条件

对象存储(OSS)

挂载 OSS Bucket 中的文件夹,供数据开发节点读写非结构化数据。

默认可选。

对象存储(COS)

挂载腾讯云 COS 中的目录,复用已纳管的 COS 数据源。

仅当前工作空间已绑定至少一个 COS 数据源时可选。

文件存储 NAS(通用型 / 极速型)

挂载阿里云 NAS 中的子路径,适合需要共享访问、多任务读写同一文件系统的场景。

默认可选;通用型与极速型在同一表单中通过选择不同的文件系统来区分。

DLF Lance

挂载 DLF 中的 Paimon 数据目录下的 Lance 表,按表粒度纳入数据集。

需当前工作空间已纳管 DLF 数据源且存在 Paimon 类型的数据目录。

存储类型为对象存储(OSS)

  • 数据集配置

    配置项

    配置说明

    存储类型

    对象存储(OSS)

    内容类型

    选择您注册数据的类型。此处非必选,默认为通用。

  • 导入配置

    配置项

    配置说明

    OSS 路径

    指定需要挂载的 OSS 文件夹路径(Bucket、Endpoint 由路径自动解析,无需单独填写)。

    说明

    请确保您有对应OSS Bucket的权限

    默认挂载路径

    指定 OSS 文件夹的默认挂载路径,后续可通过此路径在 DataWorks 访问数据。系统默认为挂载至 /mnt/data/,可手动调整;自定义路径必须以 /mnt/ 开头。

存储类型为对象存储(COS)

仅当前工作空间已绑定至少一个 COS 数据源时,存储类型下拉中才会出现此选项。若下拉中无 COS,请先在工作空间中创建并绑定 COS 数据源。

  • 数据集配置

    配置项

    配置说明

    存储类型

    对象存储(COS)

    内容类型

    选择您注册数据的类型。此处非必选,默认为通用。

  • 导入配置

    配置项

    配置说明

    COS 数据源

    必填。从下拉中选择当前工作空间已纳管的 COS 数据源;下拉支持按数据源名称模糊搜索,列表项展示数据源 ID。若没有可用数据源,可通过下拉中的创建数据源入口跳转新建。

    COS 路径

    必填。手动填写 COS 中需要挂载的目录路径,请确保账号有该路径的读写权限。

    说明

    COS 类型的数据集不支持自定义默认挂载路径,因此创建表单中不会展示应用配置步骤。

存储类型为文件存储(通用型 NAS / 极速型 NAS)

通用型 NAS 与极速型 NAS 共用同一份表单,仅文件系统下拉中可选的文件系统不同:

  • 存储类型下拉中选择文件存储(NAS)时,文件系统下拉仅展示通用型 NAS;文件系统路径默认值为根目录 /

  • 存储类型下拉中选择文件存储(极速型 NAS)时,文件系统下拉仅展示极速型 NAS;文件系统路径默认值为 /share/

  • 数据集配置

    配置项

    配置说明

    存储类型

    可选文件存储(通用型NAS文件存储(极速型NAS

    内容类型

    选择您注册数据的类型。此处非必选,默认为通用。

  • 导入配置

    配置项

    配置说明

    文件系统

    必填。选择在当前阿里云账户、当前地域下创建的目标 NAS 文件系统。下拉根据所选存储类型自动过滤(通用型或极速型),暂不支持选择使用 SMB 协议的文件系统。

    文件系统挂载点

    必填。配置挂载点来访问 NAS 文件系统。

    重要

    请确保挂载点的VPC和资源组的VPC网络已连通:

    • 推荐 NAS 挂载点与资源组使用同一 VPC,确保网络连通。

    • 其他场景,请参考网络连通方案概述将 NAS 挂载点的 VPC 与资源组配置的 VPC 网络打通。

    文件系统路径

    必填。指定需要挂载的 NAS 文件夹路径。默认值随存储类型不同而不同:通用型 NAS 默认 /,极速型 NAS 默认 /share/。请确保该路径在 NAS 系统中确实存在,否则在使用该数据集时会出现错误。

    默认挂载路径

    指定上述 NAS 文件夹在数据集中的默认挂载路径,后续您可以通过该路径在 DataWorks 访问 NAS 路径上的数据。系统默认为 /mnt/data/,可手动调整;自定义路径必须以 /mnt/ 开头。

存储类型为 DLF Lance

DLF Lance 数据集按表粒度纳管,使用前请先在当前工作空间中纳管 DLF 数据源,并确保 DLF 中存在 Paimon 类型的数据目录与 Lance 表。该类型不展示导入格式字段(按表粒度导入,无需选择目录或文件格式)。

  • 数据集配置

    配置项

    配置说明

    存储类型

    DLF Lance。

    内容类型

    选择您注册数据的类型。此处非必选,默认为通用。

  • 导入配置

    配置项

    配置说明

    数据目录名称

    必填。下拉仅展示 DLF 数据源下 Paimon 类型的数据目录。

    数据库名称

    必填。下拉根据所选数据目录联动;未选择数据目录时不可用。

    Lance 表名称

    必填。下拉仅展示所选数据库下的 Lance 类型表。

    默认挂载路径

    指定 Lance 表在数据集中的默认挂载路径,后续可通过该路径在 DataWorks 访问 Lance 表数据。系统默认为 /mnt/data/,可手动调整;自定义路径必须以 /mnt/ 开头。

查看数据集详情

本节面向「我想查阅一个已有数据集」的场景,介绍如何进入数据集详情页以及详情页内可查看的信息。维护数据集(新建版本、删除等)请参见管理数据集

进入数据集详情页:在数据目录 > DataSet中,进入目标空间下的数据集列表,单击需要查看的数据集操作列的详情,即可进入数据集详情页。

说明

详情页有两种打开形态:在数据目录面板中打开(默认),右上角提供新建版本删除数据集按钮;若通过全局搜索结果或外部深链直接打开(独立详情页路由),页面顶部会额外提供去管理按钮,单击后跳转回数据目录中本数据集所在节点的管理面板。两种形态下页签内容一致。

详情页含以下页签:

  • 属性:展示数据集的负责人、创建时间、所属工作空间、描述等核心字段;若管理员已配置自定义属性,会同步展示自定义属性卡片(详情请参见自定义属性,自定义属性支持从工作空间继承)。该页签下还内嵌「数据集版本」区块,展示当前数据集的全部版本,并提供版本切换与跳转 OSS 控制台查看原始数据的入口(详见查看数据集原始数据)。

  • 数据查看:按数据集的存储类型与内容类型呈现样例数据,无需跳出 DataWorks 即可预览。

    说明

    该页签仅对存储类型为对象存储(OSS)且内容类型在系统支持预览清单内的数据集可见;其他存储类型或内容类型的数据集不会展示该页签,需通过查看数据集原始数据跳转 OSS 管理控制台查看原始文件。

  • 血缘信息:查看数据集与上游表、下游任务之间的血缘关系。

  • 使用说明:维护并阅读数据集的使用说明文档,能力与表详情的使用说明一致。

管理数据集

本节面向「我想对一个已有数据集做变更」的场景,按用户任务组织。所有操作均在查看数据集详情章节描述的数据集详情页右上角或属性页签的数据集版本区块中触发。

  • 新建版本(更新数据指向):

    在数据集详情页右上角单击新建版本,进入版本创建页面。版本配置区允许重新填写OSS路径或 NAS 文件系统配置(按数据集的存储类型展示对应字段),并重新设置默认挂载路径。数据集配置区(名称、存储类型、内容类型、自定义属性等)在新建版本时为只读,需变更请先编辑数据集本身。

  • 查看数据集原始数据(跳转外部控制台):

    仅适用于存储类型为对象存储(OSS)的数据集。在属性页签的数据集版本区块选择目标版本,单击操作区的去OSS查看按钮,即可跳转至 OSS 管理控制台并定位到该版本配置的存储路径。若该数据集的内容类型已支持站内预览,操作区会改为显示数据查看按钮,单击后跳转到数据查看页签直接预览,无需离开 DataWorks。

  • 删除版本(撤回某一次版本):

    属性页签的数据集版本区块右上角的下拉菜单中选择目标版本,单击删除按钮即可删除该版本。删除版本后数据集本身保留,仅该版本不可恢复。

  • 删除数据集(移除整个数据集):

    在数据集详情页右上角单击删除按钮,即可删除该数据集及其所有版本。

重要

无论是删除数据集还是删除版本,都只删除 DataWorks 数据集功能中的记录,不会删除 OSS / NAS 等底层存储中的原始文件;但删除后在 DataWorks 数据集功能中将无法恢复,请谨慎操作。

使用数据集

DataWorks支持您在数据开发节点(Shell节点Python节点Notebook 基础开发)以及个人开发环境中使用已创建的数据集。

具体操作请参见使用数据集