本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。

说明 DataWorks支持自动升级,升级对当前用户无影响。

2023年4月更新记录

时间特性类别描述产品文档
2023.4.23新增功能数据集成数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享传输资源能力,可以为您提供更好的数据同步稳定性和同步的并发数。使用MaxCompute独享Tunnel进行数据同步
2023.4.19新增功能数据集成以阿里云EMR Hive离线同步写入MaxCompute场景为例,为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。EMR Hive数据整库离线同步至MaxCompute
2023.4.17优化体验管理控制在创建DataWorks工作空间时,您需要选择工作空间所在地域,默认情况下DataWorks工作空间所在地域对应的时区即为调度时区(即任务定时调度时间所使用的时区)。同时,还支持您切换工作空间的调度时区。场景:切换调度时区
2023.4.14新增功能数据集成以MySQL离线同步写入Hive场景为例,为您介绍如何一次性把MySQL整个数据库的数据离线同步至Hive。MySQL整库数据离线同步至Hive
2023.4.12更新功能数据集成补充行模式列模式两种数据读取与写入方式,可针对宽表与时序表进行数据读取与写入。

2023年3月更新记录

时间特性类别描述产品文档
2023.3.28更新功能数据地图为您介绍如何创建采集器,将各数据源的元数据信息汇集至DataWorks。元数据采集
2023.3.23新增功能数据集成离线和实时任务支持使用Logview查看任务运行信息。
2023.3.21更新功能数据建模数仓分层新增维度相关内容。数仓分层检查器功能优化,所有模型或指标检查器统一使用一种强弱程度的规则,即统一为强规则,或统一为弱规则。
2023.3.02新增功能数据集成以ClickHouse离线同步写入Hologres场景为例,为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。ClickHouse整库数据离线同步至Hologres
2023.3.02新增功能数据开发新增调度属性概述介绍。若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。任务调度属性配置概述

2023年2月更新记录

时间特性类别描述产品文档
2023.2.28新增功能数据治理中心DataWorks支持您根据业务需要,将治理工作台 > 治理项问题页面待解决的治理项问题以通知的形式,通过系统提示、邮件、钉钉群消息等发送给指定人员,方便及时查看并处理。设置消息通知
2023.2.26更新功能数据开发优化周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。下线任务
2023.2.21新增功能数据开发DataWorks将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。同时,支持使用资源、函数、以及相关逻辑处理节点开发更多复杂的任务。您可参考数据开发任务的通用开发流程进行任务的数据开发。通用开发流程
2023.2.17优化体验数据集成调整数据集成模块整体架构。数据集成概述
2023.2.16更新功能数据开发优化OSS对象检查节点的配置说明及使用步骤。OSS对象检查节点
2023.2.14新增功能迁移助手导出开源引擎任务新增导出DolphinScheduler类型任务。导出DolphinScheduler任务
2023.2.09更新功能数据开发调整创建并使用SQL组件节点的架构,并优化组件节点的使用逻辑。组件概述

2023年1月更新记录

时间特性类别描述产品文档
2023.1.17新增功能数据开发为您介绍任务调试的基本流程,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。任务调试流程
2023.1.17更新功能数据开发补充节点组的删除说明,优化节点组的相关内容。使用节点组
2023.1.11新增功能运维中心任务实际执行受多方因素影响,您可通过运行诊断功能快速定位任务未运行成功的原因。任务运行诊断
2023.1.10新增功能数据开发您可通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。查看数据开发操作记录
2023.1.9新增功能数据智能建模用于管理数据仓库建表管控策略(例如,是否允许用户在没有数据模型的情况下,可在数据开发DataStudio生产环境下直接创建MaxCompute物理表)。策略启用后,凡是未通过智能数据建模生成的MaxCompute物理表,在创建或修改表时均会触发表名检测,保障建表的规范性。系统管理
2023.1.6新增功能数据智能建模模型支持发布至EMR、Hologres引擎。发布与管理表

2022年12月更新记录

时间特性类别描述产品文档
2022.12.29功能更新数据开发优化创建及使用MaxCompute表的相关内容,包括可视化创建表、提交发布表、MaxCompute表数据写入与导出、查询MaxCompute表数据等。创建并使用MaxCompute表
2022.12,23优化体验数据开发更新表管理相关内容的设置(定义表相关格式、定义表主题、定义表层级)。表管理
2022.12.23新增功能开始使用更新引擎绑定入口及相关权限说明。为工作空间绑定引擎
2022.12.15新增功能数据开发新增DataWorks On MaxCompute、DataWorks On Hologres引擎开发流程。
2022.12.6新增功能开放平台新增工作流状态变更事件。附录:发送给EventBridge的消息格式

2022年11月更新记录

时间特性类别描述产品文档
2022.11.25新增功能数据开发您可参考调度参数的最佳实践配置,在代码中定义参数,并在调度配置中对参数进行赋值使用。调度参数配置最佳实践
2022.11.24新增功能数据开发新增调度依赖配置指引及复杂场景依赖配置原则,帮助您了解调度依赖的配置流程及重点难点内容。配置调度依赖前请先了解此内容,避免因调度依赖配置有误导致数据异常。
2022.11.23新增功能数据开发新增使用可视化方式创建Hologres内部表及外部表。
2022.11.18更新功能开放平台更新进入开放平台的入口。开放平台概览
2022.11.17新增功能数据地图加入或查看专辑:您可将当前表加入目标数据专辑中进行管理,或查看当前表已加入的数据专辑。查看表详情
2022.11.3新增功能安全中心新增数据查询与分析管控功能,授权用户可查询指定数据源,以及管控查询结果的相关操作。数据查询与分析管控

2022年10月更新记录

时间特性类别描述产品文档
2022.10.21更新功能管理控制
  • 调整管理控制模块整体架构。
  • 优化工作空间管理、数据源管理、资源组管理模块文档逻辑结构及内容描述。主要包括创建并管理工作空间、绑定与管理计算引擎、简单模式与标准模式的区别等。
管理控制台功能概览管理中心功能概览
2022.10.20新增功能资源组首次使用独享资源组时,系统会自动创建AliyunServiceRoleForDataWorks服务关联角色,用来访问专有网络VPC(Virtual Private Cloud)、弹性网卡ENI(Elastic Network Interface)及安全组中的资源。您也可使用RAM用户创建该服务关联角色。DataWorks服务关联角色

2022年09月更新记录

时间特性类别描述产品文档
2022.9.23更新功能管理控制台运维助手功能改造,为您提供在独享调度资源组上进行新建、执行和删除命令的工具,以及查看命令执行结果等操作的功能。运维助手
2022.9.22新增功能数据开发简单模式支持强制代码评审功能,为您介绍简单模式工作空间的节点发起强制代码评审的流程及相关介绍。代码评审
2022.9.20新增功能运维中心查看实例详情界面增加查看关联的自定义规则及智能基线的情况,同时,为您提供快速创建任务运行状态监控则及智能基线的入口。查看周期实例执行测试并查看测试实例附录:DAG图功能介绍
2022.9.19更新功能数据集成DM插件补充向导模式。DM ReaderDM Writer
2022.9.06新增功能数据建模DataWorks支持在维度建模中规划并创建维度,后续创建维度表时进行关联,关联后即可通过不同维度分析呈现不同视角的业务数据状况。创建概念模型:维度
2022.9.06新增功能数据建模DataWorks智能数据建模新增通用导入工具,您可基于数据模型、数据标准等多种类型的对象模板,批量导入并创建相应对象。导入

2022年08月更新记录

时间特性类别描述产品文档
2022.8.30更新功能数据集成
  • 调整数据集成模块整体架构。
  • 优化数据集成模块文档逻辑结构及内容描述。主要包括选择数据同步场景、同步前准备、离线数据同步、实时数据同步和同步解决方案等。
  • 补充整库实时同步至Oracle、PolarDB、MySQL文档和整库离线同步至OSS文档。
数据集成概述
2022.8.22新增功能运维中心周期实例界面新增业务流程运维视角,通过可视化图标为您展示业务流程的运行状态,并支持您直接操作业务流程,业务流程视角下单个实例的操作与周期实例视角操作一致。查看周期实例
2022.8.18新增功能数据建模DataWorks智能数据建模新增如下功能:
  • 支持批量导入导出指标。
  • 支持管理指标版本、查看指标的关联表。
  • 新增指标及表名检查器,规范目标分层中模型及指标的命名,统一同一分层中模型及指标的命名格式。
  • 应用层支持逆向建模。
  • 模型发布时支持选择资源组。
2022.8.05新增功能数据开发DataWorks支持一键同步MaxCompute表结构及表数据至Hologres:
  • 同步表结构:帮助您快速批量创建与目标MaxCompute表结构相同的Hologres外部表,后续您可使用Hologres外部表加速查询MaxCompute表的数据。
  • 同步表数据:帮助您一键同步MaxCompute数据至Hologres,您可使用该方式快速查询MaxCompute表数据。
2022.8.02新增功能数据开发
  • 为您介绍在DataWorks上运行EMR任务时所使用DataLake集群的最优配置。
  • 为您介绍如何在DataWorks上运行PySpark作业的。

2022年07月更新记录

时间特性类别描述产品文档
2022.7.29新增功能数据建模
  • 模型在导入字段时,支持自动填充显示名及描述为空的字段。
  • 支持将模型信息导出为对应引擎的建表DDL语句或ETL语句,便于复制或直接导出代码文件。
发布模型至引擎
2022.7.29新增功能数据建模模型开发支持绑定已有DataStudio节点,您可在绑定成功后直接跳转至对应的节点页面进行数据开发。基于模型生成ETL代码
2022.7.29新增功能数据建模数仓分层检查器支持创建指标检查器,用于规范目标分层中指标的命名,帮助您减少后期的运维成本。配置及使用数仓分层检查器
2022.7.8新增功能数据开发DataWorks支持绑定EMR的DataLake(新版数据湖)集群为执行EMR任务使用的引擎,您可基于DataLake集群运行开发任务。为您介绍DataWorks On EMR开发流程的事项、相关配置、权限说明。
2022.7.2更新功能数据开发补充虚拟节点如下应用场景:
  • 复杂依赖场景下的业务管理
  • 调度无血缘关系的节点
  • 管理多分支结果的业务流程,实现跨业务流程的调度依赖
虚拟节点

2022年06月更新记录

时间特性类别描述产品文档
2022.6.28新增功能数据建模逆向建模的配置逆向策略支持表名匹配规则模糊匹配。逆向建模:物理表反向建模
2022.6.27新增功能数据保护伞在敏感数据识别界面新增自定义扫描范围功能,同时,支持您可视化查看数据识别进度、数据识别执行日志。数据识别规则
2022.6.22更新功能开放平台OpenEvent实现消息订阅与消费的方式由kafka更改为EventBridge。
2022.6.16更新功能数据开发补充跨业务流程节点依赖的调度配置场景,该场景主要为您介绍跨业务流程、跨工作空间场景下,如何设置节点的调度依赖。场景3:如何配置跨业务流程、跨工作空间的调度依赖
2022.6.13新增功能数据开发DataStudio会根据您的角色权限展示预设的功能模块,并支持按照您的需要定制化展示所需模块,降低DataStudio使用门槛。场景:数据开发定制化展示
2022.6.2新增功能数据集成当同步任务执行完成,新同步到MaxCompute的数据能被查询到。MaxCompute Writer
2022.6.2新增功能数据集成StarRocks数据源为您提供读取和写入StarRocks双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。配置StarRocks数据源

2022年05月更新记录

时间特性类别描述产品文档
2022.5.23新增功能审批中心数据集成审批策略支持管理员从DataWorks空间级别为数据集成任务的保存操作定义审批策略。
2022.5.22更新功能数据保护伞
  • 设置白名单生效时间后,对于符合白名单条件的敏感数据,将在指定有效期内不进行脱敏处理
  • 白名单条件不可以全部设置为全部
数据脱敏管理
2022.5.18新增功能数据保护伞新增数据血缘功能,支持可视化展示敏感数据的血缘关系,自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段,帮助您梳理敏感数据的扩散情况及影响面,提高数据识别效率。数据血缘(公测)
2022.5.18新增功能数据建模新增首页功能,为您展示了当前租户内创建的模型及派生指标数量,以及近三十天内当前工作空间成功发布至生产环境的模型列表,帮助您了解模型动态概况。首页
2022.5.13新增功能API获取导入导出迁移任务列表。ListMigrations
2022.5.11新增功能数据集成HBase20xsql Reader插件实现了从Phoenix(Hbase中的SQL表)中读取数据。HBase20xsql Reader
2022.5.12更新功能商业化计费逻辑文档重构。计费逻辑说明
2022.5.10新增功能智能监控
  • 智能监控功能支持您通过配置自定义规则,实现对任务运行状态及资源使用情况的监控。
  • 通过配置智能基线,保障复杂依赖场景下重要数据在预期时间内正常产出。
  • 您还可以根据业务需求自定义资源组运维规则,实现资源组的自动化运维。
智能监控概述

2022年04月更新记录

时间特性类别描述产品文档
2022.04.29更新功能产品计费及资源组
  • 调整产品版本规格与资源组产品计费模块整体架构。
  • 优化上述模块文档逻辑结构及内容描述。主要包括购买指引、资源组概述等。
  • 补充规格变更、扩缩容操作、扣费与欠费、到期说明及续费操作等其他操作指引。
2022.04.17更新功能产品版本规格与资源组资源组规格变更体验优化。新增变更前准备、操作影响确认、支持设置是否重跑任务等功能。变更规格操作
2022.04.15更新功能智能基线
  • 优化智能基线界面布局,原基线管理、基线实例、事件管理页面合并。
  • 支持为基线设置告警规则,包括基线告警和事件告警。
  • 在操作历史页面,支持查看基线变更记录:新增、修改、开启、关闭、删除。
2022.04.15新增功能数据分析师数据分析师角色的用户默认只有数据分析模块的操作权限。
2022.04.14新增功能管控台基础操作选择地域后,默认情况下将DataWorks工作空间所在地域对应的时区设置为调度时区(即任务定时调度时间所使用的时区),美国(硅谷)、德国(法兰克福)地域首次创建工作空间时,会出现弹框提示,可提交工单联系技术支持人员修改调度时区为东八区。工作空间管理概述
2022.04.13新增功能数据保护伞
  • 新版风险识别管理。

    新版功能提供了多维度的关联分析及算法,智能化的分析技术帮助您通过风险识别规则,主动发现风险操作并预警,使用可视化方式进行一站式审计。DataWorks内置了多种场景的风险识别规则,您可以直接使用,也可以根据业务场景自定义规则。

  • 新版数据风险。

    新版功能从多维度呈现了通过配置的风险识别规则命中的风险数据,方便您了解不同维度的风险分布、指定时间的风险趋势及风险项目空间排名,获取风险高发的时间及项目空间,也可以查看产生风险的用户、时间、操作等详情,及时定位并处理风险。

2022年03月更新记录

时间特性类别描述产品文档
2022.03.28新增功能数据开发DataWorks的快捷运行功能,帮助您在节点编辑页面,快速运行选中的代码片段。您可以通过该功能测试代码片段编写是否正确。本文为您介绍如何快捷运行目标代码。调试代码片段:快捷运行
2022.03.25更新功能数据开发DataWorks数据开发(DataStudio)界面功能更新,方便您总览数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。同时,新增如下功能:
  • 快速新建节点:新建节点时,系统会显示最近一次使用的节点类型,单击该类型,即可自动输入最近一次使用的引擎实例及节点类型。如果您需要创建近期使用过的类型节点,则可使用该方式快速创建。
  • 删除业务流程:删除业务流程时,针对无法删除的文件,您可以选择终止,不再继续删除文件跳过,继续删除其他文件处理策略。
数据开发功能索引
2022.03.21更新功能数据治理查看治理排行榜的个人视角支持您按照用户角色过滤治理项及检查项事件的排行榜列表。查看治理结果
2022.03.20更新功能产品更新
  • 工作空间列表展示优化。
  • 报警联系人删除一键应用功能。
2022.03.17更新功能数据地图
  • 表详情页面新增数据质量模块为您展示当前表配置的数据质量监控规则详情及DQC告警列表。
  • 数据总览页面总项目数为实时统计数据。
2022.03.17更新功能调度参数调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。本次主要调整调度参数章节整体架构,并梳理内容逻辑。方便您快速学习相关内容并着手使用。调度参数支持的格式
2022.03.16更新功能数据服务过滤器配置入口变化,当您需要对API的请求参数进行预处理或对查询结果进行二次加工时,您可以在API编辑页面的右侧导航栏中,单击过滤器,根据需要勾选使用前置过滤器使用后置过滤器
2022.03.07更新功能数据保护伞
  • 数据识别规则
    • 内容识别规则、元数据识别规则支持配置且、或关系。
    • 识别规则支持配置命中阈值。
  • 全局脱敏规则
    • 新增置空、取整、区间变换、字符替换脱敏方式。
    • 优化假名脱敏、掩盖脱敏规则配置方式。
    • HASH增加SHA256、SHA512、SM3脱敏方式。
  • 手动修正数据
    • 增加批量修正功能。
    • 手动修正数据页面筛选条件优化。
    • 增加导出识别结果功能。
    • 支持用户手动新增识别结果。
    • 手动修正数据列表展示优化。

2022年02月更新记录

时间特性类别描述产品文档
2022.02.08更新功能数据集成离线同步插件补充向导模式。
2022.02.15更新功能数据开发界面风格设置功能更新:
  • 个人设置:用于自定义您的DataStudio模块和编辑器的界面显示、主题风格。
  • 代码模板:用于在创建节点后,默认展示在该节点代码编辑器界面最前端的内容。您可以根据实际需求设置ODPS SQL、ODPS MR、SHELL类型节点的代码模板。
  • 安全设置与其他:
    • 数据安全:用于控制在当前DataWorks工作空间中使用数据开发(DataStudio)执行查询操作时,是否对返回结果涉及的敏感信息进行脱敏展示。
    • 代码强制评审:开启代码强制评审,配置代码审核人员,把控开发任务的代码质量。
    • 强制冒烟测试:开启后,仅当任务的冒烟测试运行成功后该任务才可发布。
    • 删除DataBlau DDM数据模型:批量删除所有不再使用的DataBlau DDM数据模型。
2022.02.20新增功能调度依赖为您介绍开启自动解析后,提交节点时,出现调度依赖配置不一致情况的相关说明。配置同周期调度依赖
2022.02.25更新功能数据开发为您介绍新建归并节点后 ,如何进入节点编辑页面定义归并逻辑。归并节点

2022年01月更新记录

时间特性类别描述产品文档
2022.01.20新增功能数据建模为您介绍如何创建应用表。应用表是面向具体业务场景时,用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。创建逻辑模型:应用表
2022.01.18新增功能数据建模为您介绍如何创建并管理维度。维度管理用于标准化定义维度,帮助您对数据建模过程中产生的维度进行统一创建和管理,保证维度唯一,避免重复创建。维度管理
2022.01.18新增功能数据建模DataWorks智能数据建模新增应用层建模,包括数据集市、主题域:
  • 数据集市是基于业务分类,面向特定应用场景或者产品的数据组织。通常位于数据应用层,依赖于公共层的整合数据。本文为您介绍如何创建数据集市并管理主题域。
  • 主题域用于将数据集市按照分析视角进行划分,通常是联系较为紧密的数据主题的集合。您可以根据业务的关注点,将这些数据主题划分至不同的主题域。例如,电商行业通常分为交易域、会员域、商品域等。
2022.01.16新增功能数据开发当节点配置完调度依赖后,您可以单击预览依赖,通过任务依赖实例依赖维度,查看节点的上下游依赖关系,以便当节点的上下游依赖不符合预期时及时调整。配置同周期调度依赖
2022.01.15更新功能数据开发为您介绍如何配置调度资源组。周期任务的运行依赖于调度资源组,您可以在目标任务调度配置的资源属性区域,选择任务调度运行时需要使用的资源组。配置资源属性
2022.01.14新增功能数据开发为您介绍如何开启调度功能并设置相应调度参数的默认配置。您需要进入DataStudio的调度设置页面启用调度周期后,周期任务才能自动调度运行。调度设置
2022.01.14新增功能数据开发DataWorks调度设置 > 时间属性页面,新增重跑相关参数的默认值设置入口。时间属性配置说明
2022.01.14新增功能数据开发配置调度参数新增系统参数赋值。调度参数支持的格式
2022.01.12新增功能数据分析DataWorks的SQLNotes功能用于编写Markdown文本、SQL代码并可直接查询和保存查询结果。SQLNotes
2022.01.06更新功能数据开发为您介绍DataWorks数据开发(DataStudio)界面各按钮的功能,方便您了解数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。数据开发功能索引

2021年12月更新记录

时间特性类别描述产品文档
2021.12.27新增功能数据地图新增DataWorks的数据抽样采集器功能,从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则,那么在数据地图表详情页面进行数据预览时,命中的敏感字段将会被脱敏。CDH Hive数据抽样采集器
2021.12.24新增功能API
  • 新增GetDISyncTask,获取数据集成实时同步任务和同步解决方案的详情。
  • 新增DeployDISyncTask,发布实时同步任务和同步解决方案任务。
  • 新增GetDISyncInstanceInfo,获取实时同步任务和同步解决方案任务的运行状态。
  • 新增TerminateDISyncInstance,下线数据集成实时同步任务。
GetDISyncTaskDeployDISyncTaskGetDISyncInstanceInfoTerminateDISyncInstance
2021.12.20新增功能数据服务新增支持Aviator函数类型及最佳实践。为您介绍如何创建Aviator函数,并使用Aviator函数作为API的前置或后置过滤器。创建和使用Aviator函数(过滤器)使用Aviator函数作为过滤器的最佳实践
2021.12.14新增功能数据质量新增按模板配置监控规则方式。数据质量为您提供数十种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。按模板配置监控规则
2021.12.09更新功能使用分析DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角,高效的进行数据治理工作。

使用透视功能便于数据开发者及管理者查看和分析工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。

使用透视
2021.12.02新增功能API
  • 新增数据开发过程中,检查扩展点事件的系列API。
  • 新增数据集成异步同步任务系列API。
2021.12.01更新功能数据地图OSS数据管理新增权限授权功能,进入OSS数据管理页面进行Bucket授权后,将默认已授权Bucket上开通相关服务,如果在Bucket中删除已开通的相关服务,将无法在OSS数据管理中查看该Bucket相关信息。

2021年11月更新记录

时间特性类别描述产品文档
2021.11.24主要更新数据集成HDFS Reader和HDFS Writer增加向导开发模式。HDFS ReaderHDFS Writer
2021.11.20新增功能API新增运维中心相关API,您可以根据OpSeq(补数据唯一标识)获取单次补数据的所有Dag详情。ListDags
2021.11.14新增功能数据开发DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。批量操作
2021.11.08新增功能数据开发DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。资源组编排

2021年10月更新记录

时间特性类别描述产品文档
2021.10.26新增功能数据建模
  • 命名词典为您提供管理业务名词、物理表、字段的词根和词素及其标准化翻译功能,您可以在DataWorks新建命名词典,或将已有词典导出。
  • 当您已通过其他建模工具生成模型,此时,想更换为DataWorks的智能建模进行后续建模工作,则可以使用逆向建模功能。该功能无需您再次执行建模操作,即可帮助您快速将已有模型反向建模至DataWorks的维度建模中,节省了大量的时间成本。
2021.10.22主要更新数据保护伞
  • 数据分类分级支持您按照数据的价值、内容敏感程度、影响和分发范围不同对数据进行敏感级别划分。不同敏感级别的数据有不同的管控原则和数据开发要求。
  • DataWorks支持通过内置敏感字段类型和自定义敏感字段类型,有效识别组织内的敏感数据。
2021.10.15新增功能API
  • 新增ListDeployments,查询发布包列表信息。
  • 新增UpdateIDEEventResult。用于在数据开发过程中触发扩展点时,通过调用UpdateIDEEventResult接口,将扩展程序对扩展点事件的检查结果返回给DataWorks的数据开发系统。
  • 新增GetIDEEventDetail,根据DataWorks开放消息的消息ID,查询触发扩展点事件时的扩展点数据快照。
2021.10.14新增功能API为您介绍如何使用OpenAPI创建数据集成同步任务,同步来源端数据至去向端。最佳实践:创建离线同步任务OpenAPI基础实践
2021.10.11新增功能数据开发DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。代码搜索

2021年9月更新记录

时间特性类别描述产品文档
2021.09.30新增功能数据开发调度配置调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换取值,实现在任务调度时间内参数的动态取值。为您介绍调度参数的最新配置详情。调度参数支持的格式
2021.09.30新增功能数据开发调度配置DataWorks的调度依赖中,跨周期(即依赖上一周期),是指本次节点的周期实例运行依赖某个节点的上一周期实例运行,即节点当前周期实例是否运行取决于其所依赖的节点上一周期实例是否正常运行。为您介绍跨周期依赖的配置说明及依赖形式。配置依赖上一周期(跨周期依赖)
2021.09.26新增功能数据地图新增搜索API和查看API详情功能,支持对当前租户下所有工作空间的API进行搜索和定位,实现API的高效查找。同时在API详情页面,支持查看API的基础信息、参数信息、返回示例等详情。查找API

查看API详情

2021.09.15新增功能数据分析新增SQL查询功能,支持您对已有数据源进行快速的数据查询及分析。SQL查询
2021.09.02新增功能运维中心周期任务的补数据功能新增高级模式。用于灵活选择一批节点进行批量补数据操作,节点之间可以不存在依赖关系。您可以在DAG图上使用可视化方式添加节点,也可以在任务列表中添加节点。执行补数据并查看补数据实例

2021年8月更新记录

时间特性类别描述产品文档
2021.08.29新增功能数据集成为您介绍如何使用数据脱敏功能对实时同步的单表数据进行脱敏,然后存储到指定的数据库位置。配置数据脱敏
2021.08.22新增功能数据集成为您介绍如何使用DataWorks的数据集成功能,同步数据至Kafka。资源规划与配置
2021.08.11新增功能新增SSL认证DataWorks在配置MySQL、SQLServer、Postgres、数据源时,支持开启第三方认证功能,开启该功能后,只有可信的应用和服务才能访问数据资源。第三方认证机制用于用户和服务的强身份验证,通过该机制,可以有效的避免不受信任的程序或服务来获取数据访问权限,提高数据同步过程中访问数据资源的安全性。
2021.08.07主要更新权限体系基于产品外部权限体系RAM访问控制的权限及产品内部权限体系DataWorks产品内的权限控制,为您介绍了DataWorks的权限管理体系。DataWorks权限体系功能概述
2021.08.01新增功能迁移助手DataWorks迁移助手8.1日正式商业化。迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。迁移助手

2021年7月更新记录

时间特性类别描述产品文档
2021.07.22新增功能新增API新增数据集成相关API,您可以通过API创建数据集成同步任务的相关内容。CreateDISyncTask
2021.07.14新增功能管理控制台配置您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。查看和设置报警联系人
2021.07.09新增功能产品计费华东2(上海)金融云、华南1(深圳)金融云新增产品计费说明。DataWorks版本服务计费说明
2021.07.03新增功能数据保护伞DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。数据溯源
2021.07.02新增功能数据保护伞DataWorks支持将您提供的样本文件生成样本库,后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址等。本文为您介绍如何创建并管理样本库。创建并管理样本库
2021.07.02新增功能数据保护伞DataWorks支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。自生成数据识别模型

2021年6月更新记录

时间特性类别描述产品文档
2021.06.11新增功能数据开发EMR Streaming SQL节点支持使用SQL语句来开发流式分析作业。-
2021.06.11新增功能数据开发EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。-
2021.06.09新增功能运维中心DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。实时计算任务运行与管理

2021年5月更新记录

时间特性类别描述产品文档
2021.05.20新增功能运维中心您可以使用DataWorks值班表功能设置实例运维报警的值班机制。当自定义规则的报警接收人设置为值班表后,DataWorks将按照排班将报警信息发送给对应的值班人,以便值班人员及时发现并处理问题。值班表
2021.05.17新增功能数据开发您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。创建ClickHouse SQL节点
2021.05.15新增功能数据集成为您介绍如何使用DataWorks的数据集成功能,同步数据至AnalyticDB MySQL 3.0。

2021年4月更新记录

时间特性类别描述产品文档
2021.04.29新增教程快速入门DataWorks为您提供了常用的AI体验教程,帮助您快速了解相关任务的开发流程。AI体验教程
2021.04.28新增功能数据集成同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。增加或删除已运行任务的同步表
2021.04.22新增功能数据开发FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。FTP Check节点
2021.04.06新增API新增API新增安全中心模块API文档。GetPermissionApplyOrderDetail
2021.4.05新增功能数据集成为您介绍如何使用DataWorks的数据集成功能,实时同步数据至Kafka。资源规划与配置

2021年3月更新记录

时间特性类别描述产品文档
2021.3.19新增功能自定义角色为您介绍如何在DataWorks的工作空间自定义角色。空间级模块权限管控
2021.3.11新增引擎导入导出开源任务新增引擎。为您介绍如何导入Airflow引擎任务至DataWorks,及向DataWorks中导入Airflow引擎任务。
2021.3.11新增功能引擎运维为您介绍如何使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。引擎运维
2021.3.9新增功能周期任务DAG的聚合分析。周期任务运维中,新增DAG的聚合视图及分析功能,您可以通过DAG图,快速查看目标类别任务的详细信息并执行相关操作。
2021.3.3新增功能新增API新增运维中心、数据保护伞、迁移助手模块相关功能API。

2021年2月更新记录

时间特性类别描述产品文档
2021.2.24新增功能新增查看数据集成任务运行状态功能为您介绍如何快速查看已运行的同步解决方案任务的分布及运行情况,及时发现并处理异常任务,提升任务的运维效率。同步解决方案任务运维
2021.2.9新增功能新增实时数据同步任务为您介绍如何创建实时同步任务,同步指定表中的数据,并在创建完成后查看任务运行情况。同步单表数据
2021.2.6新增功能新增实时数据同步任务为您介绍如何创建实时同步任务,将指定数据库中的部分或全部表的数据同步至MaxCompute、Hologres、DataHub中,并在创建完成后查看任务运行情况。
2021.2.5新增功能新增功能为您介绍如何创建ApsaraDB for OceanBase数据源,用于后续配置同步任务同步数据。配置ApsaraDB for OceanBase数据源

2021年1月更新记录

时间特性类别描述产品文档
2021.1.28新增功能新增数据开发节点类型为您介绍如何创建并使用MySQL及AnalyticDB for MySQL节点,直接使用SQL语句对目标数据源进行数据开发。
2021.1.20新增功能新增同步解决方案为您介绍如何创建整库离线及实时同步任务,将指定数据库中的部分或全部表的数据同步至ElasticSearch中,并在创建完成后查看任务运行情况。
2021.1.19新增功能新增数据地图白名单及类目管理权限功能为您介绍如何配置白名单及类目管理权限,保证您能正常使用数据地图的元数据采集和类目管理功能。配置白名单及类目管理权限
2021.1.13新增功能新增操作审计功能为您介绍如何在操作审计(ActionTrail)中查询DataWorks的行为事件日志。您可以通过查询到的事件日志进行行为分析、安全分析、资源变更行为追踪和行为合规性审计等操作。通过操作审计查询行为事件日志
2021.1.13新增功能新增数据建模功能模块计费标准为您介绍数据建模功能模块的计费详情。
2021.1.7新增功能新增功能为您介绍同步MySQL数据源至ElasticSearch的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看等内容。同步数据至ElasticSearch

2020年12月更新记录

时间特性类别描述产品文档
2020.12.24新增功能新增同步解决方案为您介绍同步PolarDB、Oracle、MySQL数据源至Hologres、MaxCompute的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看和相关常见问题介绍等内容。
2020.12.14新增功能新增功能为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。采集OTS元数据

2020年11月更新记录

时间特性类别描述产品文档
2020.11.18新增功能新增OpenAPI调用CreateManualDag触发手动业务流程执行。CreateManualDag
2020.11.18新增功能新增OpenAPI调用GetManualDagInstances获取手动业务流程执行实例的信息。GetManualDagInstances
2020.11.18新增功能新增OpenAPI调用GetDag,根据DagId获取Dag详情。GetDag
2020.11.18新增功能新增OpenAPI调用SearchNodesByOutput,根据输出精确查询节点。SearchNodesByOutput
2020.11.10新增常见问题体验优化为您汇总运维中心的相关问题。问题汇总
2020.11.02新增功能新增功能DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。代码评审

2020年10月更新记录

时间特性类别描述产品文档
2020.10.30新增OpenAPI概述体验优化本文为您介绍DataWorks OpenAPI的可用范围、计费方式和调用限制。DataWorks OpenAPI概述
2020.10.28新增功能新增功能本文为您介绍如何创建EMR(E-MapReduce)表。创建EMR表
2020.10.28新增功能新增功能DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。准备工作:绑定EMR引擎

2020年9月更新记录

时间特性类别描述产品文档
2020.09.03计费更新产品定价按量计费旨在让您以低成本使用DataWorks所有基本的核心功能。DataWorks按量计费概述
2020.09.03主要更新体验优化为您介绍什么是DataWorks,以及DataWorks的功能和使用限制。什么是DataWorks
2020.09.02新增教程体验优化本教程为您介绍如何通过DataWorks配合机器学习的方式,实现窃电用户的自动识别,保障用户的安全用电。窃电用户自动识别概述

2020年8月更新记录

时间特性类别描述产品文档
2020.08.07新增数据源新增功能Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。配置Hive数据源
2020.08.07新增数据源新增功能GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。配置GBase8a数据源
2020.08.07新增数据源新增功能Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。配置Hologres数据源
2020.08.07新增数据源新增功能HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。配置HBase数据源
2020.08.07新增数据源新增功能Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。配置Elasticsearch数据源
2020.08.07新增常见问题体验优化DataWorks添加数据源的典型问题包括连通性问题、参数问题和权限问题。添加数据源典型问题场景
2020.08.07新增功能新增功能您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。创建EMR Presto节点
2020.08.05新增功能发布记录体验优化本文为您介绍DataWorks产品功能和对应的文档动态。

功能发布记录 2022年之前

2020年6月更新记录

时间特性类别描述产品文档
2020.06.30新增常见问题体验优化为您汇总数据集成、数据开发、自定义资源组、独享资源组、依赖关系、智能监控和数据服务等常见问题。常见问题
2020.06.28新增功能新增功能本文为您介绍如何添加专有网络VPC和IDC网络环境下的路由。通用参考:添加路由
2020.06.28新增最佳实践体验优化本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。迁移ECS自建MySQL数据库至MaxCompute
2020.06.28新增最佳实践体验优化电商网站智能推荐基于阿里巴巴的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。电商网站智能推荐
2020.06.28新增最佳实践体验优化本文为您介绍如何实现将资源(表、UDF等)设置为仅能被指定的用户访问。此方法涉及数据的加密解密算法,属于数据安全管控范畴。实现指定用户访问特定UDF最佳实践
2020.06.28新增最佳实践体验优化本文为您介绍如何基于AnalyticDB构建企业数仓,并进行运维和元数据管理等操作。基于AnalyticDB构建企业数仓
2020.06.28新增最佳实践体验优化本文为您介绍如何使用DataWorks的PyODPS类型节点,借助开源结巴中文分词包实现对中文字段的分词并写入新的表,以及如何利用闭包函数使用自定义词典进行分词。PyODPS节点实现结巴中文分词
2020.06.28新增最佳实践体验优化本文为您介绍如何通过PyODPS节点结合独享资源组的方式,实现邮件外发的需求。通过DataWorks实现邮件外发最佳实践
2020.06.28新增最佳实践体验优化DataV通过与DataWorks数据服务的对接,可以使用DataWorks数据服务开发数据API,快速在DataV中调用API并展现MaxCompute的数据分析结果。DataWorks数据服务对接DataV最佳实践
2020.06.28新增最佳实践体验优化本文以PyODPS 2节点为例,为您介绍如何使用DataWorks PyODPS类型的节点调用第三方包。在PyODPS节点中调用第三方包
2020.06.28新增最佳实践体验优化物联网(IoT)是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互相连通的网络。IoT数据自动化同步至云端解决方案
2020.06.16新增教程体验优化数据质量是数据分析结论有效性和准确性的基础。数据质量教程概述
2020.06.15新增数据源新增数据源ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。配置ApsaraDB for OceanBase数据源
2020.06.15新增数据源新增数据源Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。配置Vertica数据源
2020.06.15新增插件新增插件本文为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。Gbase8a Reader
2020.06.15新增插件新增插件Hologres Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres表中导出数据至其它数据源。Hologres Reader
2020.06.15新增插件新增插件Hologres Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。Hologres Writer
2020.06.15新增配置新增配置您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。配置资源属性
2020.06.15新增说明体验优化设置正确的调度依赖关系是您构建有序业务流程的根本,可以保障业务数据有效、适时地产出,形成规范化的数据研发场景。调度依赖配置指引
2020.06.15新增资源组新增功能您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。新增和使用独享调度资源组

2020年5月更新记录

时间特性类别描述产品文档
2020.05.27新增使用说明体验优化DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。DataWorks资源组概述
2020.05.27新增功能新增功能您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。新增和操作报告模板
2020.05.27新增功能新增功能DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。新建、操作和应用规则模板
2020.05.27新增功能新增功能为您介绍数据质量的校检逻辑及离线数据的内置模板规则。内置模板规则

2020年4月更新记录

时间特性类别描述产品文档
2020.04.19产品升级DataWorks V3.0运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。运维中心
2020.04.18产品升级DataWorks V3.0为您介绍MaxCompute数据仓库构建的整体流程。构建与优化数据仓库
2020.04.18产品升级DataWorks V3.0数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。数据集成
2020.04.08产品升级DataWorks V3.0本模块将指引您快速完成一个完整的数据开发和运维操作。入门概述
2020.04.08产品升级DataWorks V3.0为您介绍DataWorks的基本概念、应用场景、数据开发流程等。什么是DataWorks

2020年3月更新记录

时间特性类别描述产品文档
2020.03.26新增教程体验优化为您介绍DataWorks for EMR Workshop的完整操作。DataWorks for EMR Workshop
2020.03.17产品升级DataWorks V3.0数据开发模式全面升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。数据开发
2020.03.17产品升级DataWorks V3.0DataWorks包括离线同步、MaxCompute、EMR、通用和自定义等节点类型。DataWorks节点合集
2020.03.02产品升级DataWorks V3.0您可以在DataWorks控制台查看概览、工作空间列表、资源组列表和计算引擎列表等信息。管理控制台功能概览

2020年2月更新记录

时间特性类别描述产品文档
2020.02.29新增最佳实践体验优化本文为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。迁移Oracle数据至MaxCompute最佳实践
2020.02.02新增功能新增功能数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。数据分析

2019年12月更新记录