本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。
说明 DataWorks支持自动升级,升级对当前用户无影响。
2023年4月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2023.4.23 | 新增功能 | 数据集成 | 数据集成的MaxCompute同步任务默认使用公共传输资源上传、下载数据至MaxCompute,为满足您业务增长对传输资源的更高要求,MaxCompute推出了独享传输资源能力,可以为您提供更好的数据同步稳定性和同步的并发数。 | 使用MaxCompute独享Tunnel进行数据同步 |
2023.4.19 | 新增功能 | 数据集成 | 以阿里云EMR Hive离线同步写入MaxCompute场景为例,为您介绍如何一次性把EMR Hive整个数据库的数据离线同步至MaxCompute。 | EMR Hive数据整库离线同步至MaxCompute |
2023.4.17 | 优化体验 | 管理控制 | 在创建DataWorks工作空间时,您需要选择工作空间所在地域,默认情况下DataWorks工作空间所在地域对应的时区即为调度时区(即任务定时调度时间所使用的时区)。同时,还支持您切换工作空间的调度时区。 | 场景:切换调度时区 |
2023.4.14 | 新增功能 | 数据集成 | 以MySQL离线同步写入Hive场景为例,为您介绍如何一次性把MySQL整个数据库的数据离线同步至Hive。 | MySQL整库数据离线同步至Hive |
2023.4.12 | 更新功能 | 数据集成 | 补充行模式、列模式两种数据读取与写入方式,可针对宽表与时序表进行数据读取与写入。 |
2023年3月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2023.3.28 | 更新功能 | 数据地图 | 为您介绍如何创建采集器,将各数据源的元数据信息汇集至DataWorks。 | 元数据采集 |
2023.3.23 | 新增功能 | 数据集成 | 离线和实时任务支持使用Logview查看任务运行信息。 | |
2023.3.21 | 更新功能 | 数据建模 | 数仓分层新增维度相关内容。数仓分层检查器功能优化,所有模型或指标检查器统一使用一种强弱程度的规则,即统一为强规则,或统一为弱规则。 | |
2023.3.02 | 新增功能 | 数据集成 | 以ClickHouse离线同步写入Hologres场景为例,为您介绍如何一次性把ClickHouse整个数据库的数据离线同步至Hologres。 | ClickHouse整库数据离线同步至Hologres |
2023.3.02 | 新增功能 | 数据开发 | 新增调度属性概述介绍。若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。 | 任务调度属性配置概述 |
2023年2月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2023.2.28 | 新增功能 | 数据治理中心 | DataWorks支持您根据业务需要,将 | 页面待解决的治理项问题以通知的形式,通过系统提示、邮件、钉钉群消息等发送给指定人员,方便及时查看并处理。设置消息通知 |
2023.2.26 | 更新功能 | 数据开发 | 优化周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。 | 下线任务 |
2023.2.21 | 新增功能 | 数据开发 | DataWorks将不同类型引擎任务封装为不同节点,通过节点来定义数据开发任务。同时,支持使用资源、函数、以及相关逻辑处理节点开发更多复杂的任务。您可参考数据开发任务的通用开发流程进行任务的数据开发。 | 通用开发流程 |
2023.2.17 | 优化体验 | 数据集成 | 调整数据集成模块整体架构。 | 数据集成概述 |
2023.2.16 | 更新功能 | 数据开发 | 优化OSS对象检查节点的配置说明及使用步骤。 | OSS对象检查节点 |
2023.2.14 | 新增功能 | 迁移助手 | 导出开源引擎任务新增导出DolphinScheduler类型任务。 | 导出DolphinScheduler任务 |
2023.2.09 | 更新功能 | 数据开发 | 调整创建并使用SQL组件节点的架构,并优化组件节点的使用逻辑。 | 组件概述 |
2023年1月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2023.1.17 | 新增功能 | 数据开发 | 为您介绍任务调试的基本流程,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。 | 任务调试流程 |
2023.1.17 | 更新功能 | 数据开发 | 补充节点组的删除说明,优化节点组的相关内容。 | 使用节点组 |
2023.1.11 | 新增功能 | 运维中心 | 任务实际执行受多方因素影响,您可通过运行诊断功能快速定位任务未运行成功的原因。 | 任务运行诊断 |
2023.1.10 | 新增功能 | 数据开发 | 您可通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。 | 查看数据开发操作记录 |
2023.1.9 | 新增功能 | 数据智能建模 | 用于管理数据仓库建表管控策略(例如,是否允许用户在没有数据模型的情况下,可在数据开发DataStudio生产环境下直接创建MaxCompute物理表)。策略启用后,凡是未通过智能数据建模生成的MaxCompute物理表,在创建或修改表时均会触发表名检测,保障建表的规范性。 | 系统管理 |
2023.1.6 | 新增功能 | 数据智能建模 | 模型支持发布至EMR、Hologres引擎。 | 发布与管理表 |
2022年12月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.12.29 | 功能更新 | 数据开发 | 优化创建及使用MaxCompute表的相关内容,包括可视化创建表、提交发布表、MaxCompute表数据写入与导出、查询MaxCompute表数据等。 | 创建并使用MaxCompute表 |
2022.12,23 | 优化体验 | 数据开发 | 更新表管理相关内容的设置(定义表相关格式、定义表主题、定义表层级)。 | 表管理 |
2022.12.23 | 新增功能 | 开始使用 | 更新引擎绑定入口及相关权限说明。 | 为工作空间绑定引擎 |
2022.12.15 | 新增功能 | 数据开发 | 新增DataWorks On MaxCompute、DataWorks On Hologres引擎开发流程。 | |
2022.12.6 | 新增功能 | 开放平台 | 新增工作流状态变更事件。 | 附录:发送给EventBridge的消息格式 |
2022年11月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.11.25 | 新增功能 | 数据开发 | 您可参考调度参数的最佳实践配置,在代码中定义参数,并在调度配置中对参数进行赋值使用。 | 调度参数配置最佳实践 |
2022.11.24 | 新增功能 | 数据开发 | 新增调度依赖配置指引及复杂场景依赖配置原则,帮助您了解调度依赖的配置流程及重点难点内容。配置调度依赖前请先了解此内容,避免因调度依赖配置有误导致数据异常。 | |
2022.11.23 | 新增功能 | 数据开发 | 新增使用可视化方式创建Hologres内部表及外部表。 | |
2022.11.18 | 更新功能 | 开放平台 | 更新进入开放平台的入口。 | 开放平台概览 |
2022.11.17 | 新增功能 | 数据地图 | 加入或查看专辑:您可将当前表加入目标数据专辑中进行管理,或查看当前表已加入的数据专辑。 | 查看表详情 |
2022.11.3 | 新增功能 | 安全中心 | 新增数据查询与分析管控功能,授权用户可查询指定数据源,以及管控查询结果的相关操作。 | 数据查询与分析管控 |
2022年10月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.10.21 | 更新功能 | 管理控制 |
| 管理控制台功能概览、管理中心功能概览 |
2022.10.20 | 新增功能 | 资源组 | 首次使用独享资源组时,系统会自动创建AliyunServiceRoleForDataWorks服务关联角色,用来访问专有网络VPC(Virtual Private Cloud)、弹性网卡ENI(Elastic Network Interface)及安全组中的资源。您也可使用RAM用户创建该服务关联角色。 | DataWorks服务关联角色 |
2022年09月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.9.23 | 更新功能 | 管理控制台 | 运维助手功能改造,为您提供在独享调度资源组上进行新建、执行和删除命令的工具,以及查看命令执行结果等操作的功能。 | 运维助手 |
2022.9.22 | 新增功能 | 数据开发 | 简单模式支持强制代码评审功能,为您介绍简单模式工作空间的节点发起强制代码评审的流程及相关介绍。 | 代码评审 |
2022.9.20 | 新增功能 | 运维中心 | 查看实例详情界面增加查看关联的自定义规则及智能基线的情况,同时,为您提供快速创建任务运行状态监控则及智能基线的入口。 | 查看周期实例、执行测试并查看测试实例、附录:DAG图功能介绍 |
2022.9.19 | 更新功能 | 数据集成 | DM插件补充向导模式。 | DM Reader、DM Writer |
2022.9.06 | 新增功能 | 数据建模 | DataWorks支持在维度建模中规划并创建维度,后续创建维度表时进行关联,关联后即可通过不同维度分析呈现不同视角的业务数据状况。 | 创建概念模型:维度 |
2022.9.06 | 新增功能 | 数据建模 | DataWorks智能数据建模新增通用导入工具,您可基于数据模型、数据标准等多种类型的对象模板,批量导入并创建相应对象。 | 导入 |
2022年08月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.8.30 | 更新功能 | 数据集成 |
| 数据集成概述 |
2022.8.22 | 新增功能 | 运维中心 | 周期实例界面新增业务流程运维视角,通过可视化图标为您展示业务流程的运行状态,并支持您直接操作业务流程,业务流程视角下单个实例的操作与周期实例视角操作一致。 | 查看周期实例 |
2022.8.18 | 新增功能 | 数据建模 | DataWorks智能数据建模新增如下功能:
| |
2022.8.05 | 新增功能 | 数据开发 | DataWorks支持一键同步MaxCompute表结构及表数据至Hologres:
| |
2022.8.02 | 新增功能 | 数据开发 |
|
2022年07月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.7.29 | 新增功能 | 数据建模 |
| 发布模型至引擎 |
2022.7.29 | 新增功能 | 数据建模 | 模型开发支持绑定已有DataStudio节点,您可在绑定成功后直接跳转至对应的节点页面进行数据开发。 | 基于模型生成ETL代码 |
2022.7.29 | 新增功能 | 数据建模 | 数仓分层检查器支持创建指标检查器,用于规范目标分层中指标的命名,帮助您减少后期的运维成本。 | 配置及使用数仓分层检查器 |
2022.7.8 | 新增功能 | 数据开发 | DataWorks支持绑定EMR的DataLake(新版数据湖)集群为执行EMR任务使用的引擎,您可基于DataLake集群运行开发任务。为您介绍DataWorks On EMR开发流程的事项、相关配置、权限说明。 | |
2022.7.2 | 更新功能 | 数据开发 | 补充虚拟节点如下应用场景:
| 虚拟节点 |
2022年06月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.6.28 | 新增功能 | 数据建模 | 逆向建模的配置逆向策略支持表名匹配规则模糊匹配。 | 逆向建模:物理表反向建模 |
2022.6.27 | 新增功能 | 数据保护伞 | 在敏感数据识别界面新增自定义扫描范围功能,同时,支持您可视化查看数据识别进度、数据识别执行日志。 | 数据识别规则 |
2022.6.22 | 更新功能 | 开放平台 | OpenEvent实现消息订阅与消费的方式由kafka更改为EventBridge。 | |
2022.6.16 | 更新功能 | 数据开发 | 补充跨业务流程节点依赖的调度配置场景,该场景主要为您介绍跨业务流程、跨工作空间场景下,如何设置节点的调度依赖。 | 场景3:如何配置跨业务流程、跨工作空间的调度依赖 |
2022.6.13 | 新增功能 | 数据开发 | DataStudio会根据您的角色权限展示预设的功能模块,并支持按照您的需要定制化展示所需模块,降低DataStudio使用门槛。 | 场景:数据开发定制化展示 |
2022.6.2 | 新增功能 | 数据集成 | 当同步任务执行完成,新同步到MaxCompute的数据能被查询到。 | MaxCompute Writer |
2022.6.2 | 新增功能 | 数据集成 | StarRocks数据源为您提供读取和写入StarRocks双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置StarRocks数据源 |
2022年05月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.5.23 | 新增功能 | 审批中心 | 数据集成审批策略支持管理员从DataWorks空间级别为数据集成任务的保存操作定义审批策略。 | |
2022.5.22 | 更新功能 | 数据保护伞 |
| 数据脱敏管理 |
2022.5.18 | 新增功能 | 数据保护伞 | 新增数据血缘功能,支持可视化展示敏感数据的血缘关系,自动分析字段之间的异常关联关系、敏感数据识别结果异常的字段,帮助您梳理敏感数据的扩散情况及影响面,提高数据识别效率。 | 数据血缘(公测) |
2022.5.18 | 新增功能 | 数据建模 | 新增首页功能,为您展示了当前租户内创建的模型及派生指标数量,以及近三十天内当前工作空间成功发布至生产环境的模型列表,帮助您了解模型动态概况。 | 首页 |
2022.5.13 | 新增功能 | API | 获取导入导出迁移任务列表。 | ListMigrations |
2022.5.11 | 新增功能 | 数据集成 | HBase20xsql Reader插件实现了从Phoenix(Hbase中的SQL表)中读取数据。 | HBase20xsql Reader |
2022.5.12 | 更新功能 | 商业化 | 计费逻辑文档重构。 | 计费逻辑说明 |
2022.5.10 | 新增功能 | 智能监控 |
| 智能监控概述 |
2022年04月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.04.29 | 更新功能 | 产品计费及资源组 |
| |
2022.04.17 | 更新功能 | 产品版本规格与资源组 | 资源组规格变更体验优化。新增变更前准备、操作影响确认、支持设置是否重跑任务等功能。 | 变更规格操作 |
2022.04.15 | 更新功能 | 智能基线 |
| |
2022.04.15 | 新增功能 | 数据分析师 | 数据分析师角色的用户默认只有数据分析模块的操作权限。 | |
2022.04.14 | 新增功能 | 管控台基础操作 | 选择地域后,默认情况下将DataWorks工作空间所在地域对应的时区设置为调度时区(即任务定时调度时间所使用的时区),美国(硅谷)、德国(法兰克福)地域首次创建工作空间时,会出现弹框提示,可提交工单联系技术支持人员修改调度时区为东八区。 | 工作空间管理概述 |
2022.04.13 | 新增功能 | 数据保护伞 |
|
2022年03月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.03.28 | 新增功能 | 数据开发 | DataWorks的快捷运行功能,帮助您在节点编辑页面,快速运行选中的代码片段。您可以通过该功能测试代码片段编写是否正确。本文为您介绍如何快捷运行目标代码。 | 调试代码片段:快捷运行 |
2022.03.25 | 更新功能 | 数据开发 | DataWorks数据开发(DataStudio)界面功能更新,方便您总览数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。同时,新增如下功能:
| 数据开发功能索引 |
2022.03.21 | 更新功能 | 数据治理 | 查看治理排行榜的个人视角支持您按照用户角色过滤治理项及检查项事件的排行榜列表。 | 查看治理结果 |
2022.03.20 | 更新功能 | 产品更新 |
| |
2022.03.17 | 更新功能 | 数据地图 |
| |
2022.03.17 | 更新功能 | 调度参数 | 调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值,实现在任务调度时间内参数的动态替换。本次主要调整调度参数章节整体架构,并梳理内容逻辑。方便您快速学习相关内容并着手使用。 | 调度参数支持的格式 |
2022.03.16 | 更新功能 | 数据服务 | 过滤器配置入口变化,当您需要对API的请求参数进行预处理或对查询结果进行二次加工时,您可以在API编辑页面的右侧导航栏中,单击过滤器,根据需要勾选使用前置过滤器或使用后置过滤器 | |
2022.03.07 | 更新功能 | 数据保护伞 |
|
2022年02月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.02.08 | 更新功能 | 数据集成 | 离线同步插件补充向导模式。 | |
2022.02.15 | 更新功能 | 数据开发 | 界面风格设置功能更新:
| |
2022.02.20 | 新增功能 | 调度依赖 | 为您介绍开启自动解析后,提交节点时,出现调度依赖配置不一致情况的相关说明。 | 配置同周期调度依赖 |
2022.02.25 | 更新功能 | 数据开发 | 为您介绍新建归并节点后 ,如何进入节点编辑页面定义归并逻辑。 | 归并节点 |
2022年01月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2022.01.20 | 新增功能 | 数据建模 | 为您介绍如何创建应用表。应用表是面向具体业务场景时,用于组织相同时间周期、相同维度的多个原子指标、派生指标或统计粒度的统计数据,为后续的业务查询,OLAP分析,数据分发等提供基础。 | 创建逻辑模型:应用表 |
2022.01.18 | 新增功能 | 数据建模 | 为您介绍如何创建并管理维度。维度管理用于标准化定义维度,帮助您对数据建模过程中产生的维度进行统一创建和管理,保证维度唯一,避免重复创建。 | 维度管理 |
2022.01.18 | 新增功能 | 数据建模 | DataWorks智能数据建模新增应用层建模,包括数据集市、主题域:
| |
2022.01.16 | 新增功能 | 数据开发 | 当节点配置完调度依赖后,您可以单击预览依赖,通过任务依赖和实例依赖维度,查看节点的上下游依赖关系,以便当节点的上下游依赖不符合预期时及时调整。 | 配置同周期调度依赖 |
2022.01.15 | 更新功能 | 数据开发 | 为您介绍如何配置调度资源组。周期任务的运行依赖于调度资源组,您可以在目标任务调度配置的资源属性区域,选择任务调度运行时需要使用的资源组。 | 配置资源属性 |
2022.01.14 | 新增功能 | 数据开发 | 为您介绍如何开启调度功能并设置相应调度参数的默认配置。您需要进入DataStudio的调度设置页面启用调度周期后,周期任务才能自动调度运行。 | 调度设置 |
2022.01.14 | 新增功能 | 数据开发 | DataWorks | 页面,新增重跑相关参数的默认值设置入口。时间属性配置说明 |
2022.01.14 | 新增功能 | 数据开发 | 配置调度参数新增系统参数赋值。 | 调度参数支持的格式 |
2022.01.12 | 新增功能 | 数据分析 | DataWorks的SQLNotes功能用于编写Markdown文本、SQL代码并可直接查询和保存查询结果。 | SQLNotes |
2022.01.06 | 更新功能 | 数据开发 | 为您介绍DataWorks数据开发(DataStudio)界面各按钮的功能,方便您了解数据开发模块的整体布局,快速了解各组件、模块的使用并获取相关文档。 | 数据开发功能索引 |
2021年12月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.12.27 | 新增功能 | 数据地图 | 新增DataWorks的数据抽样采集器功能,从CDH Hive表中随机抽取表的部分数据用于数据保护伞的敏感数据识别。如果您在数据保护伞中配置了脱敏规则,那么在数据地图表详情页面进行数据预览时,命中的敏感字段将会被脱敏。 | CDH Hive数据抽样采集器 |
2021.12.24 | 新增功能 | API |
| GetDISyncTask、DeployDISyncTask、GetDISyncInstanceInfo、TerminateDISyncInstance |
2021.12.20 | 新增功能 | 数据服务 | 新增支持Aviator函数类型及最佳实践。为您介绍如何创建Aviator函数,并使用Aviator函数作为API的前置或后置过滤器。 | 创建和使用Aviator函数(过滤器)、使用Aviator函数作为过滤器的最佳实践 |
2021.12.14 | 新增功能 | 数据质量 | 新增按模板配置监控规则方式。数据质量为您提供数十种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。 | 按模板配置监控规则 |
2021.12.09 | 更新功能 | 使用分析 | DataWorks为您提供数据生产、数据使用、数据管理视角下的主要数据治理情况。您可以根据需求选择合适的视角,高效的进行数据治理工作。 使用透视功能便于数据开发者及管理者查看和分析工作空间内的表、任务的运行状态、资源占用情况,为合理使用整体资源做辅助判断。 | 使用透视 |
2021.12.02 | 新增功能 | API |
| |
2021.12.01 | 更新功能 | 数据地图 | OSS数据管理新增权限授权功能,进入OSS数据管理页面进行Bucket授权后,将默认已授权Bucket上开通相关服务,如果在Bucket中删除已开通的相关服务,将无法在OSS数据管理中查看该Bucket相关信息。 |
2021年11月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.11.24 | 主要更新 | 数据集成 | HDFS Reader和HDFS Writer增加向导开发模式。 | HDFS Reader、HDFS Writer |
2021.11.20 | 新增功能 | API | 新增运维中心相关API,您可以根据OpSeq(补数据唯一标识)获取单次补数据的所有Dag详情。 | ListDags |
2021.11.14 | 新增功能 | 数据开发 | DataWorks支持对节点、资源、函数进行批量修改责任人等批量编辑操作,并支持批量提交并发布,将变更操作发布至生产环境生效。 | 批量操作 |
2021.11.08 | 新增功能 | 数据开发 | DataWorks的资源组编排功能,帮助您在数据开发阶段,批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时,可以根据实际业务需求,使用该功能快速为目标节点重新分配资源组,促进资源的合理使用。 | 资源组编排 |
2021年10月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.10.26 | 新增功能 | 数据建模 |
| |
2021.10.22 | 主要更新 | 数据保护伞 |
| |
2021.10.15 | 新增功能 | API |
| |
2021.10.14 | 新增功能 | API | 为您介绍如何使用OpenAPI创建数据集成同步任务,同步来源端数据至去向端。 | 最佳实践:创建离线同步任务OpenAPI基础实践 |
2021.10.11 | 新增功能 | 数据开发 | DataWorks的代码搜索功能,用于通过关键字搜索节点中的代码片段,并展示包含该代码片段的所有节点及片段的详细内容。当目标表数据产生变更,您需要查找操作源(即导致目标表数据变更的任务)时,可以使用该功能。 | 代码搜索 |
2021年9月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.09.30 | 新增功能 | 数据开发调度配置 | 调度参数是DataWorks任务调度时使用的参数,调度参数会根据任务调度的业务时间及调度参数的取值格式自动替换取值,实现在任务调度时间内参数的动态取值。为您介绍调度参数的最新配置详情。 | 调度参数支持的格式 |
2021.09.30 | 新增功能 | 数据开发调度配置 | DataWorks的调度依赖中,跨周期(即依赖上一周期),是指本次节点的周期实例运行依赖某个节点的上一周期实例运行,即节点当前周期实例是否运行取决于其所依赖的节点上一周期实例是否正常运行。为您介绍跨周期依赖的配置说明及依赖形式。 | 配置依赖上一周期(跨周期依赖) |
2021.09.26 | 新增功能 | 数据地图 | 新增搜索API和查看API详情功能,支持对当前租户下所有工作空间的API进行搜索和定位,实现API的高效查找。同时在API详情页面,支持查看API的基础信息、参数信息、返回示例等详情。 | 查找API |
2021.09.15 | 新增功能 | 数据分析 | 新增SQL查询功能,支持您对已有数据源进行快速的数据查询及分析。 | SQL查询 |
2021.09.02 | 新增功能 | 运维中心 | 周期任务的补数据功能新增高级模式。用于灵活选择一批节点进行批量补数据操作,节点之间可以不存在依赖关系。您可以在DAG图上使用可视化方式添加节点,也可以在任务列表中添加节点。 | 执行补数据并查看补数据实例 |
2021年8月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.08.29 | 新增功能 | 数据集成 | 为您介绍如何使用数据脱敏功能对实时同步的单表数据进行脱敏,然后存储到指定的数据库位置。 | 配置数据脱敏 |
2021.08.22 | 新增功能 | 数据集成 | 为您介绍如何使用DataWorks的数据集成功能,同步数据至Kafka。 | 资源规划与配置 |
2021.08.11 | 新增功能 | 新增SSL认证 | DataWorks在配置MySQL、SQLServer、Postgres、数据源时,支持开启第三方认证功能,开启该功能后,只有可信的应用和服务才能访问数据资源。第三方认证机制用于用户和服务的强身份验证,通过该机制,可以有效的避免不受信任的程序或服务来获取数据访问权限,提高数据同步过程中访问数据资源的安全性。 | |
2021.08.07 | 主要更新 | 权限体系 | 基于产品外部权限体系RAM访问控制的权限及产品内部权限体系DataWorks产品内的权限控制,为您介绍了DataWorks的权限管理体系。 | DataWorks权限体系功能概述 |
2021.08.01 | 新增功能 | 迁移助手 | DataWorks迁移助手8.1日正式商业化。迁移助手可以帮您快速复制DataWorks上不同的版本、主账号、地域和工作空间中的开发成果。迁移助手支持迁移周期任务、手动任务、资源、函数、数据源、表元数据、临时查询和组件等对象。您可以根据业务需求,选择全量导出、增量导出或自选导出等方式导出DataWorks中的开发成果。 | 迁移助手 |
2021年7月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.07.22 | 新增功能 | 新增API | 新增数据集成相关API,您可以通过API创建数据集成同步任务的相关内容。 | CreateDISyncTask |
2021.07.14 | 新增功能 | 管理控制台配置 | 您可以通过报警联系人页面,将目标RAM用户或RAM角色添加为报警联系人,添加后,DataWorks会将任务运行出错时产生的报警发送至对应联系人,方便您及时发现并处理异常任务。 | 查看和设置报警联系人 |
2021.07.09 | 新增功能 | 产品计费 | 华东2(上海)金融云、华南1(深圳)金融云新增产品计费说明。 | DataWorks版本服务计费说明 |
2021.07.03 | 新增功能 | 数据保护伞 | DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。 | 数据溯源 |
2021.07.02 | 新增功能 | 数据保护伞 | DataWorks支持将您提供的样本文件生成样本库,后续可以将样本库配置为数据识别规则用来识别数据。当需要识别的目标数据包含样本库中的数据时,则会命中该识别规则。该功能通常用于识别可以使用枚举值罗列的数据,例如,员工姓名、用户地址等。本文为您介绍如何创建并管理样本库。 | 创建并管理样本库 |
2021.07.02 | 新增功能 | 数据保护伞 | DataWorks支持通过您提供的样本字段,进行模型训练,帮助您寻找目标字段的内容特征,生成相应的规则模型。该功能通常用于发现您的数据资产中与该特征内容相似的数据。 | 自生成数据识别模型 |
2021年6月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.06.11 | 新增功能 | 数据开发 | EMR Streaming SQL节点支持使用SQL语句来开发流式分析作业。 | - |
2021.06.11 | 新增功能 | 数据开发 | EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。 | - |
2021.06.09 | 新增功能 | 运维中心 | DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。 | 实时计算任务运行与管理 |
2021年5月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.05.20 | 新增功能 | 运维中心 | 您可以使用DataWorks值班表功能设置实例运维报警的值班机制。当自定义规则的报警接收人设置为值班表后,DataWorks将按照排班将报警信息发送给对应的值班人,以便值班人员及时发现并处理问题。 | 值班表 |
2021.05.17 | 新增功能 | 数据开发 | 您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。 | 创建ClickHouse SQL节点 |
2021.05.15 | 新增功能 | 数据集成 | 为您介绍如何使用DataWorks的数据集成功能,同步数据至AnalyticDB MySQL 3.0。 |
2021年4月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.04.29 | 新增教程 | 快速入门 | DataWorks为您提供了常用的AI体验教程,帮助您快速了解相关任务的开发流程。 | AI体验教程 |
2021.04.28 | 新增功能 | 数据集成 | 同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。 | 增加或删除已运行任务的同步表 |
2021.04.22 | 新增功能 | 数据开发 | FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。 | FTP Check节点 |
2021.04.06 | 新增API | 新增API | 新增安全中心模块API文档。 | GetPermissionApplyOrderDetail |
2021.4.05 | 新增功能 | 数据集成 | 为您介绍如何使用DataWorks的数据集成功能,实时同步数据至Kafka。 | 资源规划与配置 |
2021年3月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.3.19 | 新增功能 | 自定义角色 | 为您介绍如何在DataWorks的工作空间自定义角色。 | 空间级模块权限管控 |
2021.3.11 | 新增引擎 | 导入导出开源任务新增引擎。 | 为您介绍如何导入Airflow引擎任务至DataWorks,及向DataWorks中导入Airflow引擎任务。 | |
2021.3.11 | 新增功能 | 引擎运维 | 为您介绍如何使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。 | 引擎运维 |
2021.3.9 | 新增功能 | 周期任务DAG的聚合分析。 | 周期任务运维中,新增DAG的聚合视图及分析功能,您可以通过DAG图,快速查看目标类别任务的详细信息并执行相关操作。 | |
2021.3.3 | 新增功能 | 新增API | 新增运维中心、数据保护伞、迁移助手模块相关功能API。 |
2021年2月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.2.24 | 新增功能 | 新增查看数据集成任务运行状态功能 | 为您介绍如何快速查看已运行的同步解决方案任务的分布及运行情况,及时发现并处理异常任务,提升任务的运维效率。 | 同步解决方案任务运维 |
2021.2.9 | 新增功能 | 新增实时数据同步任务 | 为您介绍如何创建实时同步任务,同步指定表中的数据,并在创建完成后查看任务运行情况。 | 同步单表数据 |
2021.2.6 | 新增功能 | 新增实时数据同步任务 | 为您介绍如何创建实时同步任务,将指定数据库中的部分或全部表的数据同步至MaxCompute、Hologres、DataHub中,并在创建完成后查看任务运行情况。 | |
2021.2.5 | 新增功能 | 新增功能 | 为您介绍如何创建ApsaraDB for OceanBase数据源,用于后续配置同步任务同步数据。 | 配置ApsaraDB for OceanBase数据源 |
2021年1月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2021.1.28 | 新增功能 | 新增数据开发节点类型 | 为您介绍如何创建并使用MySQL及AnalyticDB for MySQL节点,直接使用SQL语句对目标数据源进行数据开发。 | |
2021.1.20 | 新增功能 | 新增同步解决方案 | 为您介绍如何创建整库离线及实时同步任务,将指定数据库中的部分或全部表的数据同步至ElasticSearch中,并在创建完成后查看任务运行情况。 | |
2021.1.19 | 新增功能 | 新增数据地图白名单及类目管理权限功能 | 为您介绍如何配置白名单及类目管理权限,保证您能正常使用数据地图的元数据采集和类目管理功能。 | 配置白名单及类目管理权限 |
2021.1.13 | 新增功能 | 新增操作审计功能 | 为您介绍如何在操作审计(ActionTrail)中查询DataWorks的行为事件日志。您可以通过查询到的事件日志进行行为分析、安全分析、资源变更行为追踪和行为合规性审计等操作。 | 通过操作审计查询行为事件日志 |
2021.1.13 | 新增功能 | 新增数据建模功能模块计费标准 | 为您介绍数据建模功能模块的计费详情。 | |
2021.1.7 | 新增功能 | 新增功能 | 为您介绍同步MySQL数据源至ElasticSearch的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看等内容。 | 同步数据至ElasticSearch |
2020年12月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.12.24 | 新增功能 | 新增同步解决方案 | 为您介绍同步PolarDB、Oracle、MySQL数据源至Hologres、MaxCompute的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看和相关常见问题介绍等内容。 | |
2020.12.14 | 新增功能 | 新增功能 | 为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 | 采集OTS元数据 |
2020年11月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.11.18 | 新增功能 | 新增OpenAPI | 调用CreateManualDag触发手动业务流程执行。 | CreateManualDag |
2020.11.18 | 新增功能 | 新增OpenAPI | 调用GetManualDagInstances获取手动业务流程执行实例的信息。 | GetManualDagInstances |
2020.11.18 | 新增功能 | 新增OpenAPI | 调用GetDag,根据DagId获取Dag详情。 | GetDag |
2020.11.18 | 新增功能 | 新增OpenAPI | 调用SearchNodesByOutput,根据输出精确查询节点。 | SearchNodesByOutput |
2020.11.10 | 新增常见问题 | 体验优化 | 为您汇总运维中心的相关问题。 | 问题汇总 |
2020.11.02 | 新增功能 | 新增功能 | DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。 | 代码评审 |
2020年10月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.10.30 | 新增OpenAPI概述 | 体验优化 | 本文为您介绍DataWorks OpenAPI的可用范围、计费方式和调用限制。 | DataWorks OpenAPI概述 |
2020.10.28 | 新增功能 | 新增功能 | 本文为您介绍如何创建EMR(E-MapReduce)表。 | 创建EMR表 |
2020.10.28 | 新增功能 | 新增功能 | DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。 | 准备工作:绑定EMR引擎 |
2020年9月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.09.03 | 计费更新 | 产品定价 | 按量计费旨在让您以低成本使用DataWorks所有基本的核心功能。 | DataWorks按量计费概述 |
2020.09.03 | 主要更新 | 体验优化 | 为您介绍什么是DataWorks,以及DataWorks的功能和使用限制。 | 什么是DataWorks |
2020.09.02 | 新增教程 | 体验优化 | 本教程为您介绍如何通过DataWorks配合机器学习的方式,实现窃电用户的自动识别,保障用户的安全用电。 | 窃电用户自动识别概述 |
2020年8月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.08.07 | 新增数据源 | 新增功能 | Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置Hive数据源 |
2020.08.07 | 新增数据源 | 新增功能 | GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置GBase8a数据源 |
2020.08.07 | 新增数据源 | 新增功能 | Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置Hologres数据源 |
2020.08.07 | 新增数据源 | 新增功能 | HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置HBase数据源 |
2020.08.07 | 新增数据源 | 新增功能 | Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置Elasticsearch数据源 |
2020.08.07 | 新增常见问题 | 体验优化 | DataWorks添加数据源的典型问题包括连通性问题、参数问题和权限问题。 | 添加数据源典型问题场景 |
2020.08.07 | 新增功能 | 新增功能 | 您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。 | 创建EMR Presto节点 |
2020.08.05 | 新增功能发布记录 | 体验优化 | 本文为您介绍DataWorks产品功能和对应的文档动态。 | 功能发布记录 2022年之前 |
2020年6月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.06.30 | 新增常见问题 | 体验优化 | 为您汇总数据集成、数据开发、自定义资源组、独享资源组、依赖关系、智能监控和数据服务等常见问题。 | 常见问题 |
2020.06.28 | 新增功能 | 新增功能 | 本文为您介绍如何添加专有网络VPC和IDC网络环境下的路由。 | 通用参考:添加路由 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。 | 迁移ECS自建MySQL数据库至MaxCompute |
2020.06.28 | 新增最佳实践 | 体验优化 | 电商网站智能推荐基于阿里巴巴的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。 | 电商网站智能推荐 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何实现将资源(表、UDF等)设置为仅能被指定的用户访问。此方法涉及数据的加密解密算法,属于数据安全管控范畴。 | 实现指定用户访问特定UDF最佳实践 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何基于AnalyticDB构建企业数仓,并进行运维和元数据管理等操作。 | 基于AnalyticDB构建企业数仓 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何使用DataWorks的PyODPS类型节点,借助开源结巴中文分词包实现对中文字段的分词并写入新的表,以及如何利用闭包函数使用自定义词典进行分词。 | PyODPS节点实现结巴中文分词 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何通过PyODPS节点结合独享资源组的方式,实现邮件外发的需求。 | 通过DataWorks实现邮件外发最佳实践 |
2020.06.28 | 新增最佳实践 | 体验优化 | DataV通过与DataWorks数据服务的对接,可以使用DataWorks数据服务开发数据API,快速在DataV中调用API并展现MaxCompute的数据分析结果。 | DataWorks数据服务对接DataV最佳实践 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文以PyODPS 2节点为例,为您介绍如何使用DataWorks PyODPS类型的节点调用第三方包。 | 在PyODPS节点中调用第三方包 |
2020.06.28 | 新增最佳实践 | 体验优化 | 物联网(IoT)是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互相连通的网络。 | IoT数据自动化同步至云端解决方案 |
2020.06.16 | 新增教程 | 体验优化 | 数据质量是数据分析结论有效性和准确性的基础。 | 数据质量教程概述 |
2020.06.15 | 新增数据源 | 新增数据源 | ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置ApsaraDB for OceanBase数据源 |
2020.06.15 | 新增数据源 | 新增数据源 | Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置Vertica数据源 |
2020.06.15 | 新增插件 | 新增插件 | 本文为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。 | Gbase8a Reader |
2020.06.15 | 新增插件 | 新增插件 | Hologres Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres表中导出数据至其它数据源。 | Hologres Reader |
2020.06.15 | 新增插件 | 新增插件 | Hologres Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。 | Hologres Writer |
2020.06.15 | 新增配置 | 新增配置 | 您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。 | 配置资源属性 |
2020.06.15 | 新增说明 | 体验优化 | 设置正确的调度依赖关系是您构建有序业务流程的根本,可以保障业务数据有效、适时地产出,形成规范化的数据研发场景。 | 调度依赖配置指引 |
2020.06.15 | 新增资源组 | 新增功能 | 您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。 | 新增和使用独享调度资源组 |
2020年5月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.05.27 | 新增使用说明 | 体验优化 | DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。 | DataWorks资源组概述 |
2020.05.27 | 新增功能 | 新增功能 | 您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。 | 新增和操作报告模板 |
2020.05.27 | 新增功能 | 新增功能 | DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。 | 新建、操作和应用规则模板 |
2020.05.27 | 新增功能 | 新增功能 | 为您介绍数据质量的校检逻辑及离线数据的内置模板规则。 | 内置模板规则 |
2020年4月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.04.19 | 产品升级 | DataWorks V3.0 | 运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。 | 运维中心 |
2020.04.18 | 产品升级 | DataWorks V3.0 | 为您介绍MaxCompute数据仓库构建的整体流程。 | 构建与优化数据仓库 |
2020.04.18 | 产品升级 | DataWorks V3.0 | 数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。 | 数据集成 |
2020.04.08 | 产品升级 | DataWorks V3.0 | 本模块将指引您快速完成一个完整的数据开发和运维操作。 | 入门概述 |
2020.04.08 | 产品升级 | DataWorks V3.0 | 为您介绍DataWorks的基本概念、应用场景、数据开发流程等。 | 什么是DataWorks |
2020年3月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.03.26 | 新增教程 | 体验优化 | 为您介绍DataWorks for EMR Workshop的完整操作。 | DataWorks for EMR Workshop |
2020.03.17 | 产品升级 | DataWorks V3.0 | 数据开发模式全面升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。 | 数据开发 |
2020.03.17 | 产品升级 | DataWorks V3.0 | DataWorks包括离线同步、MaxCompute、EMR、通用和自定义等节点类型。 | DataWorks节点合集 |
2020.03.02 | 产品升级 | DataWorks V3.0 | 您可以在DataWorks控制台查看概览、工作空间列表、资源组列表和计算引擎列表等信息。 | 管理控制台功能概览 |
2020年2月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.02.29 | 新增最佳实践 | 体验优化 | 本文为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。 | 迁移Oracle数据至MaxCompute最佳实践 |
2020.02.02 | 新增功能 | 新增功能 | 数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。 | 数据分析 |