本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。

说明 DataWorks支持自动升级,升级对当前用户无影响。

2021年6月更新记录

时间 特性 类别 描述 产品文档
2021.06.11 新增功能 数据开发 EMR Streaming SQL节点支持使用SQL语句来开发流式分析作业。 创建并使用EMR Streaming SQL节点
2021.06.11 新增功能 数据开发 EMR Spark Streaming节点用于处理高吞吐量的实时流数据,并具备容错机制,可以帮助您快速恢复出错的数据流。 创建并使用EMR Spark Streaming节点
2021.06.09 新增功能 运维中心 DataWorks的实时计算任务页面为您展示了任务实例的基本信息及运行详情,方便您查看目标任务的运行情况。同时,您还可以为目标任务设置监控报警,在任务运行出错时及时发现并处理异常。 实时计算任务

2021年5月更新记录

时间 特性 类别 描述 产品文档
2021.05.20 新增功能 运维中心 您可以使用DataWorks值班表功能设置实例运维报警的值班机制。当自定义规则的报警接收人设置为值班表后,DataWorks将按照排班将报警信息发送给对应的值班人,以便值班人员及时发现并处理问题。 值班表
2021.05.19 新增功能 最佳实践 DataWorks支持对成功提交至开发环境的标准模式工作空间节点,在发布到生产环境前,进行待发布状态检查。您可以通过DataWorks提供的检查器机制,根据业务需求判断目标节点是否可以继续后续的发布流程,保障能够发布符合要求的节点任务。 使用开放消息和POP接口检查待发布节点
2021.05.17 新增功能 数据开发 您可以创建ClickHouse SQL节点,实现分布式SQL查询引擎处理结构化数据,提高作业的执行效率。 创建并使用ClickHouse SQL节点
2021.05.15 新增功能 数据集成 为您介绍如何使用DataWorks的数据集成功能,同步数据至AnalyticDB MySQL 3.0。

2021年4月更新记录

时间 特性 类别 描述 产品文档
2021.04.29 新增教程 快速入门 DataWorks为您提供了常用的AI体验教程,帮助您快速了解相关任务的开发流程。 AI体验教程
2021.04.28 新增功能 数据集成 同步数据至Hologres解决方案为您提供了一键增加及删除同步表功能,方便您为已成功配置运行的同步任务快速添加新表或删除已有同步表。 增加或删除已运行任务的同步表
2021.04.22 新增功能 数据开发 FTP Check节点可用于通过FTP协议周期性检测指定文件是否存在。如果文件存在,则启动调度下游任务,不存在,则按照配置的间隔时间重复检测,直到满足检测的停止条件时停止检测。该节点通常作为DataWorks调度系统与其他调度系统之间传递信号使用。 创建FTP Check节点
2021.04.08 新增功能 安全中心 DataWorks的安全中心,帮助您快速构建平台的数据内容、个人隐私等相关的安全能力,满足企业面向高风险场景的各类安全要求(例如,审计),无需您额外配置即可直接使用该功能。 概述
2021.04.06 新增API 新增API 新增安全中心模块API文档。 GetPermissionApplyOrderDetail
2021.4.05 新增功能 数据集成 为您介绍如何使用DataWorks的数据集成功能,实时同步数据至Kafka。 资源规划与配置

2021年3月更新记录

时间 特性 类别 描述 产品文档
2021.3.24 新增插件 新增数据集成读写插件。 为您介绍Cassandra Reader及Writer支持的数据类型、数据源参数、脚本模式配置、与DataX的类型转换。
2021.3.19 新增功能 自定义角色 为您介绍如何在DataWorks的工作空间自定义角色。 成员及角色管理
2021.3.11 新增引擎 导入导出开源任务新增引擎。 为您介绍如何导入Airflow引擎任务至DataWorks,及向DataWorks中导入Airflow引擎任务。
2021.3.11 新增功能 引擎运维 为您介绍如何使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。 引擎运维
2021.3.9 新增功能 周期任务DAG的聚合分析。 周期任务运维中,新增DAG的聚合视图及分析功能,您可以通过DAG图,快速查看目标类别任务的详细信息并执行相关操作。
2021.3.3 新增功能 新增API 新增运维中心、数据保护伞、迁移助手模块相关功能API。

2021年2月更新记录

时间 特性 类别 描述 产品文档
2021.2.24 新增功能 新增查看数据集成任务运行状态功能 为您介绍如何快速查看已运行的同步解决方案任务的分布及运行情况,及时发现并处理异常任务,提升任务的运维效率。 查看同步任务运行状态
2021.2.9 新增功能 新增实时数据同步任务 为您介绍如何创建实时同步任务,同步指定表中的数据,并在创建完成后查看任务运行情况。 同步单表数据
2021.2.6 新增功能 新增实时数据同步任务 为您介绍如何创建实时同步任务,将指定数据库中的部分或全部表的数据同步至MaxCompute、Hologres、DataHub中,并在创建完成后查看任务运行情况。
2021.2.5 新增功能 新增功能 为您介绍如何创建ApsaraDB for OceanBase数据源,用于后续配置同步任务同步数据。 配置ApsaraDB for OceanBase数据源

2021年1月更新记录

时间 特性 类别 描述 产品文档
2021.1.28 新增功能 新增数据开发节点类型 为您介绍如何创建并使用MySQL及AnalyticDB for MySQL节点,直接使用SQL语句对目标数据源进行数据开发。
2021.1.20 新增功能 新增同步解决方案 为您介绍如何创建整库离线及实时同步任务,将指定数据库中的部分或全部表的数据同步至ElasticSearch中,并在创建完成后查看任务运行情况。
2021.1.19 新增功能 新增数据地图白名单及类目管理权限功能 为您介绍如何配置白名单及类目管理权限,保证您能正常使用数据地图的元数据采集和类目管理功能。 配置白名单及类目管理权限
2021.1.13 新增功能 新增操作审计功能 为您介绍如何在操作审计(ActionTrail)中查询DataWorks的行为事件日志。您可以通过查询到的事件日志进行行为分析、安全分析、资源变更行为追踪和行为合规性审计等操作。 通过操作审计查询行为事件日志
2021.1.13 新增功能 新增数据建模功能模块计费标准 为您介绍数据建模功能模块的计费详情。
2021.1.7 新增功能 新增功能 为您介绍同步MySQL数据源至ElasticSearch的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看等内容。 同步数据至ElasticSearch

2020年12月更新记录

时间 特性 类别 描述 产品文档
2020.12.24 新增功能 新增同步解决方案 为您介绍同步PolarDB、Oracle、MySQL数据源至Hologres、MaxCompute的端到端流程。包括前期的资源规划配置、数据源准备,以及后期的同步任务配置、查看和相关常见问题介绍等内容。
2020.12.14 新增功能 新增功能 为您介绍如何新建采集器,并采集OTS元数据至DataWorks。采集完成后,您可以在数据地图查看数据。 采集OTS元数据

2020年11月更新记录

时间 特性 类别 描述 产品文档
2020.11.18 新增功能 新增OpenAPI 调用CreateManualDag触发手动业务流程执行。 CreateManualDag
2020.11.18 新增功能 新增OpenAPI 调用GetManualDagInstances获取手动业务流程执行实例的信息。 GetManualDagInstances
2020.11.18 新增功能 新增OpenAPI 调用GetDag,根据DagId获取Dag详情。 GetDag
2020.11.18 新增功能 新增OpenAPI 调用SearchNodesByOutput,根据输出精确查询节点。 SearchNodesByOutput
2020.11.10 新增常见问题 体验优化 为您汇总运维中心的相关问题。 运维中心
2020.11.02 新增功能 新增功能 DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。 代码评审

2020年10月更新记录

时间 特性 类别 描述 产品文档
2020.10.30 新增OpenAPI概述 体验优化 本文为您介绍DataWorks OpenAPI的可用范围、计费方式和调用限制。 DataWorks OpenAPI概述
2020.10.30 新增功能 新增功能 开启SQLServer CDC后,数据集成可以监控获取SQLServer上表的插入、更新和删除等活动的日志,并转化为实时消息进入同步流程,实现对SQLServer的实时同步。 配置SQLServer CDC输入
2020.10.28 新增功能 新增功能 本文为您介绍如何创建EMR(E-MapReduce)表。 创建EMR表
2020.10.28 新增功能 新增功能 DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。 EMR on DataWorks访问模式概述

2020年9月更新记录

时间 特性 类别 描述 产品文档
2020.09.03 计费更新 产品定价 按量计费旨在让您以低成本使用DataWorks所有基本的核心功能。 按量计费概述
2020.09.03 主要更新 体验优化 为您介绍什么是DataWorks,以及DataWorks的功能和使用限制。 什么是DataWorks
2020.09.02 新增教程 体验优化 本教程为您介绍如何通过DataWorks配合机器学习的方式,实现窃电用户的自动识别,保障用户的安全用电。 窃电用户自动识别概述

2020年8月更新记录

时间 特性 类别 描述 产品文档
2020.08.07 新增资源组 体验优化 DataWorks为您提供自定义调度资源组和自定义数据集成资源组,以保证任务的调度灵活性和数据同步及时性。本文为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。 新增自定义调度资源组
2020.08.07 新增数据源 新增功能 Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置Hive数据源
2020.08.07 新增数据源 新增功能 GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置GBase8a数据源
2020.08.07 新增数据源 新增功能 Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 配置Hologres数据源
2020.08.07 新增数据源 新增功能 HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。 配置HBase数据源
2020.08.07 新增数据源 新增功能 Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。 配置Elasticsearch数据源
2020.08.07 新增常见问题 体验优化 DataWorks添加数据源的典型问题包括连通性问题、参数问题和权限问题。 添加数据源典型问题场景
2020.08.07 新增功能 新增功能 您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。 创建EMR Presto节点
2020.08.05 新增Java SDK 新增Java SDK 本文为您介绍如何配置Java SDK的相关依赖和前置环境。 安装Java SDK
2020.08.05 新增功能发布记录 体验优化 本文为您介绍DataWorks产品功能和对应的文档动态。 重要功能发布记录

2020年6月更新记录

时间 特性 类别 描述 产品文档
2020.06.30 新增常见问题 体验优化 为您汇总数据集成、数据开发、自定义资源组、独享资源组、依赖关系、智能监控和数据服务等常见问题。 常见问题
2020.06.28 新增功能 新增功能 本文为您介绍如何添加专有网络VPC和IDC网络环境下的路由。 添加路由
2020.06.28 新增最佳实践 体验优化 本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。 迁移ECS自建MySQL数据库至MaxCompute
2020.06.28 新增最佳实践 体验优化 电商网站智能推荐基于阿里巴巴领先的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。 电商网站智能推荐
2020.06.28 新增最佳实践 体验优化 本文为您介绍如何实现将资源(表、UDF等)设置为仅能被指定的用户访问。此方法涉及数据的加密解密算法,属于数据安全管控范畴。 实现指定用户访问特定UDF最佳实践
2020.06.28 新增最佳实践 体验优化 本文为您介绍如何基于AnalyticDB构建企业数仓,并进行运维和元数据管理等操作。 基于AnalyticDB构建企业数仓
2020.06.28 新增最佳实践 体验优化 本文为您介绍如何使用DataWorks的PyODPS类型节点,借助开源结巴中文分词包实现对中文字段的分词并写入新的表,以及如何利用闭包函数使用自定义词典进行分词。 PyODPS节点实现结巴中文分词
2020.06.28 新增最佳实践 体验优化 本文为您介绍如何通过PyODPS节点结合独享资源组的方式,实现邮件外发的需求。 通过DataWorks实现邮件外发最佳实践
2020.06.28 新增最佳实践 体验优化 DataV通过与DataWorks数据服务的对接,可以使用DataWorks数据服务开发数据API,快速在DataV中调用API并展现MaxCompute的数据分析结果。 DataWorks数据服务对接DataV最佳实践
2020.06.28 新增最佳实践 体验优化 本文以PyODPS 2节点为例,为您介绍如何使用DataWorks PyODPS类型的节点调用第三方包。 在PyODPS节点中调用第三方包
2020.06.28 新增最佳实践 体验优化 物联网(IoT)是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互相连通的网络。 IoT数据自动化同步至云端解决方案
2020.06.16 新增教程 体验优化 数据质量是数据分析结论有效性和准确性的基础。 数据质量教程概述
2020.06.16 新增教程 体验优化 本教程帮助您了解并操作阿里云的大数据产品,完成在线运营分析平台的搭建。 业务场景与开发流程
2020.06.15 新增数据源 新增数据源 ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。 配置ApsaraDB for OceanBase数据源
2020.06.15 新增数据源 新增数据源 Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。 配置Vertica数据源
2020.06.15 新增插件 新增插件 本文为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。 Gbase8a Reader
2020.06.15 新增插件 新增插件 Hologres Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres表中导出数据至其它数据源。 Hologres Reader
2020.06.15 新增插件 新增插件 TSDB Reader插件实现了从TSDB读取数据的功能,本文为您介绍TSDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。 TSDB Reader
2020.06.15 新增插件 新增插件 Hologres Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。 Hologres Writer
2020.06.15 新增配置 新增配置 您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。 配置资源属性
2020.06.15 新增说明 体验优化 设置正确的调度依赖关系是您构建有序业务流程的根本,可以保障业务数据有效、适时地产出,形成规范化的数据研发场景。 调度依赖逻辑说明
2020.06.15 新增资源组 新增功能 您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。 新增和使用独享调度资源组

2020年5月更新记录

时间 特性 类别 描述 产品文档
2020.05.27 新增使用说明 体验优化 DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。 DataWorks资源组概述
2020.05.27 新增功能 新增功能 您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。 新增和操作报告模板
2020.05.27 新增功能 新增功能 DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。 新建、操作和应用规则模板
2020.05.27 新增功能 新增功能 为您介绍数据质量的校检逻辑及离线数据的内置模板规则。 离线规则内置模板说明

2020年4月更新记录

时间 特性 类别 描述 产品文档
2020.04.19 产品升级 DataWorks V3.0 运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。 运维中心
2020.04.18 产品升级 DataWorks V3.0 为您介绍MaxCompute数据仓库构建的整体流程。 构建与优化数据仓库
2020.04.18 产品升级 DataWorks V3.0 数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。 数据集成
2020.04.08 产品升级 DataWorks V3.0 本模块将指引您快速完成一个完整的数据开发和运维操作。 入门概述
2020.04.08 产品升级 DataWorks V3.0 为您介绍DataWorks的基本概念、应用场景、数据开发流程等。 什么是DataWorks

2020年3月更新记录

时间 特性 类别 描述 产品文档
2020.03.26 新增教程 体验优化 为您介绍DataWorks for EMR Workshop的完整操作。 DataWorks for EMR Workshop
2020.03.17 产品升级 DataWorks V3.0 数据开发模式全面升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。 数据开发
2020.03.17 产品升级 DataWorks V3.0 DataWorks包括离线同步、MaxCompute、EMR、通用和自定义等节点类型。 节点类型
2020.03.17 产品升级 DataWorks V3.0 您可以在设置模块对DataStudio页面的代码、文件夹、主题、增删功能模块等进行配置。 开始设置
2020.03.02 产品升级 DataWorks V3.0 您可以在DataWorks控制台查看概览、工作空间列表、资源组列表和计算引擎列表等信息。 管理控制台概览

2020年2月更新记录

时间 特性 类别 描述 产品文档
2020.02.29 新增最佳实践 体验优化 本文为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。 迁移Oracle数据至MaxCompute最佳实践
2020.02.28 新增功能 新增功能 您可以在工作空间页面创建和管理工程。 工作空间
2020.02.28 新增功能 新增功能 应用空间包括我开发的应用、我分享的应用和第三方应用三大模块。 应用空间
2020.02.28 新增功能 新增功能 模板空间为您展示所有通过工程创建的模板。 模板空间
2020.02.28 新增功能 新增功能 本文将为您介绍如何在App Studio上新建一个应用并部署到生产环境,获得一个可以通过公网访问的应用。 应用部署
2020.02.02 新增功能 新增功能 数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。 数据分析

2019年12月更新记录