本文为您介绍DataWorks文档更新的最新动态,基于此您可以及时了解DataWorks的新增特性及功能变更。
说明 DataWorks支持自动升级,升级对当前用户无影响。
2020年12月更新记录
2020年11月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.11.18 | 新增功能 | 新增OpenAPI | 调用CreateManualDag触发手动业务流程执行。 | CreateManualDag |
2020.11.18 | 新增功能 | 新增OpenAPI | 调用GetManualDagInstances获取手动业务流程执行实例的信息。 | GetManualDagInstances |
2020.11.18 | 新增功能 | 新增OpenAPI | 调用GetDag,根据DagId获取Dag详情。 | GetDag |
2020.11.18 | 新增功能 | 新增OpenAPI | 调用SearchNodesByOutput,根据输出精确查询节点。 | SearchNodesByOutput |
2020.11.10 | 新增常见问题 | 体验优化 | 为您汇总运维中心的相关问题。 | 运维中心 |
2020.11.02 | 新增功能 | 新增功能 | DataWorks提供代码评审功能,开启强制代码评审开关后,开发人员提交的节点必须通过评审人对代码的审核才可以发布。 | 代码评审 |
2020年10月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.10.30 | 新增OpenAPI概述 | 体验优化 | 本文为您介绍DataWorks OpenAPI的可用范围、计费方式和调用限制。 | DataWorks OpenAPI概述 |
2020.10.30 | 新增功能 | 新增功能 | 开启SQLServer CDC后,数据集成可以监控获取SQLServer上表的插入、更新和删除等活动的日志,并转化为实时消息进入同步流程,实现对SQLServer的实时同步。 | 配置SQLServer CDC输入 |
2020.10.28 | 新增功能 | 新增功能 | 本文为您介绍如何创建EMR(E-MapReduce)表。 | 创建EMR表 |
2020.10.28 | 新增功能 | 新增功能 | DataWorks支持基于EMR(E-MapReduce)计算引擎创建Hive、MR、Presto和Spark SQL等节点,实现EMR任务工作流的配置、定时调度和元数据管理等功能,帮助EMR用户更好地生产数据。 | EMR on DataWorks访问模式概述 |
2020年9月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.09.03 | 计费更新 | 产品定价 | 按量计费旨在让您以低成本使用DataWorks所有基本的核心功能。 | 按量计费 |
2020.09.03 | 主要更新 | 体验优化 | 为您介绍什么是DataWorks,以及DataWorks的功能和使用限制。 | 什么是DataWorks |
2020.09.02 | 新增教程 | 体验优化 | 本教程为您介绍如何通过DataWorks配合机器学习的方式,实现窃电用户的自动识别,保障用户的安全用电。 | 窃电用户自动识别概述 |
2020年8月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.08.07 | 新增资源组 | 体验优化 | DataWorks为您提供自定义调度资源组和自定义数据集成资源组,以保证任务的调度灵活性和数据同步及时性。本文为您介绍如何新增自定义调度资源组,并修改任务运行的资源组。 | 新增自定义调度资源组 |
2020.08.07 | 新增数据源 | 新增功能 | Hive数据源为您提供读取和写入Hive双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置Hive数据源 |
2020.08.07 | 新增数据源 | 新增功能 | GBase8a数据源为您提供读取和写入GBase8a双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置GBase8a数据源 |
2020.08.07 | 新增数据源 | 新增功能 | Hologres数据源为您提供读取和写入Hologres双向通道的功能,您可以通过向导模式和脚本模式配置同步任务。 | 配置Hologres数据源 |
2020.08.07 | 新增数据源 | 新增功能 | HBase数据源为您提供读取和写入HBase双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置HBase数据源 |
2020.08.07 | 新增数据源 | 新增功能 | Elasticsearch数据源为您提供读取和写入Elasticsearch双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置Elasticsearch数据源 |
2020.08.07 | 新增常见问题 | 体验优化 | DataWorks添加数据源的典型问题包括连通性问题、参数问题和权限问题。 | 添加数据源典型问题场景 |
2020.08.07 | 新增功能 | 新增功能 | 您可以通过创建EMR(E-MapReduce)Presto节点,进行大规模结构化和非结构化数据的交互式分析查询。 | 创建EMR Presto节点 |
2020.08.05 | 新增Java SDK | 新增Java SDK | 本文为您介绍如何配置Java SDK的相关依赖和前置环境。 | 安装Java SDK |
2020.08.05 | 新增功能发布记录 | 体验优化 | 本文为您介绍DataWorks产品功能和对应的文档动态。 | 重要功能发布记录 |
2020年6月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.06.30 | 新增常见问题 | 体验优化 | 为您汇总数据集成、数据开发、自定义资源组、独享资源组、依赖关系、智能监控和数据服务等常见问题。 | 常见问题 |
2020.06.28 | 新增功能 | 新增功能 | 本文为您介绍如何添加专有网络VPC和IDC网络环境下的路由。 | 添加路由 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何使用独享数据集成资源,将您在ECS上自建的MySQL数据库中的数据,迁移到MaxCompute。 | 迁移ECS自建MySQL数据库至MaxCompute |
2020.06.28 | 新增最佳实践 | 体验优化 | 电商网站智能推荐基于阿里巴巴领先的大数据和人工智能技术,结合在电商行业的多年积累,为开发者提供个性化推荐服务,提升商品的购买率和转化率。 | 电商网站智能推荐 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何实现将资源(表、UDF等)设置为仅能被指定的用户访问。此方法涉及数据的加密解密算法,属于数据安全管控范畴。 | 实现指定用户访问特定UDF最佳实践 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何基于AnalyticDB构建企业数仓,并进行运维和元数据管理等操作。 | 基于AnalyticDB构建企业数仓 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何使用DataWorks的PyODPS类型节点,借助开源结巴中文分词包实现对中文字段的分词并写入新的表,以及如何利用闭包函数使用自定义词典进行分词。 | PyODPS节点实现结巴中文分词 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文为您介绍如何通过PyODPS节点结合独享资源组的方式,实现邮件外发的需求。 | 通过DataWorks实现邮件外发最佳实践 |
2020.06.28 | 新增最佳实践 | 体验优化 | DataV通过与DataWorks数据服务的对接,可以使用DataWorks数据服务开发数据API,快速在DataV中调用API并展现MaxCompute的数据分析结果。 | DataWorks数据服务对接DataV最佳实践 |
2020.06.28 | 新增最佳实践 | 体验优化 | 本文以PyODPS 2节点为例,为您介绍如何使用DataWorks PyODPS类型的节点调用第三方包。 | 在PyODPS节点中调用第三方包 |
2020.06.28 | 新增最佳实践 | 体验优化 | 物联网(IoT)是一个基于互联网、传统电信网等的信息承载体,它让所有能够被独立寻址的普通物理对象形成互相连通的网络。 | IoT数据自动化同步至云端解决方案 |
2020.06.16 | 新增教程 | 体验优化 | 数据质量是数据分析结论有效性和准确性的基础。 | 数据质量教程概述 |
2020.06.16 | 新增教程 | 体验优化 | 本教程帮助您了解并操作阿里云的大数据产品,完成在线运营分析平台的搭建。 | 业务场景与开发流程 |
2020.06.15 | 新增数据源 | 新增数据源 | ApsaraDB for OceanBase数据源为您提供读取和写入ApsaraDB for OceanBase双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置ApsaraDB for OceanBase数据源 |
2020.06.15 | 新增数据源 | 新增数据源 | Vertica数据源为您提供读取和写入Vertica双向通道的功能,您可以通过脚本模式配置同步任务。 | 配置Vertica数据源 |
2020.06.15 | 新增插件 | 新增插件 | 本文为您介绍Gbase8a Reader支持的数据类型、字段映射和数据源等参数及配置示例。 | Gbase8a Reader |
2020.06.15 | 新增插件 | 新增插件 | Hologres Reader实现了从交互式分析(Hologres) 数仓导出数据的功能,您可以根据数据集成标准协议从Hologres表中导出数据至其它数据源。 | Hologres Reader |
2020.06.15 | 新增插件 | 新增插件 | TSDB Reader插件实现了从TSDB读取数据的功能,本文为您介绍TSDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。 | TSDB Reader |
2020.06.15 | 新增插件 | 新增插件 | Hologres Writer实现了导入数据至交互式分析(Hologres)的功能,您可以把多种数据源的数据导入Hologres进行实时分析。 | Hologres Writer |
2020.06.15 | 新增配置 | 新增配置 | 您可以在资源属性区域选择任务调度运行时,需要使用的调度资源组。 | 配置资源属性 |
2020.06.15 | 新增说明 | 体验优化 | 设置正确的调度依赖关系是您构建有序业务流程的根本,可以保障业务数据有效、适时地产出,形成规范化的数据研发场景。 | 调度依赖逻辑说明 |
2020.06.15 | 新增资源组 | 新增功能 | 您可以通过DataWorks独享调度资源组绑定专有网络,以访问专有网络下的数据源。 | 新增和使用独享调度资源组 |
2020年5月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.05.27 | 新增使用说明 | 体验优化 | DataWorks支持公共资源组、独享资源组和自定义资源组,本文为您介绍三种资源组的使用场景和使用方式。 | DataWorks资源组的使用说明 |
2020.05.27 | 新增功能 | 新增功能 | 您可以在报告模板管理页面动态配置数据质量核查报告模板,DataWorks数据质量支持自动根据报告模板定时生成并发送报告。 | 新增和操作报告模板 |
2020.05.27 | 新增功能 | 新增功能 | DataWorks数据质量支持通过统一管理自定义规则,形成自建的规则模板库,帮助您提升规则配置的效率。 | 新建、操作和应用规则模板 |
2020.05.27 | 新增功能 | 新增功能 | 为您介绍数据质量的校检逻辑及离线数据的内置模板规则。 | 离线规则内置模板说明 |
2020年4月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.04.19 | 产品升级 | DataWorks V3.0 | 运维中心包括运维大屏、周期任务运维、手动任务运维和智能监控。 | 运维中心 |
2020.04.18 | 产品升级 | DataWorks V3.0 | 为您介绍MaxCompute数据仓库构建的整体流程。 | 构建与优化数据仓库 |
2020.04.18 | 产品升级 | DataWorks V3.0 | 数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间数据高速稳定的数据移动及同步能力。 | 数据集成 |
2020.04.08 | 产品升级 | DataWorks V3.0 | 本模块将指引您快速完成一个完整的数据开发和运维操作。 | 入门概述 |
2020.04.08 | 产品升级 | DataWorks V3.0 | 为您介绍DataWorks的基本概念、应用场景、数据开发流程等。 | 什么是DataWorks |
2020年3月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.03.26 | 新增教程 | 体验优化 | 为您介绍DataWorks for EMR Workshop的完整操作。 | DataWorks for EMR Workshop |
2020.03.17 | 产品升级 | DataWorks V3.0 | 数据开发模式全面升级,包括工作空间>解决方案>业务流程3级结构,抛弃陈旧的目录组织方式。 | 数据开发 |
2020.03.17 | 产品升级 | DataWorks V3.0 | DataWorks包括离线同步、MaxCompute、EMR、通用和自定义等节点类型。 | 节点类型 |
2020.03.17 | 产品升级 | DataWorks V3.0 | 您可以在设置模块对DataStudio页面的代码、文件夹、主题、增删功能模块等进行配置。 | 开始设置 |
2020.03.02 | 产品升级 | DataWorks V3.0 | 您可以在DataWorks控制台查看概览、工作空间列表、资源组列表和计算引擎列表等信息。 | 管理控制台概览 |
2020年2月更新记录
时间 | 特性 | 类别 | 描述 | 产品文档 |
---|---|---|---|---|
2020.02.29 | 新增最佳实践 | 体验优化 | 本文为您介绍如何通过DataWorks数据同步功能,迁移Oracle上的数据至MaxCompute。 | 迁移Oracle数据至MaxCompute最佳实践 |
2020.02.28 | 新增功能 | 新增功能 | 您可以在工作空间页面创建和管理工程。 | 工作空间 |
2020.02.28 | 新增功能 | 新增功能 | 应用空间包括我开发的应用、我分享的应用和第三方应用三大模块。 | 应用空间 |
2020.02.28 | 新增功能 | 新增功能 | 模板空间为您展示所有通过工程创建的模板。 | 模板空间 |
2020.02.28 | 新增功能 | 新增功能 | 本文将为您介绍如何在App Studio上新建一个应用并部署到生产环境,获得一个可以通过公网访问的应用。 | 应用部署 |
2020.02.02 | 新增功能 | 新增功能 | 数据分析主要提供表格模式的MaxCompute表操作、电子表格协同编辑和统计分析、可视化报表搭建和分享等核心功能。 | 数据分析 |