全部产品
Search
文档中心

大数据开发治理平台 DataWorks:DataWorks V2.0

更新时间:Jul 28, 2023

本文将为您介绍DataWorks V2.0版本的发布历史及新增特性。

DataWorks V2.0发布

发布版本:DataWorks V2.0

  • 发布时间:2018年7月25日

  • 发布范围:华东2区域

  • 发布内容:DataWorks V2.0在DataWorks V1.0的基础上,新增业务流程、组件的概念,并完善数据开发体系。DataWorks V2.0支持双工作空间开发,隔离开发和生产环境,保证数据研发规范,减少错误代码的出现。

已升级DataWorks V2.0区域

目前所有区域均升级至DataWorks V2.0版本。

DataWorks V2.0版本更新一览表

DataWorks V2.0提升了整体视觉交互和数据开发模块的使用体验。新增智能监控、数据保护伞、数据质量和数据服务四大模块。

模块名称

子模块

对比项

DataWorksV1.0

DataWorksV2.0

改进效果

MaxCompute项目

项目管理模式

管理方式

一个 DataWorks项目对应一个MaxCompute项目。

引入标准模式的概念。一个 DataWorks工作空间对应两个MaxCompute项目,分别是开发环境和生产环境,详情请参见简单模式和标准模式的区别

隔离风险,进一步保障生产环境代码的稳定性。

数据开发

任务开发

整体功能

进行单任务、工作流的代码编写、周期调度配置,完成后可提交运维中心自动调度。

  • 更名:名称更改为数据研发。

  • 新增:解决方案、业务流程的概念。

  • 删减:删除工作流的概念。

  • 优化:SQL编辑器更加智能,任务周期配置、依赖配置更加开放。

  • SQL编辑器:提供更加人性化、沉浸式的SQL开发体验。

  • 任务管理: 业务流程解决方案让复杂的开发任务管理更加简单。

  • 任务调度 :更开放的调度系统,轻松应对更加复杂的业务场景。

  • 其他功能: 新增功能可以优化长久以来的用户痛点,从细节上照顾用户的体验。

SQL研发

以单个任务或工作流的形式,在页面上编写SQL代码并进行试运行。

提供更加智能的SQL编辑器以满足您的需求,可以实现:代码高亮格式化智能补齐错误提示表结构显示等人性化功能。

同时,您可以在编辑器右侧结构标签内,以图形化的形式直观地对SQL内部结构进行梳理。

节点配置

通过单个节点、工作流模式组合业务代码。

引入业务流程的概念替代工作流。您可以在业务流程中自由组合任务,并根据需求,将不同的资源归入业务流程中进行管理(所有任务、表、资源、函数都必须从属于一个业务流程)。您也可以通过解决方案,对业务流程进行整合,统一管理业务关联性较强的流程。

周期配置

工作流整体周期配置会影响单个任务的周期配置。

无法对组合后的节点进行整体周期配置,但可以对所有节点单独进行配置,且调度周期类型不受上下游节点影响。

依赖属性

工作流之间的依赖局限于整体。

不同业务流程中的任务节点可以相互依赖,不需要依赖业务流程整体。

脚本开发

整体功能

作为周期任务的补充,通常用于非周期的临时数据处理,如临时表的增删改等,因此不包含周期属性和依赖关系。

功能相同,更名为临时查询

手动任务

整体功能

创建的所有节点都需要手动触发,无法通过调度执行。

功能相同,更名为手动业务流程

资源管理

整体功能

作为一个单独标签管理该MaxCompute项目中的所有资源,包括 jar/file/archive。

作为业务流程中的一个子标签,您可以按需加入该业务流程中涉及到的资源,同时可以建立多层文件夹进行管理。

函数管理

整体功能

作为一个单独标签,管理该MaxCompute SQL编辑时需要的系统函数和自定义函数。

既可以作为一个单独标签存在并管理所有函数,也可以作为业务流程中的一个子标签,仅管理该业务流程中所需使用的函数。

表查询

整体功能

展示该MaxCompute项目下的所有表,同时能够预览内容、引用表名。

相同。

表管理(新增)

整体功能

供开发者管理自己的表。可以进行生命周期设置、表管理(包括修改表的类目、描述、字段、分区等)、表隐藏/取消隐藏和表删除等操作。

临时查询

整体功能

用于在本地测试代码的实际情况与期望值是否相符,无提交、发布、设置调度参数功能。

组件管理(新增)

整体功能

将大量相似并可复用的SQL代码抽象为SQL代码块或节点任务,可供您自由地配置输入输出参数,并将其运用到各个不同的实际业务中。

运行历史(新增)

整体功能

展示最近三天内,在本地运行过的所有任务记录。同时可查看任务运行结果,并提供简单的过滤功能。

结果筛选(新增)

整体功能

页面SQL运行的结果集成了Excel组件,让您在页面输出结果后,通过简单的过滤、筛选、排序得到所需结果。

回收站(新增)

整体功能

用于防止您误删任务所带来的业务损失。您可以在回收站中查看当前工作空间下所有删除的节点,并提供恢复功能。

代码全局搜索

整体功能

您可以输入不完整字符串来查找包含该字符串的MaxCompute SQL、Shell、数据同步任务,快速定位自己所需查看或操作的任务。

发布功能

整体功能

DataWorksV1.0标准模式项目下保留发布功能。

更名为项目克隆。仅简单模式的工作空间具备主动将任务克隆至其他工作空间的功能。

运维中心

任务列表

功能

根据节点类型、名称和责任人搜索任务。

增加通过业务流程解决方案基线名称来搜索任务的功能。

从业务视角来对任务进行运维,匹配了任务开发界面的新功能。

任务运维

功能

根据节点类型、名称、责任人、业务日期和运行日期搜索任务。

增加通过业务流程解决方案基线名称搜索任务的功能。

报警

功能

通过出错、完成和未完成等事件,作为监控报警的依据。

集成基线监控事件报警自定义报警三大功能,构建更加智能、完备的报警体系。

智能监控(新增)

智能监控(Alarm)是DataWorks任务运行的监控及分析系统。根据监控规则和任务运行情况,智能监控决策是否报警、何时报警、如何报警以及给谁报警。智能监控会自动选择最合理的报警时间、报警方式和报警对象。

赋予用户在云上一站式完成数据开发、数据(安全)治理、数据分享的闭环体验。

数据质量DQC(新增)

数据质量,是支持多种异构数据源的质量校验、通知、管理服务的一站式平台。

数据质量以数据集(DataSet)为监控对象,目前支持MaxCompute数据表和DataHub实时数据流的监控。当离线MaxCompute数据发生变化时,数据质量会对数据进行校验并阻塞生产链路,避免问题数据污染扩散。同时,数据质量提供了历史校验结果的管理,以便您对数据质量分析和定级。

数据服务(新增)

数据服务提供了快速将数据表生成数据API的能力,支持您将现有的API快速注册到数据服务平台以统一管理和发布。同时,数据服务已与API网关(API Gateway)打通,支持将API服务一键发布至API网关。数据服务与API网关一道为您提供了安全稳定、低成本、易上手的数据开放共享服务。

数据保护伞(新增)

数据保护伞为MaxCompute提供数据资产识别、敏感数据发现、数据分级分类、脱敏、访问监控、风险发现预警与审计的能力。