本文将为您介绍DataWorks V3.0版本的发布历史及新增特性。

DataWorks V3.0发布

发布版本:DataWorks V3.0
  • 发布时间:2019年12月18日
  • 发布范围:全球所有已开通DataWorks的地域
  • 发布内容:DataWorks V2.0仅支持MaxCompute计算引擎,DataWorks V3.0全新升级了多引擎架构,在MaxCompute的基础上,新增开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析和图计算服务(Graph Compute)等引擎服务。

    同一个工作空间支持多个引擎实例,方便对业务、任务和表进行统筹管理。同时支持跨地域任务依赖调度,任务调度更加灵活,方便跨地域业务之间协同工作。

DataWorks V3.0核心特性

  • 支持多种计算引擎
    DataWorks V3.0全新升级了多引擎插件化架构,在DataWorks V2.0版本仅支持MaxCompute计算引擎的基础上,新增开源大数据引擎E-MapReduce、实时计算(Flink)、交互式分析和图计算服务(Graph Compute)等引擎服务。
    • MaxCompute:大数据计算服务MaxCompute(原ODPS)是一种快速、完全托管的EB级大数据计算引擎,是大规模离线数据仓库的核心引擎。MaxCompute是DataWorks最早支持,且最成熟完备的计算引擎,目前已基本覆盖MaxCompute的所有功能。详情请参见离线计算MaxCompute
    • E-MapReduce:E-MapReduce(Elastic MapReduce,简称EMR)构建在阿里云云服务器ECS上,基于开源的Apache Hadoop和Apache Spark,让您可以方便地使用Hadoop和Spark生态系统中的其它周边系统(例如Hive),来分析和处理自己的数据的大数据引擎服务。

      DataWorks V3.0全面支持EMR引擎(目前仅DataWorks专业版及以上版本支持,且需要收集工作空间ID后,通过白名单开通),包括元数据、数据地图、数据血缘、数据开发、任务调度、任务运维监控和数据质量控制等功能。详情请参见E-MapReduce

    • 实时计算:实时计算(Realtime Compute)是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台。DataWorks V3.0全面支持实时计算引擎,推出一站式实时计算开发平台Stream Studio,为您提供可视化拖拽式构建Flink任务的功能,即DAG开发模式。同时支持DAG与Flink SQL互相转换,为您提供实时任务运维和智能诊断等功能,大大降低Flink任务开发的门槛,提高开发效率。
    • 交互式分析:交互式分析(Interactive Analytics)是一种全面兼容PostgreSQL协议,并与大数据生态无缝打通的实时交互式分析产品。

      交互式分析支持对万亿级数据进行高并发、低延时、多维分析透视和业务探索,可以让您快速对接现有的BI工具。

      DataWorks V3.0全新推出一站式OLAP开发平台Holo Studio,为您提供标准化、无门槛的开发管理服务和一站式实时数仓构建服务,以及高效、便捷的开发服务,提升开发效率。

    • 图计算服务:图计算服务(Graph Compute,简称GCS)是新一代一站式图数据管理和分析平台,具有数据加载快、规模可扩展、查询延时低(毫秒级)、离线在线混合引擎和共享存储等优势。

      DataWorks V3.0全新推出图计算开发平台Graph Studio,为图应用开发者提供实例建模、数据导入、数据查询(Gremlin)、可视化分析等一站式的开发服务。

  • 自定义节点插件

    DataWorks V3.0支持丰富的计算引擎的同时,为您提供自定义节点插件体系(目前仅DataWorks企业版支持)。支持您以插件的形式,自主接入自定义的计算服务或数据库查询服务。

    您创建的自定义节点同样可以使用智能编辑器、任务调度编排、运维监控等功能。

  • 支持多个引擎实例

    DataWorks V2.0的一个工作空间只能支持一个引擎实例。例如,对于MaxCompute引擎,一个工作空间仅支持创建一个MaxCompute项目。DataWorks V3.0的一个工作空间支持创建或绑定多个引擎实例(目前仅DataWorks专业版及以上版本支持),您可以更灵活地对业务所需要的计算引擎、计算任务和数据表等,进行统一管理。

  • 支持跨地域调度依赖

    DataWorks V2.0仅支持同一地域的任务依赖,DataWorks V3.0支持同一主账号(租户)下跨地域(限国内地域)的任务依赖(目前仅DataWorks企业版及以上版本支持),以便分布在不同地域的业务之间,进行任务的协同依赖调度。

  • 任务资源组编排(即将发布)

    DataWorks V3.0将全新推出任务资源组编排,即提供批量设置任务资源组的功能,方便对任务资源组进行快速、批量调整。例如,从默认的共享资源组批量切换至独享资源组。

  • 工作空间导入导出(即将发布)

    DataWorks V2.0支持工作空间备份恢复,DataWorks V3.0升级该功能,推出更加灵活的导入导出工具。支持灵活选择导入或导出工作空间内的任务节点、表DDL、资源、函数和数据源等内容,以便您迁移工作空间的内容,或快速初始化工作空间。