数据集成
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数据集成 |
数据源管理 |
DataWorks数据集成支持MySQL、MaxCompute、Hologres、OSS、Kafka等几十种数据源作为数据集成任务输入与输出的数据源,可在数据集成模块对这些数据源进行管理。 |
|
|
单表离线任务管理 |
支持配置和管理单表离线同步任务,单表离线同步的数据通道通过定义数据来源和去向的数据源和数据集,提供一套抽象化的数据抽取插件(Reader)、数据写入插件(Writer),并基于此框架设计一套简化版的中间数据传输格式,从而实现任意结构化、半结构化数据源之间数据传输。 |
||
|
单表实时任务管理 |
支持配置和管理实时同步任务,将源端数据库单表的数据变化实时同步至目标数据库中,实现目标表实时保持和源表的数据对应。 |
||
|
整库离线任务管理 |
支持整库增量数据同步,支持将整个数据库的变化日志同步到目标端中,支持一次性配置一个实例下多个库的多个表。 |
||
|
整库实时任务管理 |
整库实时同步功能通过一次性全量迁移与持续增量捕获相结合,将源数据库(如MySQL、Oracle)完整、低延迟地同步至目标系统。 |
||
|
同步任务运维 |
支持管理同步任务、监控任务运行状态、查看任务运行指标、修改同步资源组和查看任务运行日志。 |
||
|
上传与下载 |
数据上传 |
数据上传,支持本地文件(csv、excel)、oss、电子表格等多种格式的数据文件上传至MaxCompute、Hologres、EMR Hive。 |
数据上传 |
|
查询结果下载 |
支持通过数据开发、数据分析、安全中心模块下载的CSV、XLSX格式文件数据同步保存至数据下载。可将所需历史下载文件重新下载至本地使用,可追溯历史下载记录的操作详情。 |
数据下载 |
数据建模
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数仓规划 |
分层划域 |
支持数仓架构师或者模型小组成员在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后,模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、业务过程等对所建模型进行分层化域管理。 |
|
|
建模空间 |
支持跨工作空间复用相同的数仓规划,支持跨工作空间管理数据模型。 |
建模空间 | |
|
系统管理 |
支持自定义企业在数据仓库模型设计过程中需要的物理表创建管控策略、代码生成规则等内容。 |
系统管理 | |
|
数据标准 |
字段标准 |
支持定义字段的取值范围、度量单位等内容,用于对含义相同但字段名称不同的数据进行统一规范管理。 |
字段标准 |
|
标准代码 |
支持在标准代码中可设置某一字段标准可选择的数据的内容以及范围,用于确定字段标准的取值范围。 |
标准代码 | |
|
度量单位 |
支持自定义创建新的度量单位,用于指定字段的数量单位(如个、厘米等),产品提供预置的度量单位。 |
度量单位 | |
|
命名词典 |
支持自定义业务词典,用于表名生成、字段名翻译等功能。 |
命名词典 | |
|
维度建模 |
逆向建模 |
支持您将物理引擎中已有的物理表,批量生成模型,并在智能数据建模产品统一管理所有模型。 |
逆向建模:物理表反向建模 |
|
维度建模 |
基于Kimball维度建模理论,支持管理贴源表,支持创建维度、维度表、明细表、汇总表、应用表,并可将模型快速发布到相应的研发引擎。并提供模型对应的DDL代码,及MaxCompute ETL代码。 |
||
|
数据指标 |
原子指标 |
原子指标用于明确业务的统计口径和计算逻辑,是基于用户的业务活动(即业务过程)创建的,用于统计业务活动中某一业务状况的数值。 |
原子指标 |
|
派生指标 |
派生指标是由原子指标、时间周期、修饰词构成,用于反映企业某一业务活动在指定时间周期及目标范围中的业务状况。 |
派生指标 | |
|
复合指标 |
提供由派生指标通过运算规则进行计算而形成的复合指标,更加灵活且细粒度地定义业务指标。 |
复合指标 | |
|
修饰词 |
修饰词是基于选择的数据域创建的,是对数据域中的数据不同维度的修饰,用来限定统计数据的业务范围。 |
修饰词 | |
|
时间周期 |
时间周期是用来明确数据统计的时间范围或者时间窗口,例如近1天,近1自然周。用于在统计派生指标时,限定业务统计的时间范围。 |
时间周期 | |
|
通用工具 |
模型导入 |
支持基于数据模型、数据标准等多种类型的对象模板编辑模型对象,并导入数据建模产品中。 |
导入 |
|
关系图 |
关系图 |
支持用户快速构建数据仓库模型架构图,直观展示数据仓库中维度、维度表、明细表、汇总表、应用表等各模型之间的关系。一个关系图承载一个数据仓库模型,一个账号支持创建多个关系图。 |
关系图 |
|
行业模型模版 |
行业模型模版 |
提供零售电子商务、金融、制造等多个领域的行业模型最佳实践。用户可使用该模版快速构建属于您的数据仓库。 |
- |
数据开发&运维
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数据开发(旧版) |
任务及代码管理 |
DataWorks数据开发(DataStudio)模块用于定义周期调度任务的开发及调度属性,与运维中心配合使用,面向各引擎(MaxCompute、Hologres、EMR等)提供可视化开发主界面,支持智能代码开发、多引擎混编工作流、规范化任务发布等能力,帮助您轻松构建离线数仓、实时数仓与即席分析系统,保证数据生产的高效稳定。 |
数据开发(DataStudio)(旧版) |
|
代码编辑器 |
提供SQL的在线开发能力,支持关键字提示、代码自动补全、实时语法校验、权限校验等能力,提升SQL开发效率。 |
编辑器代码提效 | |
|
节点开发 |
DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数、以及不同的逻辑处理节点开发复杂任务。 |
||
|
节点编排与调度 |
提供任务可视化编排能力,若任务需要周期性调度运行,您需定义该任务的调度相关属性,包括调度周期、调度依赖、调度参数等。 |
||
|
节点调试与测试 |
代码开发完成后,您可根据需要,通过运行、带参运行、快捷运行等功能调试完整代码或代码片段的正确性,并在调试完成后查看运行结果。 |
||
|
表管理 |
表管理功能用于定义DataWorks中的表分区字段、临时表、导入表的标识,方便您根据表名称即可判断该表的类别;同时,支持定义表的主题和物理层级,可基于功能、类型等多个维度,将同类型的表放置相同的主题或层级统一管理。 |
||
|
资源管理 |
您可以通过MaxCompute资源面板,查看在MaxCompute计算引擎中存在的资源、资源的变更历史,并可以一键添加资源文件至数据开发面板的业务流程中。 |
||
|
函数管理 |
您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。 |
||
|
操作管理 |
在数据开发DataStudio界面中,您可在操作历史界面通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。 |
||
|
自定义数据开发流程 |
DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,同时也支持您在DataWorks的默认流程上基于自己的业务需求在关键的流程节点进行流程管控。 |
开发流程管控 | |
|
数据开发(新版) |
目录管理 |
管理代码文件、任务节点、工作流等内容,包含项目目录、个人目录。 |
|
|
节点开发 |
提供多种节点以满足不同数据处理需求:数据集成节点用于同步,引擎计算节点(如MaxCompute SQL、Hologres SQL、EMR Hive)用于数据清洗,通用节点(如虚拟节点和do-while循环节点)用于复杂逻辑处理。 |
节点开发 | |
|
工作流 |
Workflow是一种数据处理流程自动化管理工具,它通过可视化拖拽方式整合多种类型的子任务节点,便捷地建立任务依赖关系,加速数据处理流程的搭建,有效提升任务开发效率。 |
||
|
Notebook |
Notebook提供了一个交互式、灵活且可复用的数据处理和分析环境,增强了直观性、模块化和交互性,帮助用户更轻松地进行数据处理、探索、可视化和模型构建。 |
Notebook | |
|
调度配置 |
项目目录区的节点及工作流往往都是需要周期性调度的,支持用户在节点或工作流的调度配置面板配置调度相关属性,包括调度周期、调度依赖、调度参数等。 |
||
|
节点/工作流发布 |
在Data Studio完成数据开发以及调度依赖配置后,支持用户将任务发布到开发环境和生产环境,使其在开发环境及生产环境下运行。 |
节点/工作流发布 | |
|
智能助手 |
支持在用户在数据开发中使用DataWorks Copilot。 |
智能编程助手 | |
|
组件管理 |
组件用于将SQL过程抽象为一个SQL模板,实现SQL代码的复用。 |
组件管理 | |
|
数据目录 |
支持OpenLake湖仓一体架构,实现统一元数据管理,建表方式多样化,辅助智能建表,提升数据研发效率,满足不同类型用户多样化元数据创建及管理的需求。 |
数据目录 | |
|
资源管理 |
支持在您的数据开发代码中引用自定义的资源和函数(支持MaxCompute、EMR、CDH、Flink),支持用户创建或上传资源、函数至目标工作空间,上传后才可在该工作空间的任务中使用。 |
||
|
操作检查 |
DataWorks提供了全链路的数据开发治理能力,为您提供了统一的数据开发治理流程,支持您基于自己的业务需求,在关键的流程节点上进行流程管控。 |
操作检查 | |
|
回收站 |
用于存放当前工作空间下所有删除的任务节点、工作流、表及资源等,您可以对节点进行恢复或彻底删除。 |
回收站 | |
|
运行历史 |
运行历史面板展示您最近三天在数据开发界面的代码执行记录。 |
运行历史 | |
|
个人开发环境 |
个人开发环境支持对接用户NAS、Git、支持Python编程与Notebook。 |
||
|
设置 |
调度设置、安全设置及其他设置相关。 |
系统设置 | |
|
更多操作 |
代码评审、冒烟测试、批量操作、代码搜索等 |
||
|
代码评审 |
节点代码评审 |
提供代码评审能力,支持任务提交后指定代码评审人,评审通过后的任务才可发布至调度系统。 |
代码评审 |
|
发布中心 |
节点发布管理 |
提供节点发布能力,支持您将代码发布支持生产的调度系统。 |
|
|
运维中心 |
运维大屏 |
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况,以及数据集成同步任务的运行详情,助力您从宏观角度快速了解空间任务的整体概况,及时发现并处理异常任务,提升运维效率。 |
查看运维大屏 |
|
周期任务运维 |
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在运维中心 > 周期任务列表查看指定工作空间下的周期任务,并对任务进行运维操作,包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。 |
||
|
实时任务运维 |
提供实时任务运维能力,展示实时计算、实时同步的运行情况。 |
||
|
手动任务运维 |
提供手动任务运维能力,展示手动任务定义、手动任务实例,并提供对任务和实例的基础运维操作。 |
||
|
智能基线 |
智能基线能够及时捕捉导致基线上的任务无法按时完成的异常情况并提前预警,保障复杂依赖场景下重要数据能在预期时间内顺利产出,帮助您降低配置成本、避免无效报警、自动监控所有重要任务。 |
||
|
监控报警 |
您可以使用报警信息功能查看智能监控模块产生的所有报警信息。包括智能基线产生的基线预警信息和事件报警信息、自定义规则报警及全局规则报警产生的报警信息。 |
||
|
引擎运维 |
在DataWorks实例任务中,E-MapReduce计算引擎任务会被分为若干作业有序执行。您可以使用DataWorks的引擎运维功能,查看各个E-MapReduce作业的详细信息,及时查找并清理运行有误的作业,避免该类作业阻塞下游任务,影响实例任务的正常运行。 |
引擎运维 | |
|
调度设置 |
提供全局调度设置,可设置调度日历、工作空间参数等高级调度配置。 |
调度设置 | |
|
智能诊断 |
您可以使用智能诊断功能对任务进行全链路分析,当任务运行不符合预期时,您可以使用该功能快速定位问题。 |
智能诊断 | |
|
操作历史 |
操作历史页面展示您在运维中心各页面上的操作记录,您可通过该功能追溯历史操作行为,并查看操作详情。 |
查看运维中心操作记录 |
数据治理
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数据地图 |
元数据采集 |
通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理。采集完成后,可以在数据地图搜索并查看各数据源的元数据信息。 |
元数据采集 |
|
元数据检索 |
支持通过关键词快速检索支持的各类引擎表等元数据对象,并可通过多种筛选条件进行组合筛选查找。 |
通用数据查询与管理 | |
|
元数据管控 |
支持对数据地图中进行功能模块、项目、表三个级别的元数据权限管控,可管控配置元数据的查看权限。 |
附录:数据地图权限管控能力总览 | |
|
数据类目及专辑 |
支持在数据地图的配置管理页面,配置类目导航,便于用户从业务视角进行元数据查找。同时支持元数据详情的查看。 |
||
|
数据血缘 |
支持不同元数据对象的血缘关系展示,可重点查看表和表、字段与字段之间数据流动的血缘关系展示 |
血缘查看 | |
|
数据管理 |
支持对表的生命周期、负责人、表和字段的描述进行修改;可进行表的收藏和查看。 |
||
|
元数据详情 |
支持对数据地图中包含的数据对象进行详情信息查看,可查看多维度的技术元数据和业务元数据信息。 |
||
|
数据质量 |
质量大盘 |
展示当前工作空间下,需要重点关注的数据质量总览指标、实例运行后触发的质量规则校验状态的趋势及分布情况、TOP质量问题表及质量问题责任人、质量规则覆盖保障情况等。 |
进入数据质量大盘 |
|
质量规则配置 |
可支持按数据源类型中的单表或按规则模板进行质量规则配置,对配置后的规则可以进行订阅管理、修改、启停、关联调度和强弱类型设置等相关操作,支持固定值、环比、1天、7天、30天波动率等多种校验方式、支持动态阈值校验。 |
||
|
质量校验任务查询 |
可通过质量校验任务列表,查看已运行的质量校验任务的清单及任务详情。并可对历史结果查看和问题数据进行查看,支持用户进行问题处理,记录问题处理过程。 |
||
|
质量告警订阅 |
支持多种质量告警订阅渠道,支持通过邮件、短信、钉钉群机器人、企业微信机器人、飞书群机器人等方式接收质量告警。 |
||
|
质量规则模板库 |
支持通过统一管理自定义规则,形成自建的规则模板库,可提升规则配置的效率。 |
||
|
质量报告 |
质量报告管理页面支持动态配置报告模板关注的质量指标,并根据配置的报告模板定时生成并发送报告。 |
配置监控报告模板 | |
|
安全中心 |
安全概览 |
提供用户待办任务指引,安全风险事件趋势,数据资产的安全状态统计。 |
安全中心 |
|
数据访问控制权限 |
用户通过DataWorks申请数据库/表/列的权限(已覆盖MaxCompute、DLF 1.0、Hologres、Starrocks、Hive),由管理员审批通过后完成授权。支持用户查看申请记录、管理员查看审批记录和权限审计。 |
||
|
高危行为管控 |
对高危行为(例如,下载)进行管控处理,处理方式支持:拒绝、告警、触发审批流。用户可以通过扩展程序自定义高危行为进行管控。 |
风险识别规则 | |
|
风险检测 |
根据用户一系列的操作行为,识别和判定潜在的数据泄露风险,并标记为风险事件。 支持用户启用/停用系统预置的风险检测项; 支持用户自定义风险检测项,设置检测和通知规则; |
安全风险 | |
|
数据分类分级 |
支持用户设置数据分类分级的模板,自定义分类结构和分级规则; 支持用户设置每个敏感数据类型的识别规则。 |
数据分类分级 | |
|
敏感数据识别 |
支持用户构建敏感数据识别任务,对指定范围的数据资产进行敏感数据识别; 支持周期性任务和单次任务; 支持用户查看识别结果的详情和敏感数据的分布; 支持用户通过修订的方式调整敏感数据识别结果; |
数据分类分级 | |
|
敏感数据保护 |
提供3大类脱敏方案:DataWorks动态脱敏、DataWorks静态脱敏、引擎层脱敏。 DataWorks动态脱敏:用户在DataWorks数据地图、数据分析、数据开发过程中,访问敏感数据时只能查看脱敏后的数据。原始数据未脱敏。 DataWorks静态脱敏:用户在DataWorks数据集成时,对敏感数据进行脱敏后存储。 引擎层脱敏:直接使用引擎的脱敏策略(例如MaxCompute的脱敏策略),用 |
数据脱敏 | |
|
数据水印溯源 |
支持对泄露数据进行溯源,追溯可能的泄露行为; 提供泄露行为的发生时间、操作者、执行SQL详情等信息,帮助管理员追溯数据泄露事件。 |
数据溯源 | |
|
敏感数据访问审计 |
支持对用户访问敏感数据的行为进行审计,时间不超过1个月; 提供访问行为发生的时间、操作者、访问数据的明细、执行SQL详情等信息; |
敏感数据访问 | |
|
数据分析和结果管控 |
授权RAM用户在DataWorks数据分析中使用其他身份访问数据源。 管控RAM用户对数据分析结果的下载、导出、分享等行为。 |
数据查询与分析管控 | |
|
实体转交 |
支持设置租户级的转交规则、工作空间的转交规则; 支持手动触发实体转交; 支持自动触发实体转交,例如,删除账号、移除工作空间时自动触发转交规则。 |
实体转交 | |
|
身份凭证管理 |
支持将阿里云RAM子账号映射为数据源自身的用户,实现RAM子账号使用指定的用户身份访问数据源中的库/表/列数据。 |
身份凭证 | |
|
Ranger管理 |
通过对接Ranger实现用户在DataWorks申请和审批Starrocks和Hive的数据访问控制权限。 |
新增Ranger配置 | |
|
平台安全基线检查 |
支持基于数据“采集、传输、存储、计算、分享”等多方面进行安全监测,并提供用户改进建议。 |
平台安全诊断 | |
|
数据保护伞 |
数据分级分类 |
1、支持用户将根据数据的内容、业务属性所做的分类规则添加至保护伞。 2、支持用户将根据数据的价值、泄漏影响所做的分级规则添加至保护伞,包括绝密、机密、秘密数据等定义 |
配置敏感数据分类分级 |
|
敏感数据识别 |
1、根据用户设定的敏感类型识别规则,自动进行识别和定位敏感数据,明确其在数据资源平台上的分布情况; 2、支持根据系统配置中指定的项目空间范围进行识别; 3、可视化展示敏感数据识别任务的运行情况、敏感数据的分布情况、分类分级情况,字段明细情况,并支持通过数据引擎、项目空间、敏感数据类型、分级进行筛选查询 |
||
|
敏感数据保护 |
在用户访问数据时,根据用户角色、用户权限、访问数据的页面、数据的敏感类型,返回实时、透明、无感知的脱敏处理后的数据,常应用于应用动态脱敏、运维动态脱敏场景。 |
||
|
敏感数据访问审计 |
1、自动审计敏感数据访问行为,最长时间周期为近1月; 2、可视化展示:通过图表可视化展示,可查看访问明细,明细包含访问SQL详情、数据详情和访问用户信息等,支持通过数据引擎、项目空间、敏感数据类型、分级、访问用户、访问数据量范围、访问时间进行筛选查询 |
||
|
数据风险识别 |
1、数据风险自动识别:根据配置的风险识别规则,自动识别数据风险,最长时间周期为近1月; 2、数据风险明细展示:展示数据风险的处置结果情况、风险明细情况(命中风险规则、命中风险行为信息等),并支持通过风险状态、数据引擎、项目空间、敏感数据类型、分级、导出行为、用户账号、数据量范围、访问时间进行筛选查询 |
风险识别管理(新版) | |
|
数据溯源 |
数据溯源:在获得被泄露的数据后,可以通过上传被泄露的数据,溯源可能的泄露来源行为 |
敏感数据溯源 | |
|
数据资产治理 |
治理健康分评估 |
展示租户、工作空间及个人下的治理健康度整体评分、治理评估等级、五大治理维度(存储、计算、质量、研发和安全)的细化健康分、治理成效及治理问题数趋势,提供治理排行榜,展示的治理项和检查项事件的排行榜单。 |
数据资产治理 |
|
资产治理优化 |
以租户、工作空间及个人的视角,展示五个治理维度(存储、计算、质量、研发和安全),需要治理的治理问题详细列表、并提供对应的处理操作。 |
||
|
资产盘点分析 |
提供DataWorks、MaxCompute资源使用概览统计、使用排行列表和异动分析功能。 |
使用总览 | |
|
治理知识库 |
提供各个治理项、检查项的口径说明、处理方法、注意事项等信息。 |
知识库 | |
|
资产治理配置 |
提供对治理项的配置及检查项的启停控制功能。 |
||
|
数据资产管理 |
支持资产管理员自定义构建企业数据资产目录及管理资产的目录视角,以便更好地进行企业数据资产治理、优化以及提升业务人员找到所需数据资产的健康度。 |
||
|
自动化治理 |
提供流程化的治理处理机制,帮助用户以多流程方案进行如多对象下线协同等场景的自动化治理。 |
||
|
资产标签 |
标签管理 |
支持自定义资产标签,通过标签键和值进行定义,并可使用标签绑定相关资产(即对资产打标)。支持基于标签绑定资产查询和管理。 |
标签管理 |
数据分析
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数据分析 |
SQL查询 |
支持您通过SQL语句对MaxCompute、EMR Hive、Hologres等数据源的数据进行查询与分析,查询结果支持保存为增强分析卡片及报告、保存为电子表格、下载到本地文件等操作。 |
|
|
电子表格 |
支持您通过电子表格大屏查看SQL查询结果或者手动编辑数据保存在电子表格中,支持电子表格的数据进行在线分享。 |
电子表格 | |
|
可视化卡片和报告 |
支持在线将数据查询结果保存为数据卡片和报告,支持定时更新卡片数据,轻松打造个性化可视化作品,讲述数据故事、表达数据观点。 |
可视化卡片和报告 | |
|
Notebook |
Notebook提供了一个交互式、灵活且可复用的数据处理和分析环境,增强了直观性、模块化和交互性,帮助用户更轻松地进行数据处理、探索、可视化和模型构建。 |
Notebook | |
|
数据目录 |
支持OpenLake湖仓一体架构,实现统一元数据管理,建表方式多样化,辅助智能建表,提升数据研发效率,满足不同类型用户多样化元数据创建及管理的需求。 |
数据目录 | |
|
维表 |
支持用户通过可视化的方式创建生产环境的MaxCompute表并导入本地数据,也支持在表格中直接修改MaxCompute表中的数据。 |
维表创建与管理 |
数据服务
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
数据服务 |
API开发 |
支持通过向导模式或脚本模式生成API,向导模式支持可视化的配置API。脚本模式下,可自行编写API的查询SQL,支持多表关联、复杂查询和聚合函数等功能。 |
|
|
API管理 |
提供已发布、已授权及获得授权的API列表,并支持对API进行下线、测试、授权、协议变更、查看详情页等操作。 |
||
|
API函数及过滤器 |
支持通过编写Aviator函数为API设置前置和后置过滤器,实现对API的请求参数进行预处理,或对API的返回结果进行二次开发,增强API逻辑表达,适配各类场景。 |
||
|
API测试 |
在生成API时,如果需要将API发布至API网关进行托管,您需要完成对API的测试,验证调用API时的请求参数和返回结果是否符合预期;同时您也可以对已发布的API进行测试。 |
测试API | |
|
API调用及鉴权 |
支持两种API调用时的鉴权方式,其一是通过AppCode进行简单身份认证,其二是通过AppKey和AppSecret进行加密签名身份认证,极大地保障了您数据共享的安全性。 |
||
|
API计量 |
支持对已发布至网关的API进行调用计量,提供近7日累计总调用次数和总调用时长的总计数据,以及各API的明细计量数据。 |
||
|
API加速服务 |
支持对部分数据源表的查询提供加速能力,加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案(MCQA)。 |
加速服务 | |
|
数据表 |
通过筛选数据源类型和数据表名称,预览目标表结构。 |
数据推送 | |
|
数据推送及订阅 |
支持配置数据查询结果推送及内容订阅 |
数据推送 | |
|
数据推送管理 |
提供已发布的数据推送任务列表,并支持对数据推送任务的运行实例进行查看和运维。 |
数据推送 | |
|
数据推送测试 |
支持对未发布/已发布的数据推送进行测试。 |
数据推送 |
智能助手
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
Copilot |
代码补全 |
您在编写SQL代码时,DataWorks Copilot会根据当前获取到的上下文信息,对正在编写的SQL进行智能代码补全。 |
智能助手(DataWorks Copilot) |
|
代码生成 |
DataWorks Copilot支持根据您输入的自然语言自动生成SQL/Python语句。 |
智能助手(DataWorks Copilot) | |
|
代码改写 |
DataWorks Copilot支持根据您输入的自然语言对您指定的代码片段进行改写。 |
智能助手(DataWorks Copilot) | |
|
生成注释 |
DataWorks Copilot支持对您指定的代码内容生成注释,提升SQL的可读性。 |
智能助手(DataWorks Copilot) | |
|
代码解释 |
DataWorks Copilot支持对您指定的代码内容进行解释,提升SQL的可读性。 |
智能助手(DataWorks Copilot) | |
|
代码纠错 |
DataWorks Copilot支持查找指定代码片段的错误并修复,也支持在编辑器语法错误处一键唤起Copilot Chat修复,一键定位到编辑器中出错代码所在处。 |
智能助手(DataWorks Copilot) | |
|
代码优化 |
DataWorks Copilot支持对您选中的代码进行优化,帮助您简化代码逻辑,提升代码运行效率,并降低数据库的负载。 |
智能助手(DataWorks Copilot) | |
|
代码测试 |
DataWorks Copilot支持针对您选中的代码,给出测试方案,帮助您生成测试代码,逐步验证任务代码的每个部分是否按预期工作。 |
智能助手(DataWorks Copilot) | |
|
代码问答 |
DataWorks Copilot支持对您提出的SQL语法或者MaxCompute函数给出解释和用法示例,帮助您加深对SQL语法及函数的理解。 |
智能助手(DataWorks Copilot) | |
|
Agent |
Agent |
DataWorks Agent基于MCP协议(模型上下文协议),可对接DataWorks MCP Server及其他大数据MCP Server(如Hologres MCP Server),旨在通过自然语言交互在DataWorks中实现数据开发、任务运维和数据集成等能力。 |
DataWorks Agent |
审批中心
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
审批中心 |
审批策略管理 |
通过圈定审批对象范围、定义审批流程来定义对关键数据资源与敏感行为的管控流程,同时提供短信、邮件、钉钉的方式发送通知。 |
|
|
申请记录 |
支持对已提交过的申请单、已审批过的申请单进行回溯查询。 |
查看及处理审批事项 | |
|
待我审批 |
查看所有待审批的申请记录。 |
查看及处理审批事项 | |
|
审批记录 |
查看当前账号下所有已审批完成的申请记录。 |
查看及处理审批事项 |
迁移助手
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
迁移助手 |
任务上云 |
提供开源调度引擎调度任务迁移能力,支持Oozie、Azkaban、Airflow、DolphinScheduler等开源调度引擎作业迁移至DataWorks |
任务上云与跨平台迁移 |
|
DataWorks迁移 |
提供DataWorks开发成果迁移的能力,支持迁移任务、资源、函数、表DDL、数据源、数据服务API、数据质量校验规则等开发成果 |
开放平台
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
开放平台 |
开发者后台 |
可查看开放平台的所有功能模块、切换开放平台的使用地域、或查看开放平台的典型应用场景。 |
开放平台 |
管理配置
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
DataWorks控制台 |
工作空间列表 |
可新增、删除、禁用工作空间;对指定工作空间的属性进行管理和配置,工作空间是DataWorks中进行任务开发和成员权限管理的基本单元。 |
工作空间管理 |
|
资源组管理 |
可新增和管理资源组,资源组支持任务调度、数据集成、数据服务等不同的使用场景。支持规格变更和扩缩容。 |
资源组管理 | |
|
管理中心 |
工作空间配置 |
对空间基本属性、调度属性(是否启用调度、出错重试次数)、安全设置(限制查询条数、绑定沙箱白名单)、绑定计算引擎进行操作。 |
管理工作空间 |
|
数据源管理 |
提供数据源管理页面,支持将数据库或数据仓库创建为DataWorks的数据源,并将该数据源绑定至DataWorks相应的功能模块使用。 |
创建并管理数据源 | |
|
计算资源 |
提供计算资源管理页面,支持用户将数据仓库、计算引擎、实时分析引擎等绑定为计算资源,绑定成功的计算资源才可在工作空间内使用 |
绑定计算资源 | |
|
扩展程序管理 |
提供服务程序注册为DataWorks的扩展程序,通过扩展程序来卡点并响应订阅的事件消息,以此实现通过扩展程序对特定事件进行消息通知与流程管控 |
||
|
报警设置 |
通过报警资源页面,查看当前账号指定地域下的报警资源,并设置每日报警短信和电话数量的上限 |
||
|
租户成员与角色管理 |
对该空间执行成员增/删/改的相关操作。 |
附录:预设角色权限列表(空间级) |
基础能力计费
|
功能集 |
功能 |
功能描述 |
参考文档 |
|
资源费用 |
DataWorks通用资源组 |
支持通用资源组 |
Serverless资源组计费 |