文档中心
DataWorks
DataWorks
新功能更新记录
重要功能发布记录
版本历史
DataWorks V2.0
DataWorks V3.0
文档最新动态
产品简介
什么是DataWorks
基本概念
应用场景
数据开发流程
简单模式和标准模式的区别
产品版本规格与资源组
DataWorks版本规格
DataWorks各版本详解
DataWorks增值版本到期降级功能变化清单
DataWorks资源组
DataWorks资源组概述
公共资源组与公共资源包
独享数据集成资源组
独享调度资源组
自定义资源组
资源组配置
新增和使用独享调度资源组
新增和使用独享数据集成资源组
新增自定义调度资源组
新增自定义数据集成资源组
使用公共资源组
修改资源组归属工作空间
产品定价
购买指引
概述
包年包月
DataWorks增值版本
DataWorks资源包
DataWorks独享资源
独享调度资源组的性能指标和计费标准
独享数据集成资源组的性能指标和计费标准
按量计费
按量计费概述
公共调度资源组
公共数据集成资源组
数据集成公网流量计费
数据服务
数据质量
智能监控
汇总:DataWorks按量计费一览表
查看账单详情
准备工作
管理员使用云账号
准备阿里云账号
准备RAM用户
创建工作空间
添加工作空间成员和角色
项目管理员职责
用户使用子账号
快速入门
入门概述
建表并上传数据
创建业务流程
创建同步任务
配置调度和依赖属性
运行及排错
使用临时查询快速查询SQL(可选)
教程
MaxCompute Workshop
Workshop介绍
准备环境
采集数据
加工数据
配置数据质量监控
数据可视化展现
通过Function Studio开发UDF
DataWorks for EMR Workshop
准备环境
采集数据
数据加工
收集和查看元数据
配置数据质量监控
搭建互联网在线运营分析平台
业务场景与开发流程
环境准备
数据准备
数据建模与开发
新建数据表
设计工作流
节点配置
任务提交与测试
数据可视化展现
实现窃电用户自动识别教程
窃电用户自动识别概述
准备环境
准备数据
加工数据
数据建模
对接使用CDH
基础操作
管理控制台
管理控制台概览
工作空间列表
资源组列表
查看资源组列表
查看独享资源组的使用率
运维助手
添加路由
独享资源组模式
计算引擎列表
MaxCompute管家
工作空间管理
配置工作空间
成员管理
权限列表
MaxCompute高级配置
数据源管理
工作空间模式升级
工作空间规划与管理
规划工作空间
修改工作空间
数据集成
概述
资源规划与配置
支持的数据源
配置网络连通
选择网络连通方案
添加白名单
ECS自建数据库的安全组配置
离线数据同步
数据源
支持的数据源与读写插件
数据源开发和生产环境隔离
管理数据源权限
配置任务
通过向导模式配置任务
通过脚本模式配置任务
数据增量同步
分库分表同步
整库迁移
任务生成规则与使用限制
配置MySQL整库迁移
配置Oracle整库迁移
批量上云
批量上云操作步骤
批量新增数据源
批量上云时给目标表名加上前缀
离线任务资源的使用说明
实时数据同步
概述
实时同步支持的数据源
实时同步字段格式
创建、编辑、提交和运维实时同步节点
任务调优
性能调优配置
数据同步任务调优
RAM角色授权模式
DataWorks数据集成服务关联角色
通过RAM角色授权模式配置数据源
附录
配置数据源
配置Reader插件
配置Writer插件
数据开发(DataStudio)
创建解决方案
SQL代码编码原则和规范
界面功能
界面功能点介绍
使用流程参数
血缘关系
版本
结构
业务流程
管理业务流程
节点组
节点类型
数据集成
创建离线同步节点
MaxCompute
创建ODPS SQL节点
创建SQL组件节点
创建ODPS Spark节点
创建PyODPS 2节点
创建PyODPS 3节点
创建ODPS Script节点
创建ODPS MR节点
创建MaxCompute表
创建MaxCompute资源
注册MaxCompute函数
Hologres
创建Hologres SQL节点
AnalyticDB for PostgreSQL
创建AnalyticDB for PostgreSQL节点
创建AnalyticDB for PostgreSQL表
EMR
EMR on DataWorks访问模式概述
创建EMR Presto节点
创建EMR Hive节点
创建EMR MR节点
创建EMR Spark SQL节点
创建EMR SPARK节点
创建和使用EMR JAR资源
创建EMR表
注册EMR函数
算法
创建机器学习(PAI)节点
通用
OSS对象检查
配置for-each节点
配置do-while节点
配置归并节点
配置分支节点
配置赋值节点
创建Shell节点
创建虚拟节点
创建参数节点
创建HTTP触发器节点
跨租户节点
自定义
创建Data Lake Analytics节点
创建Hologres开发节点
创建AnalyticDB for MySQL节点
删除节点常见问题
MaxCompute
MaxCompute模块管理
MaxCompute函数
MaxCompute资源
调度配置
基础属性
调度参数
配置时间属性
配置资源属性
配置调度依赖
调度依赖逻辑说明
配置调度依赖
场景1:包含离线同步节点的业务流程,如何配置调度依赖
场景2:依赖上一周期的结果时,如何配置调度依赖
场景3:包含跨项目(工作空间)节点依赖时,如何配置调度依赖
常见问题
提交节点报错:当前节点依赖的父节点输出名不存在
提交节点时提示:输入输出和代码血缘分析不匹配
实时转实例
节点上下文
组件管理
创建组件
使用组件
自定义节点
概述
开发自定义插件包
新增节点插件
新增自定义节点
新增数据质量插件
创建临时查询
查看公共表
运行历史
管理手动业务流程
管理表
外部表
函数列表
回收站
设置
开始设置
配置中心
工作空间配置
模板管理
主题管理
层级管理
工作空间备份恢复
代码评审
编辑器快捷键列表
数据服务
概述
功能介绍
生成API
管理API标签
服务编排
使用过滤器
创建和使用前置过滤器
创建和使用后置过滤器
查看版本
业务流程
管理业务流程
管理API
管理函数
管理服务编排
生成API
配置数据源
通过向导模式生成API
通过脚本模式生成API
注册API
计量API(新版)
计量大屏
计量详情
计量API(旧版)
测试API
发布API
授权API
调用API
附录 数据服务错误代码表
数据分析
概述
电子表格
创建并管理电子表格
导入数据至电子表格
分析数据
导出、分享和下载电子表格
管理模板
维表
创建并管理维表
编辑维表
导入数据至维表
分享维表
报表
创建并管理报表
编辑报表
保存报表为模板
分享报表
图表使用说明
面积图
饼图
条形图
散点图
柱状图
股票图
折线图
任务运维
运维中心
概述
查看运维大屏
周期任务运维
查看周期任务
补数据实例
查看周期实例
运行诊断
测试实例
手动任务运维
手动任务
手动实例
智能监控
智能监控概述
功能介绍
使用指导
没有收到任务运行失败的告警邮件
数据未正常产出或任务未运行如何处理
任务发布
发布任务
任务下线
跨项目克隆
跨项目克隆说明
跨项目克隆实践
数据治理
安全中心
概述
快速入门
查看、申请和交还权限
权限审计
审批中心
数据质量
概述
进入数据质量概览
查看我的订阅
配置监控规则
查看监控任务
配置
新增和操作报告模板
新建、操作和应用规则模板
使用指南
配置DataHub监控
配置MaxCompute监控
离线规则内置模板说明
数据保护伞
概述
发现数据
访问数据
识别数据风险
审计数据
数据识别规则
数据脱敏管理
分级信息管理
手动修正数据
风险识别管理
数据地图
概述
进入数据总览
查看数据和权限
配置类目导航和MaxCompute表管理
表详情
查看表详情
申请表权限
收藏表
使用数据服务生成API
数据发现
采集E-MapReduce元数据
采集OTS元数据
采集MySQL元数据
采集SQL Server元数据
采集PostgreSQL元数据
采集Oracle元数据
采集AnalyticDB for PostgreSQL元数据
采集AnalyticDB for MySQL 2.0元数据
采集AnalyticDB for MySQL 3.0元数据
采集OSS元数据
数据地图找不到新建的表
开放数据
安装/卸载开放数据Package
使用开放数据
附录1:视图列表及结构明细
附录2:项目开放列表
资源优化
概述
资源分析
查看个人资源优化
查看工作空间资源优化
管理白名单
通过操作审计查询行为事件日志
需求管理
概述
新建需求
搜索需求
管理需求
需求管理最佳实践
迁移助手
概述
任务上云
导出开源引擎任务
导入开源引擎任务
DataWorks迁移
创建和查看DataWorks导出任务
创建和查看DataWorks导入任务
最佳实践
数据迁移
MaxCompute跨项目迁移
Hadoop数据迁移MaxCompute最佳实践
Kafka数据迁移MaxCompute最佳实践
JSON数据从OSS迁移至MaxCompute
JSON数据从MongoDB迁移至MaxCompute
Elasticsearch数据迁移至MaxCompute
专有网络VPC的数据源连通独享数据集成资源组
RDBMS添加关系型数据库驱动最佳实践
通过数据集成导入数据至Elasticsearch
OTSStream配置同步任务
迁移ECS自建MySQL数据库至MaxCompute
DataHub通过数据集成批量导入数据
日志服务通过数据集成投递数据
迁移Oracle数据至MaxCompute最佳实践
IoT数据自动化同步至云端解决方案
数据开发
设置调度依赖最佳实践
使用MaxCompute分析IP来源最佳实践
在PyODPS节点中调用第三方包
分支节点实现特定时间执行任务
DataWorks数据服务对接DataV最佳实践
PyODPS节点实现结巴中文分词
基于AnalyticDB构建企业数仓
通过DataWorks实现邮件外发最佳实践
数据安全
实现指定用户访问特定UDF最佳实践
RAM用户仅从特定IP登录DataWorks
数据分析
基于MaxCompute进行大数据BI分析
互联网、电商行业离线大数据分析
电商网站智能推荐
常见问题
数据集成
离线同步
数据源权限管理
自定义资源组
独享资源组
调度参数
时间属性
依赖关系
数据开发
建表失败
智能监控
运维中心
数据服务
安全中心
App Studio
Stream Studio
添加数据源典型问题场景
API参考
DataWorks OpenAPI概述
租户
ListCalcEngines
CreateConnection
DeleteConnection
ListConnections
UpdateConnection
ListResourceGroups
GetProjectDetail
AddProjectMemberToRole
CreateProjectMember
DeleteProjectMember
ListProjectRoles
RemoveProjectMemberFromRole
ListProjectMembers
ListProjects
元数据
GetMetaDBInfo
GetMetaDBTableList
CheckMetaTable
CheckMetaPartition
SearchMetaTables
GetMetaTableBasicInfo
GetMetaTableColumn
GetMetaTableFullInfo
GetMetaTablePartition
GetMetaTableOutput
GetMetaTableChangeLog
GetMetaTableIntroWiki
GetMetaTableLineage
GetMetaColumnLineage
CreateMetaCategory
DeleteMetaCategory
UpdateMetaCategory
GetMetaCategory
GetMetaTableListByCategory
AddToMetaCategory
DeleteFromMetaCategory
CreateTable
UpdateTable
DeleteTable
GetDDLJobStatus
UpdateMetaTable
UpdateMetaTableIntroWiki
ListMetaDB
UpdateTableModelInfo
CreateTableTheme
DeleteTableTheme
UpdateTableTheme
ListTableTheme
CreateTableLevel
DeleteTableLevel
UpdateTableLevel
ListTableLevel
数据开发
CreateFile
CreateUdfFile
DeleteBusiness
CreateFolder
UpdateBusiness
ListFiles
EstablishRelationTableToBusiness
SubmitFile
ListBusiness
GetFileVersion
DeleteFolder
DeleteFile
GetDeployment
UpdateFile
GetFolder
ListFileVersions
GetFile
ListFolders
DeployFile
UpdateUdfFile
GetBusiness
UpdateFolder
运维中心
ListAlertMessages
GetBaselineConfig
GetNodeOnBaseline
ListBaselineConfigs
GetBaselineKeyPath
GetBaselineStatus
ListBaselineStatuses
DeleteRemind
UpdateRemind
CreateRemind
GetRemind
ListReminds
ListTopics
GetTopic
GetTopicInfluence
GetNode
ListNodeIO
ListNodes
GetNodeCode
GetInstance
ListInstances
GetInstanceLog
StopInstance
RestartInstance
SetSuccessInstance
SuspendInstance
ResumeInstance
CreateDagComplement
CreateDagTest
GetSuccessInstanceTrend
GetInstanceCountTrend
GetInstanceConsumeTimeRank
GetInstanceErrorRank
ListProgramTypeCount
GetInstanceStatusCount
GetNodeTypeListInfo
CreateManualDag
GetManualDagInstances
GetDag
SearchNodesByOutput
RunTriggerNode
数据质量
UpdateQualityFollower
UpdateQualityRule
GetQualityRule
ListQualityRules
CreateQualityRule
DeleteQualityFollower
DeleteQualityRule
GetQualityFollower
CreateQualityFollower
DeleteQualityEntity
GetQualityEntity
CreateQualityEntity
CreateQualityRelativeNode
DeleteQualityRelativeNode
ListQualityResultsByEntity
ListQualityResultsByRule
数据服务
CreateDataServiceApi
PublishDataServiceApi
DeleteDataServiceApi
ListDataServiceApis
GetDataServiceApi
UpdateDataServiceApi
GetDataServicePublishedApi
ListDataServicePublishedApis
ListDataServiceApiAuthorities
ListDataServiceAuthorizedApis
AbolishDataServiceApi
GetDataServiceApplication
ListDataServiceApplications
CreateDataServiceFolder
GetDataServiceFolder
ListDataServiceFolders
CreateDataServiceGroup
GetDataServiceGroup
ListDataServiceGroups
CreateDataServiceApiAuthority
DeleteDataServiceApiAuthority
SDK参考
安装Java SDK
全部产品
Search
文档中心
DataWorks
任务运维
运维中心
智能监控
使用指导
搜索本产品
搜索本产品
全部产品
DataWorks
事件管理
基线实例
管理自定义规则
报警信息
基线管理
免费试用
免费试用