文档中心

    DataWorks

    • DataWorks
    • 新功能更新记录
      • 重要功能发布记录
      • 版本历史
        • DataWorks V2.0
        • DataWorks V3.0
      • 文档最新动态
    • 产品简介
      • 什么是DataWorks
      • 基本概念
      • 应用场景
      • 数据开发流程
      • 简单模式和标准模式的区别
    • 产品版本规格与资源组
      • DataWorks版本规格
        • DataWorks各版本详解
        • DataWorks增值版本到期降级功能变化清单
      • DataWorks资源组
        • DataWorks资源组概述
        • 公共资源组与公共资源包
        • 独享数据集成资源组
        • 独享调度资源组
        • 自定义资源组
      • 资源组配置
        • 新增和使用独享调度资源组
        • 新增和使用独享数据集成资源组
        • 新增自定义调度资源组
        • 新增自定义数据集成资源组
        • 使用公共资源组
        • 修改资源组归属工作空间
    • 产品定价
      • 购买指引
      • 概述
      • 包年包月
        • DataWorks增值版本
        • DataWorks资源包
        • DataWorks独享资源
        • 独享调度资源组的性能指标和计费标准
        • 独享数据集成资源组的性能指标和计费标准
      • 按量计费
        • 按量计费概述
        • 公共调度资源组
        • 公共数据集成资源组
        • 数据集成公网流量计费
        • 数据服务
        • 数据质量
        • 智能监控
        • 汇总:DataWorks按量计费一览表
      • 查看账单详情
    • 准备工作
      • 管理员使用云账号
        • 准备阿里云账号
        • 准备RAM用户
        • 创建工作空间
        • 添加工作空间成员和角色
        • 项目管理员职责
      • 用户使用子账号
    • 快速入门
      • 入门概述
      • 建表并上传数据
      • 创建业务流程
      • 创建同步任务
      • 配置调度和依赖属性
      • 运行及排错
      • 使用临时查询快速查询SQL(可选)
    • 教程
      • MaxCompute Workshop
        • Workshop介绍
        • 准备环境
        • 采集数据
        • 加工数据
        • 配置数据质量监控
        • 数据可视化展现
        • 通过Function Studio开发UDF
      • DataWorks for EMR Workshop
        • 准备环境
        • 采集数据
        • 数据加工
        • 收集和查看元数据
        • 配置数据质量监控
      • 搭建互联网在线运营分析平台
        • 业务场景与开发流程
        • 环境准备
        • 数据准备
        • 数据建模与开发
          • 新建数据表
          • 设计工作流
          • 节点配置
          • 任务提交与测试
        • 数据可视化展现
      • 实现窃电用户自动识别教程
        • 窃电用户自动识别概述
        • 准备环境
        • 准备数据
        • 加工数据
        • 数据建模
      • 对接使用CDH
    • 管理控制台
      • 管理控制台概览
      • 工作空间列表
      • 资源组列表
        • 查看资源组列表
        • 查看独享资源组的使用率
        • 运维助手
        • 添加路由
        • 独享资源组模式
      • 计算引擎列表
      • MaxCompute管家
      • 工作空间管理
        • 配置工作空间
        • 成员管理
        • 权限列表
        • MaxCompute高级配置
        • 数据源管理
        • 工作空间模式升级
    • 数据集成
      • 概述
      • 资源规划与配置
      • 支持的数据源
      • 配置网络连通
        • 选择网络连通方案
        • 添加白名单
        • ECS自建数据库的安全组配置
      • 离线数据同步
        • 数据源
          • 支持的数据源与读写插件
          • 数据源开发和生产环境隔离
          • 管理数据源权限
        • 配置任务
          • 通过向导模式配置任务
          • 通过脚本模式配置任务
        • 数据增量同步
        • 分库分表同步
        • 整库迁移
          • 任务生成规则与使用限制
          • 配置MySQL整库迁移
          • 配置Oracle整库迁移
        • 批量上云
          • 批量上云操作步骤
          • 批量新增数据源
          • 批量上云时给目标表名加上前缀
        • 离线任务资源的使用说明
      • 实时数据同步
        • 概述
        • 实时同步支持的数据源
        • 实时同步字段格式
        • 创建、编辑、提交和运维实时同步节点
      • 任务调优
        • 性能调优配置
        • 数据同步任务调优
      • RAM角色授权模式
        • DataWorks数据集成服务关联角色
        • 通过RAM角色授权模式配置数据源
      • 附录
        • 配置数据源
        • 配置Reader插件
        • 配置Writer插件
    • 数据开发(DataStudio)
      • 创建解决方案
      • SQL代码编码原则和规范
      • 界面功能
        • 界面功能点介绍
        • 使用流程参数
        • 血缘关系
        • 版本
        • 结构
      • 业务流程
        • 管理业务流程
        • 节点组
      • 节点类型
        • 数据集成
          • 创建离线同步节点
        • MaxCompute
          • 创建ODPS SQL节点
          • 创建SQL组件节点
          • 创建ODPS Spark节点
          • 创建PyODPS 2节点
          • 创建PyODPS 3节点
          • 创建ODPS Script节点
          • 创建ODPS MR节点
          • 创建MaxCompute表
          • 创建MaxCompute资源
          • 注册MaxCompute函数
        • Hologres
          • 创建Hologres SQL节点
        • AnalyticDB for PostgreSQL
          • 创建AnalyticDB for PostgreSQL节点
          • 创建AnalyticDB for PostgreSQL表
        • EMR
          • EMR on DataWorks访问模式概述
          • 创建EMR Presto节点
          • 创建EMR Hive节点
          • 创建EMR MR节点
          • 创建EMR Spark SQL节点
          • 创建EMR SPARK节点
          • 创建和使用EMR JAR资源
          • 创建EMR表
          • 注册EMR函数
        • 算法
          • 创建机器学习(PAI)节点
        • 通用
          • OSS对象检查
          • 配置for-each节点
          • 配置do-while节点
          • 配置归并节点
          • 配置分支节点
          • 配置赋值节点
          • 创建Shell节点
          • 创建虚拟节点
          • 创建参数节点
          • 创建HTTP触发器节点
          • 跨租户节点
        • 自定义
          • 创建Data Lake Analytics节点
          • 创建Hologres开发节点
          • 创建AnalyticDB for MySQL节点
        • 删除节点常见问题
      • MaxCompute
        • MaxCompute模块管理
        • MaxCompute函数
        • MaxCompute资源
      • 调度配置
        • 基础属性
        • 调度参数
        • 配置时间属性
        • 配置资源属性
        • 配置调度依赖
          • 调度依赖逻辑说明
          • 配置调度依赖
          • 场景1:包含离线同步节点的业务流程,如何配置调度依赖
          • 场景2:依赖上一周期的结果时,如何配置调度依赖
          • 场景3:包含跨项目(工作空间)节点依赖时,如何配置调度依赖
        • 常见问题
          • 提交节点报错:当前节点依赖的父节点输出名不存在
          • 提交节点时提示:输入输出和代码血缘分析不匹配
        • 实时转实例
        • 节点上下文
      • 组件管理
        • 创建组件
        • 使用组件
      • 自定义节点
        • 概述
        • 开发自定义插件包
        • 新增节点插件
        • 新增自定义节点
        • 新增数据质量插件
      • 创建临时查询
      • 查看公共表
      • 运行历史
      • 管理手动业务流程
      • 管理表
      • 外部表
      • 函数列表
      • 回收站
      • 设置
        • 开始设置
        • 配置中心
        • 工作空间配置
        • 模板管理
        • 主题管理
        • 层级管理
        • 工作空间备份恢复
      • 代码评审
      • 编辑器快捷键列表
    • 数据服务
      • 概述
      • 功能介绍
        • 生成API
        • 管理API标签
        • 服务编排
        • 使用过滤器
          • 创建和使用前置过滤器
          • 创建和使用后置过滤器
        • 查看版本
      • 业务流程
        • 管理业务流程
        • 管理API
        • 管理函数
        • 管理服务编排
      • 生成API
        • 配置数据源
        • 通过向导模式生成API
        • 通过脚本模式生成API
      • 注册API
      • 计量API(新版)
        • 计量大屏
        • 计量详情
      • 计量API(旧版)
      • 测试API
      • 发布API
      • 授权API
      • 调用API
      • 附录 数据服务错误代码表
    • 数据分析
      • 概述
      • 电子表格
        • 创建并管理电子表格
        • 导入数据至电子表格
        • 分析数据
        • 导出、分享和下载电子表格
        • 管理模板
      • 维表
        • 创建并管理维表
        • 编辑维表
        • 导入数据至维表
        • 分享维表
      • 报表
        • 创建并管理报表
        • 编辑报表
        • 保存报表为模板
        • 分享报表
      • 图表使用说明
        • 面积图
        • 饼图
        • 条形图
        • 散点图
        • 柱状图
        • 股票图
        • 折线图
    • 任务运维
      • 运维中心
        • 概述
        • 查看运维大屏
        • 周期任务运维
          • 查看周期任务
          • 补数据实例
          • 查看周期实例
          • 运行诊断
          • 测试实例
        • 手动任务运维
          • 手动任务
          • 手动实例
        • 智能监控
          • 智能监控概述
          • 功能介绍
          • 使用指导
          • 没有收到任务运行失败的告警邮件
        • 数据未正常产出或任务未运行如何处理
      • 任务发布
        • 发布任务
        • 任务下线
      • 跨项目克隆
        • 跨项目克隆说明
        • 跨项目克隆实践
    • 数据治理
      • 安全中心
        • 概述
        • 快速入门
        • 查看、申请和交还权限
        • 权限审计
        • 审批中心
      • 数据质量
        • 概述
        • 进入数据质量概览
        • 查看我的订阅
        • 配置监控规则
        • 查看监控任务
        • 配置
          • 新增和操作报告模板
          • 新建、操作和应用规则模板
        • 使用指南
          • 配置DataHub监控
          • 配置MaxCompute监控
          • 离线规则内置模板说明
      • 数据保护伞
        • 概述
        • 发现数据
        • 访问数据
        • 识别数据风险
        • 审计数据
        • 数据识别规则
        • 数据脱敏管理
        • 分级信息管理
        • 手动修正数据
        • 风险识别管理
      • 数据地图
        • 概述
        • 进入数据总览
        • 查看数据和权限
        • 配置类目导航和MaxCompute表管理
        • 表详情
          • 查看表详情
          • 申请表权限
          • 收藏表
          • 使用数据服务生成API
        • 数据发现
          • 采集E-MapReduce元数据
          • 采集OTS元数据
          • 采集MySQL元数据
          • 采集SQL Server元数据
          • 采集PostgreSQL元数据
          • 采集Oracle元数据
          • 采集AnalyticDB for PostgreSQL元数据
          • 采集AnalyticDB for MySQL 2.0元数据
          • 采集AnalyticDB for MySQL 3.0元数据
          • 采集OSS元数据
        • 数据地图找不到新建的表
      • 开放数据
        • 安装/卸载开放数据Package
        • 使用开放数据
        • 附录1:视图列表及结构明细
        • 附录2:项目开放列表
      • 资源优化
        • 概述
        • 资源分析
        • 查看个人资源优化
        • 查看工作空间资源优化
        • 管理白名单
      • 通过操作审计查询行为事件日志
    • 需求管理
      • 概述
      • 新建需求
      • 搜索需求
      • 管理需求
      • 需求管理最佳实践
    • 迁移助手
      • 概述
      • 任务上云
        • 导出开源引擎任务
        • 导入开源引擎任务
      • DataWorks迁移
        • 创建和查看DataWorks导出任务
        • 创建和查看DataWorks导入任务
    • 最佳实践
      • 数据迁移
        • MaxCompute跨项目迁移
        • Hadoop数据迁移MaxCompute最佳实践
        • Kafka数据迁移MaxCompute最佳实践
        • JSON数据从OSS迁移至MaxCompute
        • JSON数据从MongoDB迁移至MaxCompute
        • Elasticsearch数据迁移至MaxCompute
        • 专有网络VPC的数据源连通独享数据集成资源组
        • RDBMS添加关系型数据库驱动最佳实践
        • 通过数据集成导入数据至Elasticsearch
        • OTSStream配置同步任务
        • 迁移ECS自建MySQL数据库至MaxCompute
        • DataHub通过数据集成批量导入数据
        • 日志服务通过数据集成投递数据
        • 迁移Oracle数据至MaxCompute最佳实践
        • IoT数据自动化同步至云端解决方案
      • 数据开发
        • 设置调度依赖最佳实践
        • 使用MaxCompute分析IP来源最佳实践
        • 在PyODPS节点中调用第三方包
        • 分支节点实现特定时间执行任务
        • DataWorks数据服务对接DataV最佳实践
        • PyODPS节点实现结巴中文分词
        • 基于AnalyticDB构建企业数仓
        • 通过DataWorks实现邮件外发最佳实践
      • 数据安全
        • 实现指定用户访问特定UDF最佳实践
        • RAM用户仅从特定IP登录DataWorks
      • 数据分析
        • 基于MaxCompute进行大数据BI分析
        • 互联网、电商行业离线大数据分析
        • 电商网站智能推荐
    • 常见问题
      • 数据集成
      • 离线同步
      • 数据源权限管理
      • 自定义资源组
      • 独享资源组
      • 调度参数
      • 时间属性
      • 依赖关系
      • 数据开发
      • 建表失败
      • 智能监控
      • 运维中心
      • 数据服务
      • 安全中心
      • App Studio
      • Stream Studio
      • 添加数据源典型问题场景
    • API参考
      • DataWorks OpenAPI概述
      • 租户
        • ListCalcEngines
        • CreateConnection
        • DeleteConnection
        • ListConnections
        • UpdateConnection
        • ListResourceGroups
        • GetProjectDetail
        • AddProjectMemberToRole
        • CreateProjectMember
        • DeleteProjectMember
        • ListProjectRoles
        • RemoveProjectMemberFromRole
        • ListProjectMembers
        • ListProjects
      • 元数据
        • GetMetaDBInfo
        • GetMetaDBTableList
        • CheckMetaTable
        • CheckMetaPartition
        • SearchMetaTables
        • GetMetaTableBasicInfo
        • GetMetaTableColumn
        • GetMetaTableFullInfo
        • GetMetaTablePartition
        • GetMetaTableOutput
        • GetMetaTableChangeLog
        • GetMetaTableIntroWiki
        • GetMetaTableLineage
        • GetMetaColumnLineage
        • CreateMetaCategory
        • DeleteMetaCategory
        • UpdateMetaCategory
        • GetMetaCategory
        • GetMetaTableListByCategory
        • AddToMetaCategory
        • DeleteFromMetaCategory
        • CreateTable
        • UpdateTable
        • DeleteTable
        • GetDDLJobStatus
        • UpdateMetaTable
        • UpdateMetaTableIntroWiki
        • ListMetaDB
        • UpdateTableModelInfo
        • CreateTableTheme
        • DeleteTableTheme
        • UpdateTableTheme
        • ListTableTheme
        • CreateTableLevel
        • DeleteTableLevel
        • UpdateTableLevel
        • ListTableLevel
      • 数据开发
        • CreateFile
        • CreateUdfFile
        • DeleteBusiness
        • CreateFolder
        • UpdateBusiness
        • ListFiles
        • EstablishRelationTableToBusiness
        • SubmitFile
        • ListBusiness
        • GetFileVersion
        • DeleteFolder
        • DeleteFile
        • GetDeployment
        • UpdateFile
        • GetFolder
        • ListFileVersions
        • GetFile
        • ListFolders
        • DeployFile
        • UpdateUdfFile
        • GetBusiness
        • UpdateFolder
      • 运维中心
        • ListAlertMessages
        • GetBaselineConfig
        • GetNodeOnBaseline
        • ListBaselineConfigs
        • GetBaselineKeyPath
        • GetBaselineStatus
        • ListBaselineStatuses
        • DeleteRemind
        • UpdateRemind
        • CreateRemind
        • GetRemind
        • ListReminds
        • ListTopics
        • GetTopic
        • GetTopicInfluence
        • GetNode
        • ListNodeIO
        • ListNodes
        • GetNodeCode
        • GetInstance
        • ListInstances
        • GetInstanceLog
        • StopInstance
        • RestartInstance
        • SetSuccessInstance
        • SuspendInstance
        • ResumeInstance
        • CreateDagComplement
        • CreateDagTest
        • GetSuccessInstanceTrend
        • GetInstanceCountTrend
        • GetInstanceConsumeTimeRank
        • GetInstanceErrorRank
        • ListProgramTypeCount
        • GetInstanceStatusCount
        • GetNodeTypeListInfo
        • CreateManualDag
        • GetManualDagInstances
        • GetDag
        • SearchNodesByOutput
        • RunTriggerNode
      • 数据质量
        • UpdateQualityFollower
        • UpdateQualityRule
        • GetQualityRule
        • ListQualityRules
        • CreateQualityRule
        • DeleteQualityFollower
        • DeleteQualityRule
        • GetQualityFollower
        • CreateQualityFollower
        • DeleteQualityEntity
        • GetQualityEntity
        • CreateQualityEntity
        • CreateQualityRelativeNode
        • DeleteQualityRelativeNode
        • ListQualityResultsByEntity
        • ListQualityResultsByRule
      • 数据服务
        • CreateDataServiceApi
        • PublishDataServiceApi
        • DeleteDataServiceApi
        • ListDataServiceApis
        • GetDataServiceApi
        • UpdateDataServiceApi
        • GetDataServicePublishedApi
        • ListDataServicePublishedApis
        • ListDataServiceApiAuthorities
        • ListDataServiceAuthorizedApis
        • AbolishDataServiceApi
        • GetDataServiceApplication
        • ListDataServiceApplications
        • CreateDataServiceFolder
        • GetDataServiceFolder
        • ListDataServiceFolders
        • CreateDataServiceGroup
        • GetDataServiceGroup
        • ListDataServiceGroups
        • CreateDataServiceApiAuthority
        • DeleteDataServiceApiAuthority
    • SDK参考
      • 安装Java SDK
 
全部产品
    Search
    • 文档中心
    • DataWorks
    • 数据集成
    • 附录
    • 配置Reader插件

    搜索本产品

    • 搜索本产品
    • 全部产品

      DataWorks

      • DRDS Reader
      • HBase Reader
      • HDFS Reader
      • MongoDB Reader
      • DB2 Reader
      • MySQL Reader
      • Oracle Reader
      • OSS Reader
      • FTP Reader
      • Table Store(OTS) Reader
      • AnalyticDB for MySQL 3.0 Reader
      • SQL Server Reader
      • LogHub Reader
      • OTSReader-Internal
      • RDBMS Reader
      • Stream Reader
      • HybridDB for MySQL Reader
      • AnalyticDB for PostgreSQL Reader
      • PolarDB Reader
      • Elasticsearch Reader
      • Kafka Reader
      • MaxCompute Reader
      • InfluxDB Reader
      • OpenTSDB Reader
      • Prometheus Reader
      • PostgreSQL Reader
      • OTSStream Reader
      • MetaQ Reader
      • Hive Reader
      • Vertica Reader
      • Gbase8a Reader
      • DataHub Reader
      • ApsaraDB For OceanBase Reader
      • Hologres Reader
      • TSDB Reader
      • GDB Reader
      • RestAPI Reader
      • SAP HANA Reader
      • KingbaseES Reader
      免费试用 免费试用