数据集成(Data Integration)

一站式数据同步全栈平台,支持分布式数据传输、转换和同步服务

数据集成支持任意位置、任意网络环境下的任意数据源之间的实时、离线数据互通。底层采用先进的分布式框架,包含完善的脏数据处理、流控管理等模块。支持多种类数据源,具有传输速度快、高度可靠、可扩展、开发方便等特点。

优点

支持异构数据源
支持超过400对异构数据源间的数据批量互导,如关系型数据库、半结构化存储、非结构化存储(音视频、图像)、NoSql、大数据存储等。 支持oracle、mysql、datahub等数据源的实时读取和写入。
大数据轻松上云
支持Hadoop集群批量上云。利用您的Hadoop计算集群同步传输集群内部HDFS文件,并写入MaxCompute。日传输数据量可达5TB,同步速率峰值可达到2GB/s。
定时任务调度
支持多时间维度(如年、月、天、小时、分钟)的任务定时调度。只需简单几步即可完成周期性数据增量抽取。另外,数据集成与DataWorks数据开发完美结合,数据导入后,即可触发执行后续的数据开发任务,使工作流运维一体化。
监控告警能力
系统内置19种监控规则,满足大部分监控场景需求。支持自定义规则配置告警规则。当任务出现错误时,通过您预定义方式通知您任务失败。

产品详情

  • 数据源管理

    通过提供抽象化的数据抽取插件(Reader)、数据写入插件(Writer)以及简化版的中间数据传输格式,实现任意结构化、半结构化数据源之间的数据传输。

  • 本地数据采集

    支持阿里云经典网络、专有网络(VPC)环境下的数据同步以及本地IDC网络环境下的数据采集。

  • 整库迁移

    提供批量创建同步任务的快捷工具,只需一步即可快速上传Mysql DB库所有表至MaxCompute 中,为您节省大量初始化批量任务的时间。

  • 增量同步

    通过where条件过滤业务日期,将不同业务日期的数据同步到对应的MaxCompute分区表中。您可以通过设置同步周期为1小时一次或10分钟同步一次来实现近实时的增量同步。

    定价

    定价

    数据集成的基本计量单位为DMU(Data Migration Unit,即数据移动单位),代表单个单位在数据集成中的能力(包含 CPU、内存、网络资源分配)。

    如果您的任务运行在系统资源组上,则价格为:$0.056/小时/DMU 如果您的任务运行在自定义资源组上,则价格为:$0.022/小时