迁移到阿里云MaxCompute

MaxCompute为您提供完善的数据迁移方案以及多种经典的分布式计算模型,能够快速地解决海量数据存储和计算问题,有效降低企业成本。

为什么要迁移到 MaxCompute

开箱即用,5分钟开通新的数据仓库。与云上主要流式服务深度集成,轻松接入各种来源流式数据。

  • 湖仓一体的数据体系

    ▪ 融合数据湖的灵活性、生态丰富和数据仓库的企业级服务能力

    ▪ 利用“智能数仓”技术统一存储/统一元数据

    ▪ 提供统一的开发/数据管理/数据治理的体验

  • 更低的总体拥有成本

    ▪ 只需为实际使用的作业、存储付费

    ▪ 成本比 Hadoop Hive 低 90%

    ▪ 成本至少比其它云数仓低 30%

    ▪ 无需平台运维,最小化运维投入

  • 使数据仓库现代化

    ▪ 传统数仓在基础设施层面无法满足企业需求

    ▪ 享受云计算架构极致的弹性和性能提升

    ▪ 享受企业级全域数据开发和数据治理能力

  • 便捷的迁移流程

    ▪ 完整的数据、应用迁移评估方案

    ▪ 便捷的数据、工作流、应用迁移工具和方案

    ▪ 迁移专家团队服务

迁移案例

阿里云某金融行业客户:“利用阿里云 MaxCompute Migration Assistant (MMA) 与 DataWorks 迁移助手等工具,帮助我们实现了 PB 级数据、 上万张表2周内迁移上云,并在5个工作日内协助完成了上千核心作业改造。迁移后任务基线提前3小时,性能提升 30%

阿里云某游戏行业客户:“在我们自建集群网络出口极度受限的情况下,阿里云打破了基于网络传输的搬站模式,结合 MMA 与 OSS 闪电立方服务, 在三个工作日内帮助我们完成了数据迁移这一看似不可能的任务,也让我们得到了内部业务方团队的认可

阿里云某母婴社区平台客户:“我们迁移的数据量超过了1PB,单表规模超过了80TB。在这样的极端场景下,阿里云 MMA 以三倍于其它工具的性能优势,打消了我们最初的顾虑, 最终高效,稳定,准确地帮我们完成了数据迁移,实现了业务在云上的落地

迁移总体流程

1

信息采集

基本信息调研
您的迁移周期和人力预期

2

方案评估

架构映射
数据、应用迁移评估

3

成本估算

配置报价、云资源数量等

4

迁移过程

数据迁移、同步校验
应用迁移:任务+调度
权限迁移:权限映射

5

验证与割接

验证目标库可用
自动完成常规优化
平滑割接、上线运行

迁移的评估与架构

迁移通用架构图

从 Hadoop 迁移

现状调研
方案支持人员下发 Hadoop 调查表,由迁移客户方配合完成现状调研内容包括:

1、集群规模:存储、计算、YARN 资源等维度信息梳理;

2、网络环境:如 IDC 内网出口带宽、专线连通 IDC 到阿里云;

3、常用组件、机器配制、现有数据架构图;

4、Hadoop 集群表/作业情况;

5、迁移后期望:如周期、成本。

  • 方案评估

    1、现有架构迁移阿里云的产品架构映射;
    2、源数据流图架构到阿里云产品架构的解决方案;
    3、数据验证方案;
    4、其它类型作业迁移评估方案,如UDF、MapReduce、外表、Spark作业;
    5、迁移过程及计划评估。

  • 成本预估

    包括产品、产品说明、配制报价、数量等。

迁移通用架构图

从其它云迁移

现状调研
1、存储、计算资源等维度信息梳理;

2、常用组件、机器配制、现有数据架构图;

3、表/作业情况;

4、迁移后期望。

  • 方案评估

    1、现有架构迁移阿里云的产品架构映射;

    2、数据流图架构到阿里云产品架构的解决方案;

    3、数据验证方案;

    4、迁移过程及计划评估。

  • 成本预估

    包括产品、产品说明、配制报价、数量等。

迁移通用架构图

从传统数仓迁移

1、存储、计算资源等维度信息梳理;

2、常用组件、机器配制、现有数据架构图;

3、表/作业/存储过程情况;

4、迁移后期望。

  • 方案评估

    1、现有架构迁移阿里云的产品架构映射;

    2、数据流图架构到阿里云产品架构的解决方案;

    3、数据验证方案;

    4、迁移过程及计划评估。

  • 成本预估

    包括产品、产品说明、配制报价、数量等。

迁移工具

迁移评估—MMA

迁移评估—MMA

MaxCompute Migration Assistant (MMA) 提供将数据从不同数据源迁移到 MaxCompute 的解决方案。目前从 Hive 迁移到 MaxCompute 是最常见的场景。

下载链接
数据迁移工具—数据集成

数据迁移工具—数据集成

数据集成是稳定高效、弹性伸缩的数据同步平台,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。

详细信息
数据迁移工具—DataX

数据迁移工具—DataX

DataX 是阿里巴巴集团内被广泛使用的数据同步工具,实现包括 MySQL、Oracle、Postgre、HDFS 等各种异构数据源之间高效的数据同步功能。

详细信息
作业迁移—迁移助手

作业迁移—迁移助手

迁移助手是 DataWorks 上作业迁移利器,支持 Oozie & Azkaban等开源调度引擎作业快速上云,并提供详细的迁移报告。

详细信息

迁移视频