为什么要迁移到 MaxCompute
开箱即用,5分钟开通新的数据仓库。与云上主要流式服务深度集成,轻松接入各种来源流式数据。
迁移案例
阿里云某游戏行业客户:“在我们自建集群网络出口极度受限的情况下,阿里云打破了基于网络传输的搬站模式,结合 MMA 与 OSS 闪电立方服务, 在三个工作日内帮助我们完成了数据迁移这一看似不可能的任务,也让我们得到了内部业务方团队的认可”
阿里云某母婴社区平台客户:“我们迁移的数据量超过了1PB,单表规模超过了80TB。在这样的极端场景下,阿里云 MMA 以三倍于其它工具的性能优势,打消了我们最初的顾虑, 最终高效,稳定,准确地帮我们完成了数据迁移,实现了业务在云上的落地”
迁移总体流程
1
信息采集
基本信息调研
您的迁移周期和人力预期
2
方案评估
架构映射
数据、应用迁移评估
3
成本估算
配置报价、云资源数量等
4
迁移过程
数据迁移、同步校验
应用迁移:任务+调度
权限迁移:权限映射
5
验证与割接
验证目标库可用
自动完成常规优化
平滑割接、上线运行
迁移的评估与架构
迁移通用架构图
从 Hadoop 迁移
现状调研
方案支持人员下发 Hadoop 调查表,由迁移客户方配合完成现状调研内容包括:
1、集群规模:存储、计算、YARN 资源等维度信息梳理;
2、网络环境:如 IDC 内网出口带宽、专线连通 IDC 到阿里云;
3、常用组件、机器配制、现有数据架构图;
4、Hadoop 集群表/作业情况;
5、迁移后期望:如周期、成本。
-
方案评估
1、现有架构迁移阿里云的产品架构映射;
2、源数据流图架构到阿里云产品架构的解决方案;
3、数据验证方案;
4、其它类型作业迁移评估方案,如UDF、MapReduce、外表、Spark作业;
5、迁移过程及计划评估。 -
成本预估
包括产品、产品说明、配制报价、数量等。
迁移通用架构图
从其它云迁移
现状调研
1、存储、计算资源等维度信息梳理;
2、常用组件、机器配制、现有数据架构图;
3、表/作业情况;
4、迁移后期望。
-
方案评估
1、现有架构迁移阿里云的产品架构映射;
2、数据流图架构到阿里云产品架构的解决方案;
3、数据验证方案;
4、迁移过程及计划评估。 -
成本预估
包括产品、产品说明、配制报价、数量等。
迁移通用架构图
从传统数仓迁移
1、存储、计算资源等维度信息梳理;
2、常用组件、机器配制、现有数据架构图;
3、表/作业/存储过程情况;
4、迁移后期望。
-
方案评估
1、现有架构迁移阿里云的产品架构映射;
2、数据流图架构到阿里云产品架构的解决方案;
3、数据验证方案;
4、迁移过程及计划评估。 -
成本预估
包括产品、产品说明、配制报价、数量等。
迁移工具
迁移评估—MMA
MaxCompute Migration Assistant (MMA) 提供将数据从不同数据源迁移到 MaxCompute 的解决方案。目前从 Hive 迁移到 MaxCompute 是最常见的场景。
下载链接