：迁移服务（MMA 4.0）

迁移原理

• 元数据迁移：

  1. MMA通过元数据API获取数据源的元数据，具体是通过使用BigQuery SDK、Hive Metastore SDK、DataBricks SDK来调用API的。

  2. MMA根据获取到的元数据生成MaxCompute DDL语句，并在MaxCompute中执行DDL，完成元数据迁移。

• 数据迁移：

  • 方式1：拉模式，MMA通过Spark作业指定要迁移的对象，Spark作业运行在MaxCompute上，从数据源读取数据，并将其写入MaxCompute。对于不同的数据源，Spark读取数据的方式不同，具体如下：

    数据源	读取数据方式
    Bigquery	Read API
    Hive on AWS s3	s3
    Hive on HDFS	HDFS

  • 方式2：推模式，MMA向数据源提交SQL、Spark作业，作业运行在数据源端，将数据从数据源读取后写入到MaxCompute，具体实现如下：

    数据源	读取数据方式
    Hive	运行UDTF，通过Tunnel将数据写入MaxCompute。
    DataBricks	运行DataBricks Spark，通过Storage API将数据写入MaxCompute。

MMA名词解释

MMA架构图如下：

数据源

要迁移的对象，例如Hive的一个或多个Database、 BigQuery的一个或多个Project、DataBricks的一个Catalog。不同的数据源有不同的数据层级表示（如下表），目前MMA会将不同数据源的数据层级映射为Database、Schema和Table三层表示，其中Schema作为Table的属性存在。

任务与子任务

MMA迁移操作的对象可以是一个Database，多个Table或多个partition。选定操作对象，并建立迁移任务后，MMA会产生任务与子任务，其中任务中包含了迁移操作的配置信息（操作对象、迁移方法等）。任务会进一步被划分为子任务，子任务是实际迁移操作的执行单元。一个子任务会对应一个非分区表或一个分区表的多个分区。子任务执行的过程包含迁移元数据、迁移数据和数据校验三个阶段。

数据校验

MMA将数据迁移到MaxCompute后，会对数据进行校验。目前支持的校验方法比较简单，即在源端和MaxCompute端分别执行SELECT COUNT(*)命令获取操作对象（例如表或分区）的行数，然后进行对比。

启动MMA

建议使用nohup启动程序，启动命令如下。

nohup java -jar mma-3.1.0-<datasource>.jar -c config.ini > nohup.log 2>&1 &

停止MMA

如果需要停止MMA程序，可以使用如下命令直接终止已经启动的MMA程序。停止MMA程序会导致正在运行的迁移任务中断，但是重新启动MMA后，被中断的任务会被重新执行，并且不影响最终的迁移结果。

ps aux | grep mma-3.1.0-<datasource>.jar | grep -v grep | awk '{print $2}' | xargs kill -9

访问MMA

MMA程序启动后，您可浏览器端输入http://拉起服务的ip:6060（6060通过config.ini中的listening_port进行配置）访问MMA。浏览器打开MMA后，您需要在MMA配置页面配置以下参数：

access_id=xxx
access_key=xxx

添加数据源

1. 在数据源页面右侧，单击添加数据源，进入添加数据源页面。

2. 数据源类型选择BIGQUERY，并单击下一步。

3. 根据如下参数说明配置数据源。

   参数名称	描述
   数据源名称	数据源名称，可自定义，不能包含字符、数字、汉字之外的特殊字符。
   BigQuery service account key file json	通过BigQuery IAM控制台创建服务账号，下载鉴权JSON，详情请参见服务账号概述。
   BigQuery project name	服务账号授权的项目名。
   范围分区表（Range Partition Table）迁移方式	BigQuery范围分区表迁移方式，当前只支持迁移到MaxCompute分区表。 默认值为Partition。
   时间单位列分区表（Time-unit Column-partitioned Table）是否保留分区列作为普通列，默认保留	BigQuery单位列分区表，是否保留分区列作为普通列保存到MaxCompute。 默认保留。
   注入时间分区表（Ingestion-time Partitioned Table）是否保留伪列作为普通列，默认不保留	BigQuery注入时间分区表，是否保留伪列作为普通列保存到MaxCompute。 默认为false（不保留）。
   MaxCompute Spark NetworkLink Name: region:name	网络连接名称，详情请参见网络开通流程的“访问VPC方案（专线直连）”部分。 配置格式为<regionId>:<vpcId>。示例：如果VPC ID为vpc-uf68aeg673p0k********，Region为上海，则此处应配置为cn-hanghai:vpc-uf68aeg673p0k********。关于Region和RegionId对应关系，请参见区域与区域ID的对应关系。
   定时更新	配置数据源元数据定时拉取，有以下两种定时方式： 每天：定时器每天运行一次，运行时刻为选定的24小时内的某一时间（精确到分钟）。 每小时：定时器每小时运行一次，运行时刻为选定的60分钟内的某一分钟。
   meta api访问并发量	访问数据源元数据API的并发量，默认值为10。
   数据库白名单	需要迁移的BigQuery数据库，多个值之间以英文逗号分隔。
   数据库黑名单	不需要迁移的BigQuery数据库，多个值之间以英⽂逗号分隔。
   表黑名单, 格式为db.table	不需要迁移的BigQuery数据库表。单个表的格式为dbname.tablename，多个表之间以英文逗号分隔。
   表白名单， 格式为db.table	需要迁移的BigQuery数据库表。单个表的格式为dbname.tablename，多个表之间以英文逗号分隔。

更新数据源

若数据源的元数据有变动，您需要在MMA的数据源页面，单击目标数据源操作列的更新，以手动更新数据源并拉取最新元数据。

修改数据源配置

您也可以修改数据源的相关配置，操作如下：

1. 在MMA的数据源页面，单击目标数据源的名称，进入数据源详情页面。

2. 在配置信息页签修改数据源的相关配置。

创建迁移任务

管理任务

在MMA的顶部菜单栏单击迁移任务>任务列表，可进入任务列表页面查看所有状态的任务，您可针对不同状态下的任务执行删除、停止、启动和重试等操作。

管理子任务

您可在子任务列表页面管理所有子任务。

1. 进入子任务列表页面，有如下两种方式：

   • 在MMA的顶部菜单栏单击迁移任务>子任务列表，可进入子任务列表页面查看所有任务的子任务。

   • 在任务列表页面，单击目标任务名，也可进入该任务的子任务列表页面。

2. 您可在过滤栏根据任务名、数据源、源库、源表及状态等条件对子任务进行过滤。

3. 单击目标子任务操作列的详情，可查看或下载该子任务的执行日志。

4. 对于状态为迁移数据失败的子任务，您可执行重试或重新运行操作。

   子任务的运行会涉及迁移Schema、迁移数据、数据校验三个阶段，如果某个子任务“迁移数据”失败，执行重试操作时，子任务会重新执行“迁移数据”操作；执行重新运行操作时，子任务会从“迁移Schema”开始重新运行。

分区过滤表达式说明

此处以一个具体示例为您介绍分区过滤表达式的含义，如：p1 >= '2022-03-04' and (p2 = 10 or p3 > 20) and p4 in ('abc', 'cde')。

示例说明：

• p1、p2和p3均为分区名。

• 分区值仅包含字符串和数字，字符串被双引号或单引号包裹。除INT/BIGINT类型的分区列值外，其他类型的分区值都只能取字符串值。

• 比较操作符包括：>、>=、= 、<、<=、<>。

• 分区过滤表达式支持IN操作符。

• 逻辑操作符包括：AND和OR。

• 支持使用括号。

区域与区域ID的对应关系