：遷移服務（MMA 4.0）

遷移原理

• 中繼資料遷移：

  1. MMA通過中繼資料API擷取資料來源的中繼資料，具體是通過使用BigQuery SDK、Hive Metastore SDK、DataBricks SDK來調用API的。

  2. MMA根據擷取到的中繼資料產生MaxCompute DDL語句，並在MaxCompute中執行DDL，完成中繼資料遷移。

• 資料移轉：

  • 方式1：拉模式，MMA通過Spark作業指定要遷移的對象，Spark作業運行在MaxCompute上，從資料來源讀取資料，並將其寫入MaxCompute。對於不同的資料來源，Spark讀取資料的方式不同，具體如下：

    資料來源	讀取資料方式
    Bigquery	Read API
    Hive on AWS s3	s3
    Hive on HDFS	HDFS

  • 方式2：推模式，MMA向資料來源提交SQL、Spark作業，作業運行在資料來源端，將資料從資料來源讀取後寫入到MaxCompute，具體實現如下：

    資料來源	讀取資料方式
    Hive	運行UDTF，通過Tunnel將資料寫入MaxCompute。
    DataBricks	運行DataBricks Spark，通過Storage API將資料寫入MaxCompute。

MMA名詞解釋

MMA架構圖如下：

資料來源

要遷移的對象，例如Hive的一個或多個Database、 BigQuery的一個或多個Project、DataBricks的一個Catalog。不同的資料來源有不同的資料層級表示（如下表），目前MMA會將不同資料來源的資料層級映射為Database、Schema和Table三層表示，其中Schema作為Table的屬性存在。

任務與子任務

MMA遷移操作的對象可以是一個Database，多個Table或多個partition。選定操作對象，並建立遷移任務後，MMA會產生任務與子任務，其中任務中包含了遷移操作的配置資訊（操作對象、遷移方法等）。任務會進一步被劃分為子任務，子任務是實際遷移操作的執行單元。一個子任務會對應一個非分區表或一個分區表的多個分區。子任務執行的過程包含遷移中繼資料、遷移資料和資料校正三個階段。

資料校正

MMA將資料移轉到MaxCompute後，會對資料進行校正。目前支援的校正方法比較簡單，即在源端和MaxCompute端分別執行SELECT COUNT(*)命令擷取操作對象（例如表或分區）的行數，然後進行對比。

啟動MMA

建議使用nohup啟動程式，啟動命令如下。

nohup java -jar mma-3.1.0-<datasource>.jar -c config.ini > nohup.log 2>&1 &

停止MMA

如果需要停止MMA程式，可以使用如下命令直接終止已經啟動的MMA程式。停止MMA程式會導致正在啟動並執行遷移任務中斷，但是重新啟動MMA後，被中斷的任務會被重新執行，並且不影響最終的遷移結果。

ps aux | grep mma-3.1.0-<datasource>.jar | grep -v grep | awk '{print $2}' | xargs kill -9

訪問MMA

MMA程式啟動後，您可瀏覽器端輸入http://拉起服務的ip:6060（6060通過config.ini中的listening_port進行配置）訪問MMA。瀏覽器開啟MMA後，您需要在MMA配置頁面配置以下參數：

access_id=xxx
access_key=xxx

添加資料來源

1. 在資料來源頁面右側，單擊添加資料來源，進入添加資料來源頁面。

2. 資料來源類型選擇BIGQUERY，並單擊下一步。

3. 根據如下參數說明配置資料來源。

   參數名稱	描述
   資料來源名稱	資料來源名稱，可自訂，不能包含字元、數字、漢字之外的特殊字元。
   BigQuery service account key file json	通過BigQuery IAM控制台建立服務帳號，下載鑒權JSON，詳情請參見服務帳號概述。
   BigQuery project name	服務帳號授權的專案名。
   定界分割表（Range Partition Table）遷移方式	BigQuery定界分割表遷移方式，當前只支援遷移到MaxCompute分區表。 預設值為Partition。
   時間單位列分區表（Time-unit Column-partitioned Table）是否保留分區列作為普通列，預設保留	BigQuery單位列分區表，是否保留分區列作為普通列儲存到MaxCompute。 預設保留。
   注入時間分區表（Ingestion-time Partitioned Table）是否保留偽列作為普通列，預設不保留	BigQuery注入時間分區表，是否保留偽列作為普通列儲存到MaxCompute。 預設為false（不保留）。
   MaxCompute Spark NetworkLink Name: region:name	網路連接名稱，詳情請參見網路開通流程的“訪問VPC方案（專線直連）”部分。 配置格式為<regionId>:<vpcId>。樣本：如果VPC ID為vpc-uf68aeg673p0k********，Region為上海，則此處應配置為cn-hanghai:vpc-uf68aeg673p0k********。關於Region和RegionId對應關係，請參見地區與地區ID的對應關係。
   定時更新	配置資料來源中繼資料定時拉取，有以下兩種定時方式： 每天：定時器每天運行一次，運行時刻為選定的24小時內的某一時間（精確到分鐘）。 每小時：定時器每小時運行一次，運行時刻為選定的60分鐘內的某一分鐘。
   meta api訪問並發量	訪問資料來源中繼資料API的並發量，預設值為10。
   資料庫白名單	需要遷移的BigQuery資料庫，多個值之間以英文逗號分隔。
   資料庫黑名單	不需要遷移的BigQuery資料庫，多個值之間以英⽂逗號分隔。
   表黑名單, 格式為db.table	不需要遷移的BigQuery資料庫表。單個表的格式為dbname.tablename，多個表之間以英文逗號分隔。
   表白名單， 格式為db.table	需要遷移的BigQuery資料庫表。單個表的格式為dbname.tablename，多個表之間以英文逗號分隔。

更新資料來源

若資料來源的中繼資料有變動，您需要在MMA的資料來源頁面，單擊目標資料來源操作列的更新，以手動更新資料來源並拉取最新中繼資料。

修改資料來源配置

您也可以修改資料來源的相關配置，操作如下：

1. 在MMA的資料來源頁面，單擊目標資料來源的名稱，進入資料來源詳情頁面。

2. 在配置資訊頁簽修改資料來源的相關配置。

建立遷移任務

管理工作

在MMA的頂部功能表列單擊遷移任務>工作清單，可進入工作清單頁面查看所有狀態的任務，您可針對不同狀態下的任務執行刪除、停止、啟動和重試等操作。

管理子任務

您可在子任務列表頁面管理所有子任務。

1. 進入子任務列表頁面，有如下兩種方式：

   • 在MMA的頂部功能表列單擊遷移任務>子任務列表，可進入子任務列表頁面查看所有任務的子任務。

   • 在工作清單頁面，單擊目標任務名，也可進入該任務的子任務列表頁面。

2. 您可在過濾欄根據任務名、資料來源、源庫、源表及狀態等條件對子任務進行過濾。

3. 單擊目標子任務操作列的詳情，可查看或下載該子任務的執行日誌。

4. 對於狀態為遷移資料失敗的子任務，您可執行重試或重新運行操作。

   子任務的運行會涉及遷移Schema、遷移資料、資料校正三個階段，如果某個子任務“遷移資料”失敗，執行重試操作時，子任務會重新執行“遷移資料”操作；執行重新運行操作時，子任務會從“遷移Schema”開始重新運行。

分區過濾運算式說明

此處以一個具體樣本為您介紹分區過濾運算式的含義，如：p1 >= '2022-03-04' and (p2 = 10 or p3 > 20) and p4 in ('abc', 'cde')。

樣本說明：

• p1、p2和p3均為分區名。

• 分區值僅包含字串和數字，字串被雙引號或單引號包裹。除INT/BIGINT類型的分區列值外，其他類型的分區值都只能取字串值。

• 比較操作符包括：>、>=、= 、<、<=、<>。

• 分區過濾運算式支援IN操作符。

• 邏輯操作符包括：AND和OR。

• 支援使用括弧。

地區與地區ID的對應關係