中繼資料遷移

使用限制

• 支援的Hive版本：2.3.x ，3.1.x 版本。

• 支援的資料庫類型：MySQL。

建立中繼資料遷移任務

1. 登入資料湖構建控制台。

2. 在左側功能表列，單擊元数据 > 元数据迁移。

3. 在迁移任务頁簽，單擊创建迁移任务。

4. 配置以下源庫資訊，單擊下一步。

   參數	說明
   数据库类型	僅支援MySQL類型。
   MySQL类型	根據Hive中繼資料類型選擇。 Aliyun RDS：阿里雲官網提供的RDS，可參考雲資料庫RDS MySQL版。需選擇RDS实例，填寫数据库名称、用户名和密碼。 重要 RDS中繼資料僅支援阿里云 VPC串連方式訪問。 其他 MySQL：EMR叢集內建MySQL、自建MySQL或其他MySQL資料庫。需填寫JDBC URL、用户名和密碼。 重要 建議JDBC URL填寫內網IP，並通過阿里云 VPC串連方式訪問；如果選擇公网连接，則填寫公網IP。
   网络连接方式	當前支援阿里雲VPC、公網串連兩種方式。請根據上一步MySQL類型進行配置。 阿里云 VPC：選擇與EMR叢集或RDS匹配的专有网络 VPC、交换机 VSwitch和安全组，避免網路出現問題。 公网连接：當選擇公網串連時，在EMR控制台上添加規則，使EMR叢集3306連接埠（預設）對DLFElastic IP Address開放。 說明 添加連接埠詳情，請參見添加安全性群組規則。 各地區DLFElastic IP Address，請參見DLF Region和Elastic IP Address對照表。

5. 配置以下遷移任務資訊，單擊下一步。

   參數	說明
   任务名称	輸入中繼資料遷移任務的名稱。
   任务描述	可選，輸入您的一些任務備忘資訊。
   数据目录	選擇目標資料目錄。
   冲突解决策略	更新舊的中繼資料（建議選擇）：舊資料不會被刪除，在原有DLF中繼資料基礎上更新中繼資料。 重建中繼資料，即先刪除舊的DLF中繼資料後再建立。
   日志存放路径	所有遷移任務日誌將被儲存在指定的OSS位置。
   同步对象	包括Database、Function、Table、Partition四種對象，一般為全選。
   Location替换	可選，適用於遷移過程中需要對table、database的location進行替換修改的情況。比如從傳統HDFS架構遷移到OSS存算分離架構，則需要將hdfs://路徑，替換為oss://路徑等情況。

6. 確認任務配置資訊無誤，單擊确定，建立任務完成。

管理中繼資料遷移任務

1. 單擊迁移任务頁簽，在目標遷移任務操作列：

   • 單擊运行：運行當前中繼資料遷移任務。

   • 單擊运行记录：可查看任務啟動並執行詳情資訊。

   • 單擊编辑：可修改任務的源库配置和迁移任务配置。

   • 單擊删除：可刪除遷移任務。

   • 單擊停止：可停止當前運行中的任務。

2. 單擊执行历史頁簽，單擊目標任務操作列的查看日志，可查看運行中的日誌資訊。

   中繼資料遷移完成後，可以從日誌中看到成功或失敗的結果資訊。

驗證中繼資料同步結果

1. 在左側功能表列，單擊元数据 > 元数据管理。

2. 單擊数据库頁簽，選擇数据目录，輸入同步的数据库名称，可以查詢到相應的資料庫資訊。

3. 單擊数据表頁簽，選擇数据目录和库名，輸入同步的表名，可以查詢到相應的資料表資訊。

最佳實務

EMR中繼資料遷移DLF最佳實務

相關資料

DLF Region和Elastic IP Address對照表