EMR中繼資料遷移DLF最佳實務

準備工作

1. 已建立中繼資料為自建RDS的EMR叢集。如未建立，請參見配置自建RDS。本樣本中中繼資料為自建RDS。

2. 已在EMR叢集中建立Hive資料庫。如未建立，請參見Hive基礎操作。本樣本資料庫為testdb2。

3. 在中繼資料遷移之前，我們需要檢查資料庫遠端存取許可權。

   • 登入RDS或MySQL資料庫，執行如下語句進行遠端存取授權（以root帳號，testdb庫為例），其中xxxx為root使用者的密碼。

     CREATE USER 'root'@'%' IDENTIFIED BY 'xxxx';
     GRANT ALL PRIVILEGES ON testdb.* TO 'root'@'%' WITH GRANT OPTION;
     FLUSH PRIVILEGES;

   • 如果是RDS資料庫，也可以在RDS控制台上查看和修改存取權限，詳情請參見修改帳號許可權。

     在RDS執行個體左側導覽列單擊帳號管理，可在使用者帳號頁簽查看已建立的帳號列表，包含帳號名稱、類型（高許可權帳號或普通帳號）、狀態、所屬資料庫及其許可權（如讀寫DDL+DML），並可執行重設密碼、修改許可權、刪除等操作。

建立遷移任務

1. 登入資料湖構建控制台。

2. 切換到EMR叢集所屬的地區。

3. 在左側功能表列，單擊中繼資料 > 中繼資料遷移。

4. 在遷移任務頁簽，單擊建立遷移任務。

5. 配置源庫資訊。配置參數詳情，請參見建立中繼資料遷移任務。

   在源庫配置頁面，資料庫類型選擇MySQL，類型選擇Aliyun RDS，選擇對應的RDS執行個體，填寫資料庫名稱（如testdb2）、使用者名稱和密碼。網路連接方式選擇阿里雲VPC，並配置對應的Virtual Private Cloud、交換器VSwitch和安全性群組，然後單擊下一步。

6. 配置遷移任務。本樣本任務名稱為test_rds。

   在基礎設定地區，任務描述填寫test。在遷移策略地區，資料目錄選擇rds，衝突解決方案策略選擇更新舊的中繼資料，日誌存放路徑設定為對應的OSS路徑，同步對象全選（包括database、function、table、partition）。配置完成後單擊下一步。

7. 確認任務配置資訊無誤，單擊確定，建立任務完成。

運行遷移任務

在遷移工作清單中，可以查看剛剛建立的遷移任務test_rds，單擊操作列的運行，執行任務。執行成功後，任務狀態顯示為成功。

查看運行記錄和日誌

1. 單擊操作列的運行記錄，可查看任務的執行歷史。

   執行歷史頁面以表格形式展示各作業的作業ID/任務名稱、資料庫類型、最近執行狀態、成功數量/失敗數量、最近執行時間、完成時間/期間等資訊，單擊操作列的查看日誌可查看對應作業的執行日誌。

2. 單擊操作列的查看日誌，可查看任務啟動並執行日誌詳情。

確認中繼資料遷移到DLF

1. 在左側功能表列，單擊中繼資料 > 中繼資料管理。

2. 單擊資料庫頁簽，選擇資料目錄，查詢目標資料庫名稱。

   查詢結果中顯示目標資料庫（如testdb2）的記錄，包括庫名、位置、資料目錄ID及建立時間等資訊，表明中繼資料已成功遷移到DLF。

Hive

在hive-site.xml中修改如下配置，儲存配置並使配置生效，具體操作請參見修改配置項。

<!-- 配置dlf 中繼資料服務地址，region替換為叢集所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
<!-- 注意：複製粘貼後檢查下，不要有空格！！ -->
hive.imetastoreclient.factory.class=com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY
<!-- Hive3需要配置 -->
hive.notification.event.poll.interval=0s
<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Presto

在hive.properties中添加如下配置，儲存配置並使配置生效，具體操作請參見添加配置項。

hive.metastore=dlf
<!-- 配置dlf 中繼資料服務地址，region替換為叢集所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY
<!-- 請參考hive組件hive-site.xml中配置的hive.metastore.warehouse.dir值 -->
dlf.catalog.default-warehouse-dir= <!-- 與hive.metastore.warehouse.dir值相同 -->
<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Spark

在Spark配置頁面，單擊部署用戶端配置，然後重啟Spark服務。

Impala

在Impala配置頁面，單擊部署用戶端配置，然後重啟Impala服務。

驗證是否切換成功

以Hive引擎為例，其他引擎也可進行驗證。

1. 使用SSH方式登入叢集，詳情請參見登入叢集。

2. 執行以下命令，進入Hive命令列。

   hive

3. 執行以下命令，建立資料庫。本文樣本中的資料庫以dlf_test_db為例介紹。

   CREATE database if NOT EXISTS dlf_test_db;

   當返回資訊包含OK時，表示建立資料庫dlf_test_db成功。

4. 登入資料湖構建控制台。

5. 在左側功能表列，選擇中繼資料 > 中繼資料管理。

6. 單擊資料庫頁簽，選擇相應的資料目錄，在資料庫名稱中查詢dlf_test_db是否存在。

   若存在，表示切換DLF中繼資料成功。否則，切換失敗。