Data Lake Formation：EMR中繼資料遷移DLF最佳實務

準備工作

1. 已建立中繼資料為自建RDS的EMR叢集。如未建立，請參見配置自建RDS。本樣本中中繼資料為自建RDS。

2. 已在EMR叢集中建立Hive資料庫。如未建立，請參見Hive基礎操作。本樣本資料庫為testdb2。

3. 在中繼資料遷移之前，我們需要檢查資料庫遠端存取許可權。

   • 登入RDS或MySQL資料庫，執行如下語句進行遠端存取授權（以root帳號，testdb庫為例），其中xxxx為root使用者的密碼。

     CREATE USER 'root'@'%' IDENTIFIED BY 'xxxx';
     GRANT ALL PRIVILEGES ON testdb.* TO 'root'@'%' WITH GRANT OPTION;
     FLUSH PRIVILEGES;

   • 如果是RDS資料庫，也可以在RDS控制台上查看和修改存取權限，詳情請參見修改帳號許可權。

     

建立遷移任務

1. 登入資料湖構建控制台。

2. 切換到EMR叢集所屬的地區。

3. 在左側功能表列，單擊中繼資料 > 中繼資料遷移。

4. 在遷移任務頁簽，單擊建立遷移任務。

5. 配置源庫資訊，如下圖。配置參數詳情，請參見建立中繼資料遷移任務。

   

6. 配置遷移任務，如下圖。本樣本任務名稱為test_rds。

   

7. 確認任務配置資訊無誤，單擊確定，建立任務完成。

運行遷移任務

在遷移工作清單中，可以查看剛剛建立的遷移任務test_rds，單擊操作列的運行，執行任務。執行成功後如下圖。

查看運行記錄和日誌

1. 單擊操作列的運行記錄，可查看任務的執行歷史。如下圖：

   

2. 單擊操作列的查看日誌，可查看任務啟動並執行日誌詳情。

確認中繼資料遷移到DLF

1. 在左側功能表列，單擊中繼資料 > 中繼資料管理。

2. 單擊資料庫頁簽，選擇資料目錄，查詢目標資料庫名稱。如下圖：

   

Hive

在hive-site.xml中修改如下配置，儲存配置並使配置生效，具體操作請參見修改配置項。

<!-- 配置dlf 中繼資料服務地址，region替換為叢集所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
<!-- 注意：複製粘貼後檢查下，不要有空格！！！ -->
hive.imetastoreclient.factory.class=com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY

<!-- Hive3需要配置 -->
hive.notification.event.poll.interval=0s
<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Presto

在hive.properties中添加如下配置，儲存配置並使配置生效，具體操作請參見添加配置項。

hive.metastore=dlf
<!-- 配置dlf 中繼資料服務地址，region替換為叢集所在的region，比如cn-hangzhou -->
dlf.catalog.endpoint=dlf-vpc.{regionId}.aliyuncs.com
dlf.catalog.akMode=EMR_AUTO
dlf.catalog.proxyMode=DLF_ONLY
 
<!-- 請參考hive組件hive-site.xml中配置的hive.metastore.warehouse.dir值 -->
dlf.catalog.default-warehouse-dir= <!-- 與hive.metastore.warehouse.dir值相同 -->

<!--EMR-3.33版本之前和EMR-4.6.0之前，需要配置-->
dlf.catalog.sts.isNewMode=false

Spark

在Spark配置頁面，單擊部署用戶端配置，然後重啟Spark服務。

Impala

在Impala配置頁面，單擊部署用戶端配置，然後重啟Impala服務。

驗證是否切換成功

以Hive引擎為例，其他引擎也可進行驗證。

1. 使用SSH方式登入叢集，詳情請參見登入叢集。

2. 執行以下命令，進入Hive命令列。

   hive

3. 執行以下命令，建立資料庫。本文樣本中的資料庫以dlf_test_db為例介紹。

   CREATE database if NOT EXISTS dlf_test_db;

   當返回資訊包含OK時，表示建立資料庫dlf_test_db成功。

4. 登入資料湖構建控制台。

5. 在左側功能表列，選擇中繼資料 > 中繼資料管理。

6. 單擊資料庫頁簽，選擇相應的資料目錄，在資料庫名稱中查詢dlf_test_db是否存在。如下圖：

   

   若存在，表示切換DLF中繼資料成功。否則，切換失敗。