在阿里雲E-MapReduce(簡稱EMR)中,您在建立叢集時可以選擇中繼資料存放區類型,例如、DLF或RDS的中繼資料存放區方式。叢集建立後,您也可以修改本文為您簡單介紹阿里雲資料湖構建,以及如何切換E-MapReduce(簡稱EMR)的中繼資料存放區類型。
背景資訊
阿里雲資料湖構建是一款全託管的快速協助使用者構建雲上資料湖的服務,產品為雲原生資料湖提供了統一的中繼資料管理、統一的許可權與安全管理、便捷的資料入湖能力以及一鍵式資料探索能力,詳細資料請參見資料湖構建產品簡介。
您可以快速完成雲原生資料湖方案的構建與管理,並可無縫對接多種計算引擎,打破資料孤島,洞察業務價值。
前提條件
已在資料湖構建(Data Lake Formation)控制台開通資料湖構建。
使用限制
-
DLF統一中繼資料適配EMR的Hive 2.x、Hive 3.x、Presto和SparkSQL。
-
僅EMR-3.30.0及之後版本和EMR-4.5.0及之後版本,支援選擇DLF統一中繼資料作為Hive資料庫。
操作步驟
-
進入Hive服務頁面。
-
在頂部功能表列處,根據實際情況選擇地區和資源群組。
-
在EMR on ECS頁面,單擊目的地組群所在行的集群服务。
-
單擊Hive服務地區的配置。
-
在配置搜尋中,輸入配置項hive.imetastoreclient.factory.class,單擊
表徵圖。-
切換為MySQL(包括叢集內建MySQL、統一meta資料庫和自建RDS):
設定hive.imetastoreclient.factory.class的值為org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactory。
-
切換為DLF統一中繼資料:
設定hive.imetastoreclient.factory.class的值為com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactory。
-
-
儲存配置。
-
在Hive服務頁面的服务配置地區,單擊保存。
-
在彈出的對話方塊中,輸入執行原因,單擊保存。
-
-
重啟Hive服務。
-
在Hive服務頁面,選擇右上方的。
-
在彈出的對話方塊中,填寫执行原因,單擊确定。
-
在确认對話方塊中,單擊确定。
您可以單擊上方的操作历史,查看任務進度,等待任務完成。
-