通過Spark SQL訪問DLF中繼資料

前提條件

• AnalyticDB for MySQL叢集的產品系列為企業版、基礎版或湖倉版。

• 已在AnalyticDB for MySQL叢集中建立Job型資源群組。

• 已建立AnalyticDB for MySQL叢集的資料庫帳號。

  • 如果是通過阿里雲帳號訪問，只需建立高許可權帳號。

  • 如果是通過RAM使用者訪問，需要建立高許可權帳號和普通帳號並且將RAM使用者綁定到普通帳號上。

• 已授權AnalyticDB for MySQL扮演AliyunADBSparkProcessingDataRole角色來訪問其他雲資源。

• 已開通DLF，並在AnalyticDB for MySQL同一地區建立資料目錄（Catalog）。具體操作，請參見建立資料目錄。

操作步驟

1. 登入雲原生資料倉儲AnalyticDB MySQL控制台，在左上方選擇叢集所在地區。在左側導覽列，單擊集群清單，然後單擊目的地組群ID。

2. 在左側導覽列，單擊作業開發 > SQL開發 。

3. 在SQL Console視窗，選擇Spark引擎和Job型資源組。

4. 編寫Spark SQL作業。

   SET spark.hadoop.dlf.catalog.accessKeyId=LTAI5tMnzDS5EyqqMsT****;
   SET spark.hadoop.dlf.catalog.accessKeySecret=A2kHFzEgFidOKrDKqAbJIPt8****;
   SET spark.hadoop.dlf.catalog.id=default;
   SET spark.sql.hive.metastore.version=dlf;
   SHOW DATABASES;

   參數說明：

   參數	是否必填	說明
   spark.hadoop.dlf.catalog.accessKeyId	是	阿里雲帳號或具備DLF存取權限的RAM使用者的AccessKey ID。 如何擷取AccessKey ID和AccessKey Secret，請參見帳號與許可權。
   spark.hadoop.dlf.catalog.accessKeySecret	是	阿里雲帳號或具備DLF存取權限的RAM使用者的AccessKey Secret。 如何擷取AccessKey ID和AccessKey Secret，請參見帳號與許可權。
   spark.hadoop.dlf.catalog.id	是	資料目錄（Catalog）的ID。如何查詢資料目錄（Catalog）ID，請參見查看資料目錄。
   spark.sql.hive.metastore.version	是	指定採用中繼資料服務版本，本文需填寫為dlf。

   其他參數請參見Spark應用配置參數說明。

5. 單擊運行，執行完成後，您可以在Spark Jar 開發頁面應用列表頁簽中的日誌查看資料。詳情請參見Spark開發編輯器。