E-MapReduce：管理資料目錄

Catalog類型

支援資料來源

添加方式

特性說明

使用方式

資料目錄Catalog

• DLF（原DLF 2.5）

• DLF-Legacy（原DLF1.0）

• Hive Metastore (HMS)

• StarRocks

• Hologres

需在数据目录頁面手動添加Catalog。

新增Catalog後，需要重啟一次正在啟動並執行會話，以使其生效。

• 在数据开发頁面的SQL編輯器中，選擇目標Catalog。

• 直接在SQL編輯器中USE <catalogName>;

• 直接在SQL編輯器中SELECT * FROM <catalogName>.db.tbl;

自訂Catalog

Paimon、Iceberg等

通過編輯會話，在Spark 配置中添加相應類型的參數。

需自行配置參數，支援擴充多種資料來源。詳情請參見使用Iceberg和使用Paimon。

-- 切換到自訂Catalog
USE <catalogName>;

-- 或者直接參考資料表
SELECT * FROM <catalogName>.db.tbl;

參數

說明

网络连接

當前環境與外部Hive Metastore所在VPC的網路連接配置。

在下拉式清單中選擇已建立的網路連接名稱，具體請參見步驟一：新增網路連接。

Metastore 服务地址

外部Hive Metastore的服務地址，格式為thrift://<metastore-host>:<port>。

其中：

• <metastore-host>：Hive Metastore服務的主機名稱或IP地址。

• <port>：Hive Metastore服務的連接埠號碼，預設為 9083。

Kerberos認證

如果您的外部Hive Metastore開啟Kerberos認證，您需要指定keytab檔案地址，以及Principal名稱。

• Kerberos keytab 文件地址：Kerberos keytab檔案路徑。

• Kerberos principal：keytab檔案中包含的Principal的名稱，用於與Kerberos服務進行身分識別驗證。

  說明

  您可以使用klist -kt <keytab檔案>命令查看目標keytab檔案中Principal的名稱。

參數

說明

数据目录名称

StarRocks資料目錄的名稱，用於在SQL中引用該Catalog。同一工作空間內，資料目錄名稱不允許重複。

网络连接

當前環境與StarRocks執行個體所在VPC的網路連接配置。在下拉式清單中選擇已建立的網路連接名稱。具體操作，請參見步驟一：新增網路連接。

Endpoint

StarRocks的FE訪問地址，fe--internal.starrocks.aliyuncs.com。

查询端口

StarRocks的FE查詢連接埠，通常是9030。

用户名

訪問StarRocks的使用者名稱。該使用者名稱將用於Spark任務讀寫StarRocks資料時的身份認證。

密码

上述使用者對應的密碼。

Spark 概念

對應 Hologres 概念

說明

Catalog

Database

如 hologres_external_test_db → 映射 Hologres 中的 test_db 資料庫。

Namespace

Schema

如 public、test_schema；預設為 public，可通過 USE 切換當前預設 Namespace。

Table

Table

必須顯式指定 namespace.table_name（如 public.test），或先 USE namespace 後直接參考資料表名。

參數

說明

数据目录名称

Hologres資料目錄的名稱，用於在SQL中引用該Catalog。同一工作空間內，資料目錄名稱不允許重複。

网络连接

當前環境與Hologres執行個體所在VPC的網路連接配置。在下拉式清單中選擇已建立的網路連接名稱。具體操作，請參見步驟一：新增網路連接。

Endpoint

Hologres執行個體訪問地址，可在Hologres控制台的執行個體詳情頁擷取。

查询端口

Hologres執行個體的連接埠號碼，通常是80。

用户名

訪問Hologres的使用者名稱。該使用者名稱將用於Spark任務讀寫Hologres資料時的身份認證。

• 自訂帳號的使用者名稱，格式為BASIC$<user_name>。

• 阿里雲帳號或RAM使用者的AccessKey ID。

密码

上述使用者對應的密碼。

• 自訂帳號的密碼。

• 阿里雲帳號或RAM使用者的AccessKey Secret。