管理数据目录

Catalog类型

支持数据源

添加方式

特性说明

使用方式

数据目录Catalog

• DLF（原DLF 2.5）

• DLF-Legacy（原DLF1.0）

• Hive Metastore (HMS)

• StarRocks

• Hologres

需在数据目录页面手动添加Catalog。

新增Catalog后，需要重启一次正在运行的会话，以使其生效。

• 在数据开发页面的SQL编辑器中，选择目标Catalog。

• 直接在SQL编辑器中USE <catalogName>;

• 直接在SQL编辑器中SELECT * FROM <catalogName>.db.tbl;

自定义Catalog

Paimon、Iceberg等

通过编辑会话，在Spark 配置中添加相应类型的参数。

需自行配置参数，支持扩展多种数据源。详情请参见使用Iceberg和使用Paimon。

-- 切换到自定义Catalog
USE <catalogName>;

-- 或者直接引用表
SELECT * FROM <catalogName>.db.tbl;

参数

说明

网络连接

当前环境与外部Hive Metastore所在VPC的网络连接配置。

在下拉列表中选择已创建的网络连接名称，具体请参见步骤一：新增网络连接。

Metastore 服务地址

外部Hive Metastore的服务地址，格式为thrift://<metastore-host>:<port>。

其中：

• <metastore-host>：Hive Metastore服务的主机名或IP地址。

• <port>：Hive Metastore服务的端口号，默认为 9083。

Kerberos认证

如果您的外部Hive Metastore开启Kerberos认证，您需要指定keytab文件地址，以及Principal名称。

• Kerberos keytab 文件地址：Kerberos keytab文件路径。

• Kerberos principal：keytab文件中包含的Principal的名称，用于与Kerberos服务进行身份验证。

  说明

  您可以使用klist -kt <keytab文件>命令查看目标keytab文件中Principal的名称。

参数

说明

数据目录名称

StarRocks数据目录的名称，用于在SQL中引用该Catalog。同一工作空间内，数据目录名称不允许重复。

网络连接

当前环境与StarRocks实例所在VPC的网络连接配置。在下拉列表中选择已创建的网络连接名称。具体操作，请参见步骤一：新增网络连接。

Endpoint

StarRocks的FE访问地址，fe--internal.starrocks.aliyuncs.com。

查询端口

StarRocks的FE查询端口，通常是9030。

用户名

访问StarRocks的用户名。该用户名将用于Spark任务读写StarRocks数据时的身份认证。

密码

上述用户对应的密码。

Spark 概念

对应 Hologres 概念

说明

Catalog

Database

如 hologres_external_test_db → 映射 Hologres 中的 test_db 数据库。

Namespace

Schema

如 public、test_schema；默认为 public，可通过 USE 切换当前默认 Namespace。

Table

Table

必须显式指定 namespace.table_name（如 public.test），或先 USE namespace 后直接引用表名。

参数

说明

数据目录名称

Hologres数据目录的名称，用于在SQL中引用该Catalog。同一工作空间内，数据目录名称不允许重复。

网络连接

当前环境与Hologres实例所在VPC的网络连接配置。在下拉列表中选择已创建的网络连接名称。具体操作，请参见步骤一：新增网络连接。

Endpoint

Hologres实例访问地址，可在Hologres控制台的实例详情页获取。

查询端口

Hologres实例的端口号，通常是80。

用户名

访问Hologres的用户名。该用户名将用于Spark任务读写Hologres数据时的身份认证。

• 自定义账号的用户名，格式为BASIC$<user_name>。

• 阿里云账号或RAM用户的AccessKey ID。

密码

上述用户对应的密码。

• 自定义账号的密码。

• 阿里云账号或RAM用户的AccessKey Secret。