开源大数据平台E-MapReduce：使用DLF Catalog

语法​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "hive",
    GeneralParams,
    MetastoreParams
)

参数说明

• catalog_name：Hive Catalog的名称，必选参数。命名要求如下：

  • 必须由字母（a~z或A~Z）、数字（0~9）或下划线（_）组成，并且只能以字母开头。

  • 总长度不能超过64个字符。

• comment：Hive Catalog的描述。此参数为可选。

• type：数据源的类型。设置为hive。

• GeneralParams：指定通用设置的一组参数。GeneralParams包含如下参数。

  参数	是否必须	说明
  enable_recursive_listing	否	指定StarRocks是否递归读取表或者分区目录（包括子目录）中文件的数据。取值范围： true（默认值）：表示递归遍历。 false：表示只读取表或者分区目录当前层级中文件的数据。

• MetastoreParams：StarRocks访问Hive集群元数据的相关参数配置。

  属性	说明
  hive.metastore.type	Hive使用的元数据类型，设置为dlf。
  dlf.catalog.id	DLF 1.0中已有的数据目录ID。仅当hive.metastore.type配置为dlf时需要填写该参数。如果未配置dlf.catalog.id参数的值，则系统将使用默认的DLF Catalog。

使用示例

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES
(
    "type" = "hive",
    "hive.metastore.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

更多Hive Catalog详情，请参见Hive Catalog。

语法​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "iceberg",
    MetastoreParams
)

参数说明

• catalog_name：Iceberg Catalog的名称，必选参数。命名要求如下：

  • 必须由字母（a~z或A~Z）、数字（0~9）或下划线（_）组成，并且只能以字母开头。

  • 总长度不能超过64个字符。

  • Catalog名称大小写敏感。

• comment：Iceberg Catalog的描述，此参数为可选。

• type：数据源的类型，设置为iceberg。

• MetastoreParams：StarRocks访问Iceberg集群元数据服务的相关参数配置。

  属性	说明
  iceberg.catalog.type	Iceberg中Catalog的类型，取值为dlf。
  dlf.catalog.id	DLF中已有的数据目录ID。如果未配置dlf.catalog.id参数的值，则系统将使用默认的DLF Catalog。

使用示例

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

更多Iceberg Catalog详情，请参见Iceberg Catalog。

语法

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "paimon",
    CatalogParams,
    StorageCredentialParams
);

参数说明

• catalog_name：Paimon Catalog的名称，必选参数。命名要求如下：

  • 必须由字母（a~z或A~Z）、数字（0~9）或下划线（_）组成，并且只能以字母开头。

  • 总长度不能超过64个字符。

• comment：Paimon Catalog的描述。此参数为可选。

• type：数据源的类型。设置为paimon。

• CatalogParams：StarRocks访问Paimon集群元数据的相关参数配置。Paimon集群使用的元数据类型不同，参数的配置也不同。

  属性	是否必须	说明
  paimon.catalog.type	是	数据源类型，取值为dlf。
  paimon.catalog.warehouse	是	Paimon数据所在的Warehouse存储路径，支持HDFS、OSS和OSS-HDFS。OSS或OSS-HDFS格式为：oss://<yourBucketName>/<yourPath>。 重要 若使用OSS或OSS-HDFS作为warehouse，须配置参数aliyun.oss.endpoint。详情请参见StorageCredentialParams：StarRocks访问Paimon集群文件存储的相关参数配置。
  dlf.catalog.id	否	DLF中已有的数据目录的ID。如果未配置dlf.catalog.id参数的值，则系统将使用默认的DLF Catalog。

• StorageCredentialParams：StarRocks访问Paimon集群文件存储的相关参数配置。

  • 如果您使用HDFS作为存储系统，则不需要配置StorageCredentialParams。

  • 如果您使用OSS或OSS-HDFS，则必须配置StorageCredentialParams。

    "aliyun.oss.endpoint" = "<YourAliyunOSSEndpoint>" 

    涉及参数说明如下表所示。

    属性	说明
    aliyun.oss.endpoint	使用OSS或OSS-HDFS，相应的Endpoint信息如下： OSS：您可以前往Bucket的概览页的访问端口区域获Endpoint，也可以参见地域和Endpoint查看对应Region的Endpoint信息。如oss-cn-hangzhou.aliyuncs.com。 OSS-HDFS：您可以前往Bucket的概览页的访问端口区域获取HDFS 服务的Endpoint。以杭州地域为例，示例值为cn-hangzhou.oss-dls.aliyuncs.com。 重要 使用该方式配置该参数后，您还需要在EMR Serverless StarRocks控制台的参数配置页面，修改core-site.xml和jindosdk.cfg中的参数fs.oss.endpoint，参数值与aliyun.oss.endpoint保持一致。

使用示例

CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
    "type" = "paimon",
    "paimon.catalog.type" = "dlf",
    "paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>",
    "dlf.catalog.id" = "paimon_dlf_test"
);

更多Paimon Catalog详情，请参见Paimon Catalog。