E-MapReduce：Paimon資料來源

前提條件

• 已建立包含Paimon服務的叢集，例如DataLake或Custom叢集，詳情請參見建立叢集。

• 已建立包含StarRocks服務的叢集，例如OLAP或Custom叢集，並成功串連到叢集，詳情請參見建立叢集和快速入門。

使用限制

建立的兩個叢集需要在同一個VPC下，並且在同一個可用性區域下。

建立Paimon Catalog

文法​

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES
( 
  "key"="value", 
  ...
);

參數說明

• catalog_name：Paimon Catalog的名稱，必選參數。命名要求如下：

  • 必須由字母（a~z或A~Z）、數字（0~9）或底線（_）組成，並且只能以字母開頭。

  • 總長度不能超過64個字元。

• PROPERTIES：Paimon Catalog的屬性，必選參數。

  說明

  StarRocks的Paimon Catalog與原生Paimon API裡的Catalog是一一映射關係，配置項和配置含義都相同。

  屬性	是否必選	說明
  type	是	資料來源類型，取值為paimon。
  paimon.catalog.type	是	Paimon使用的中繼資料類型，取值為： hive: 使用Hive MetaStore儲存的中繼資料。 filesystem：使用filesystem儲存的中繼資料。 dlf：使用DLF儲存的中繼資料。
  paimon.catalog.warehouse	是	warehouse所在路徑，支援HDFS和OSS。
  hive.metastore.uris	否	Hive MetaStore的URI。當paimon.catalog.type設定為hive時，需要填寫該參數，格式為thrift://<Hive MetaStore的IP地址>:<連接埠號碼>，連接埠號碼預設為9083。
  aliyun.oss.endpoint	否	若使用OSS作為warehouse，需填寫相應的endpoint。
  dlf.catalog.id	否	DLF資料目錄ID。僅當paimon.catalog.type配置為dlf時需要填寫該參數。如果未配置 dlf.catalog.id 參數的值，則系統將使用預設DLF Catalog。

樣本

以下樣本建立了一個名為paimon_catalog的Paimon Catalog，其中繼資料類型paimon.catalog.type為dlf，用於查詢Paimon叢集裡的資料。

CREATE EXTERNAL CATALOG paimon_catalog
PROPERTIES
(
    "type" = "paimon",
    "paimon.catalog.type" = "dlf",
    "paimon.catalog.warehouse" = "oss://<yourBucketName>/<yourPath>/",
);

查看Paimon表資料

您可以通過SELECT查詢目標資料庫中的目標表。

SELECT * FROM <catalog_name>.<database_name>.<table_name>;

相關文檔

Paimon更多介紹，請參見Paimon概述。