E-MapReduce：Iceberg Catalog

使用說明​

StarRocks查詢Iceberg資料時，注意以下幾點。

文法​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "iceberg",
    MetastoreParams
)

參數說明

Iceberg使用的中繼資料服務不同，參數的配置也不同。

樣本

以下樣本建立了一個名為iceberg_catalog_hms的Iceberg Catalog。

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "hive",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

CREATE EXTERNAL CATALOG iceberg_catalog
properties
( 
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf_rest",
    "uri" = "http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg",
    "warehouse" = "iceberg_test",
    "rest.signing-region" = "cn-hangzhou"
);

文法

切換至目標Iceberg Catalog，然後通過以下語句建立Iceberg資料庫。

CREATE DATABASE <database_name>
[PROPERTIES ("location" = "<prefix>://<path_to_database>/<database_name.db>/")]

參數說明

location參數用於指定資料庫所在的檔案路徑，支援HDFS和阿里雲Object Storage Service：

• 選擇HDFS作為儲存系統時，Prefix取值是hdfs。

• 選擇阿里雲Object Storage Service作為儲存系統時，Prefix取值是oss。

文法​

CREATE TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...
partition_column_definition1,partition_column_definition2...])
[partition_desc]
[PROPERTIES ("key" = "value", ...)]
[AS SELECT query]

參數說明

• column_definition

  column_definition文法定義如下所示。

  col_name col_type [COMMENT 'comment']

  涉及參數說明如下表所示。

  參數	說明
  col_name	列名稱。
  col_type	列資料類型。 當前支援如下資料類型：TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、DATE、DATETIME、CHAR、VARCHAR[(length)]、ARRAY、MAP、STRUCT。 不支援LARGEINT、HLL、BITMAP類型。

  說明

  所有非分區列的預設值均為NULL。分區列必須在最後聲明，且不能為NULL。

• partition_desc

  partition_desc文法定義如下所示。

  PARTITION BY (par_col1[, par_col2...])

  目前StarRocks僅支援Identity Transforms。即會為每個唯一的分區值建立一個分區。

  說明

  分區列必須在最後聲明，支援除FLOAT、DOUBLE、DECIMAL、DATETIME以外的資料類型，並且不支援NULL值。

• PROPERTIES

  可以在PROPERTIES中通過"key"="value"的形式聲明Iceberg表的屬性。具體請參見Iceberg 表屬性，以下列出幾個常見的屬性。

  屬性	描述
  location	Iceberg表所在的檔案路徑。使用HMS作為中繼資料服務時，您無需指定location參數。
  file_format	Iceberg表的檔案格式。當前僅支援Parquet格式。預設值：parquet。
  compression_codec	Iceberg表的壓縮格式。當前支援SNAPPY、GZIP、ZSTD和LZ4。預設值：gzip。該屬性自3.2.3版本起棄用，此後寫入Iceberg表時的壓縮演算法統一由會話變數connector_sink_compression_codec控制。

樣本

• 建立非分區表unpartition_tbl，包含id和score兩列。

  CREATE TABLE unpartition_tbl
  (
      id int,
      score double
  );

• 建立分區表partition_tbl_1，包含action、id、dt三列，並定義id和dt為分區列。

  CREATE TABLE partition_tbl_1
  (
      action varchar(20),
      id int NOT NULL,
      dt date NOT NULL
  )
  PARTITION BY (id,dt);

• 查詢原表partition_tbl_1的資料，並根據查詢結果建立分區表partition_tbl_2，定義id和dt為partition_tbl_2的分區列。

  CREATE TABLE partition_tbl_2
  PARTITION BY (id, dt)
  AS SELECT * from partition_tbl_1;

文法

INSERT {INTO | OVERWRITE} <table_name>
[ (column_name [, ...]) ]
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

-- 向指定分區寫入資料。
INSERT {INTO | OVERWRITE} <table_name>
PARTITION (par_col1=<value> [, par_col2=<value>...])
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

參數說明

樣本

以下寫入語句以預設的Parquet格式為例。

• 向表partition_tbl_1中插入如下三行資料。

  INSERT INTO partition_tbl_1
  VALUES
      ("buy", 1, "2023-09-01"),
      ("sell", 2, "2023-09-02"),
      ("buy", 3, "2023-09-03");

• 向表partition_tbl_1按指定列順序插入一個包含簡單計算的SELECT查詢的結果資料。

  INSERT INTO partition_tbl_1 (id, action, dt) SELECT 1+1, 'buy', '2023-09-03';

• 向表partition_tbl_1中插入一個從其自身讀取資料的SELECT查詢的結果資料。

  INSERT INTO partition_tbl_1 SELECT 'buy', 1, date_add(dt, INTERVAL 2 DAY) FROM partition_tbl_1
  WHERE id=1;

• 向表partition_tbl_2中dt='2023-09-01'、id=1的分區插入一個SELECT查詢的結果資料。

  • 方式1

    INSERT INTO partition_tbl_2 SELECT 'order', 1, '2023-09-01';

  • 方式2

    INSERT INTO partition_tbl_2 partition(dt='2023-09-01',id=1) SELECT 'order';

• 將表partition_tbl_1中dt='2023-09-01'、id=1的分區下所有action列值全部覆蓋為close：

  • 方式1

    INSERT OVERWRITE partition_tbl_1 SELECT 'close', 1, '2023-09-01';

  • 方式2

    INSERT OVERWRITE partition_tbl_1 partition(dt='2023-09-01',id=1) SELECT 'close';