E-MapReduce:Iceberg カタログ

注意事項​

StarRocks から Iceberg データをクエリする場合は、次の点にご注意ください。

構文​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "iceberg",
    MetastoreParams
)

パラメーター

パラメーターは、Iceberg が使用するメタデータサービスによって異なります。

例

次の例では、iceberg_catalog_hms という名前の Iceberg カタログを作成します。

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "hive",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

CREATE EXTERNAL CATALOG iceberg_catalog
properties
( 
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf_rest",
    "uri" = "http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg",
    "warehouse" = "iceberg_test",
    "rest.signing-region" = "cn-hangzhou"
);

構文

対象の Iceberg カタログに切り替えてから、次の文を実行して Iceberg データベースを作成します。

CREATE DATABASE <database_name>
[PROPERTIES ("location" = "<prefix>://<path_to_database>/<database_name.db>/")]

パラメーター

location パラメーターは、データベースのファイルパスを指定します。HDFS と Alibaba Cloud OSS をサポートしています：

• ストレージシステムとして HDFS を使用する場合、Prefix を hdfs に設定します。

• ストレージシステムとして Alibaba Cloud OSS を使用する場合、Prefix を oss に設定します。

構文​

CREATE TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...
partition_column_definition1,partition_column_definition2...])
[partition_desc]
[PROPERTIES ("key" = "value", ...)]
[AS SELECT query]

パラメーター

• column_definition

  column_definition の構文は次のとおりです。

  col_name col_type [COMMENT 'comment']

  パラメーターは次の表で説明されています。

  パラメーター	説明
  col_name	列の名前。
  col_type	列のデータの型。 現在サポートされているデータの型は、TINYINT、SMALLINT、INT、BIGINT、FLOAT、DOUBLE、DECIMAL、DATE、DATETIME、CHAR、VARCHAR[(length)]、ARRAY、MAP、および STRUCT です。 LARGEINT、HLL、および BITMAP 型はサポートされていません。

  説明

  すべての非パーティションキー列のデフォルト値は NULL です。パーティションキー列は列リストの最後に宣言する必要があり、NULL にすることはできません。

• partition_desc

  partition_desc の構文は次のとおりです。

  PARTITION BY (par_col1[, par_col2...])

  現在、StarRocks は ID 変換のみをサポートしています。これは、一意のパーティション値ごとにパーティションが作成されることを意味します。

  説明

  パーティションキー列は列リストの最後に宣言する必要があります。FLOAT、DOUBLE、DECIMAL、または DATETIME 以外のデータの型をサポートしています。NULL 値はサポートされていません。

• PROPERTIES

  PROPERTIES 句で、"key"="value" 形式で Iceberg テーブルのプロパティを宣言できます。詳細については、Iceberg テーブルのプロパティをご参照ください。次の表に、いくつかの一般的なプロパティを示します。

  プロパティ	説明
  location	Iceberg テーブルのファイルパス。メタデータサービスとして HMS を使用する場合、location パラメーターを指定する必要はありません。
  file_format	Iceberg テーブルのファイル形式。現在、Parquet 形式のみがサポートされています。デフォルト：parquet。
  compression_codec	Iceberg テーブルの圧縮形式。サポートされている形式は SNAPPY、GZIP、ZSTD、および LZ4 です。デフォルト値：gzip。このプロパティはバージョン 3.2.3 以降非推奨になりました。このバージョン以降、Iceberg テーブルへの書き込みの圧縮アルゴリズムは、connector_sink_compression_codec セッション変数によって一元的に制御されます。

例

• id と score 列を含む非パーティションテーブル unpartition_tbl を作成します。

  CREATE TABLE unpartition_tbl
  (
      id int,
      score double
  );

• action、id、および dt 列を含むパーティションテーブル partition_tbl_1 を作成し、id と dt をパーティションキー列として定義します。

  CREATE TABLE partition_tbl_1
  (
      action varchar(20),
      id int NOT NULL,
      dt date NOT NULL
  )
  PARTITION BY (id,dt);

• ソーステーブル partition_tbl_1 からデータをクエリし、クエリ結果に基づいてパーティションテーブル partition_tbl_2 を作成します。id と dt を partition_tbl_2 のパーティションキー列として定義します。

  CREATE TABLE partition_tbl_2
  PARTITION BY (id, dt)
  AS SELECT * from partition_tbl_1;

構文

INSERT {INTO | OVERWRITE} <table_name>
[ (column_name [, ...]) ]
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

-- 指定されたパーティションにデータを書き込みます。
INSERT {INTO | OVERWRITE} <table_name>
PARTITION (par_col1=<value> [, par_col2=<value>...])
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

パラメーター

例

以下の書き込み文は、デフォルトの Parquet 形式を例として使用しています。

• partition_tbl_1 テーブルに次の 3 行のデータを挿入します。

  INSERT INTO partition_tbl_1
  VALUES
      ("buy", 1, "2023-09-01"),
      ("sell", 2, "2023-09-02"),
      ("buy", 3, "2023-09-03");

• 単純な計算を含む SELECT クエリの結果データを、指定された列の順序で partition_tbl_1 テーブルに挿入します。

  INSERT INTO partition_tbl_1 (id, action, dt) SELECT 1+1, 'buy', '2023-09-03';

• partition_tbl_1 テーブル自体からデータを読み取る SELECT クエリの結果データを挿入します。

  INSERT INTO partition_tbl_1 SELECT 'buy', 1, date_add(dt, INTERVAL 2 DAY) FROM partition_tbl_1
  WHERE id=1;

• SELECT クエリの結果データを、partition_tbl_2 テーブルの dt='2023-09-01' かつ id=1 のパーティションに挿入します。

  • 方法 1

    INSERT INTO partition_tbl_2 SELECT 'order', 1, '2023-09-01';

  • 方法 2

    INSERT INTO partition_tbl_2 partition(dt='2023-09-01',id=1) SELECT 'order';

• partition_tbl_1 テーブルの dt='2023-09-01' かつ id=1 のパーティションで、action 列のすべての値を close で上書きします：

  • 方法 1

    INSERT OVERWRITE partition_tbl_1 SELECT 'close', 1, '2023-09-01';

  • 方法 2

    INSERT OVERWRITE partition_tbl_1 partition(dt='2023-09-01',id=1) SELECT 'close';