E-MapReduce:Iceberg Catalog

Catatan penggunaan​

Saat menjalankan kueri terhadap data Iceberg dari StarRocks, perhatikan hal-hal berikut.

Sintaksis​

CREATE EXTERNAL CATALOG <catalog_name>
[COMMENT <comment>]
PROPERTIES
(
    "type" = "iceberg",
    MetastoreParams
)

Parameter

Parameter bervariasi tergantung pada layanan metadata yang digunakan oleh Iceberg.

Contoh

Contoh berikut membuat Iceberg catalog bernama iceberg_catalog_hms.

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "hive",
    "hive.metastore.uris" = "thrift://xx.xx.xx.xx:9083"
);

CREATE EXTERNAL CATALOG iceberg_catalog_hms
PROPERTIES
(
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf",
    "dlf.catalog.id" = "sr_dlf"
);

CREATE EXTERNAL CATALOG iceberg_catalog
properties
( 
    "type" = "iceberg",
    "iceberg.catalog.type" = "dlf_rest",
    "uri" = "http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg",
    "warehouse" = "iceberg_test",
    "rest.signing-region" = "cn-hangzhou"
);

Sintaks

Beralihlah ke Iceberg catalog target, lalu jalankan pernyataan berikut untuk membuat database Iceberg.

CREATE DATABASE <database_name>
[PROPERTIES ("location" = "<prefix>://<path_to_database>/<database_name.db>/")]

Parameter

Parameter location menentukan path file database. Parameter ini mendukung HDFS dan Alibaba Cloud OSS:

• Jika Anda menggunakan HDFS sebagai sistem penyimpanan, atur Prefix ke hdfs.

• Jika Anda menggunakan Alibaba Cloud OSS sebagai sistem penyimpanan, atur Prefix ke oss.

Sintaksis​

CREATE TABLE [IF NOT EXISTS] [database.]table_name
(column_definition1[, column_definition2, ...
partition_column_definition1,partition_column_definition2...])
[partition_desc]
[PROPERTIES ("key" = "value", ...)]
[AS SELECT query]

Parameter

• column_definition

  Sintaks untuk column_definition adalah sebagai berikut.

  col_name col_type [COMMENT 'comment']

  Parameter dijelaskan dalam tabel berikut.

  Parameter	Deskripsi
  col_name	Nama kolom.
  col_type	Tipe data kolom. Tipe data berikut saat ini didukung: TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, DATE, DATETIME, CHAR, VARCHAR[(length)], ARRAY, MAP, dan STRUCT. Tipe LARGEINT, HLL, dan BITMAP tidak didukung.

  Catatan

  Nilai default untuk semua kolom non-kunci partisi adalah NULL. Kolom kunci partisi harus dideklarasikan di akhir daftar kolom dan tidak boleh bernilai NULL.

• partition_desc

  Sintaks untuk partition_desc adalah sebagai berikut.

  PARTITION BY (par_col1[, par_col2...])

  Saat ini, StarRocks hanya mendukung identity transforms. Artinya, satu partisi dibuat untuk setiap nilai partisi unik.

  Catatan

  Kolom kunci partisi harus dideklarasikan di akhir daftar kolom. Kolom ini mendukung tipe data selain FLOAT, DOUBLE, DECIMAL, atau DATETIME. Nilai NULL tidak didukung.

• PROPERTIES

  Anda dapat mendeklarasikan properti tabel Iceberg dalam klausa PROPERTIES dengan format "key"="value". Untuk informasi lebih lanjut, lihat properti tabel Iceberg. Tabel berikut mencantumkan beberapa properti umum.

  Properti	Deskripsi
  location	Path file tabel Iceberg. Saat Anda menggunakan HMS sebagai layanan metadata, Anda tidak perlu menentukan parameter location.
  file_format	Format file tabel Iceberg. Saat ini, hanya format Parquet yang didukung. Default: parquet.
  compression_codec	Format kompresi untuk tabel Iceberg. Format yang didukung adalah SNAPPY, GZIP, ZSTD, dan LZ4. Nilai default: gzip. Properti ini telah ditinggalkan sejak versi 3.2.3. Setelah versi ini, algoritma kompresi untuk penulisan ke tabel Iceberg dikontrol secara seragam oleh variabel sesi connector_sink_compression_codec.

Contoh

• Buat tabel non-partisi unpartition_tbl yang berisi kolom id dan score.

  CREATE TABLE unpartition_tbl
  (
      id int,
      score double
  );

• Buat tabel partisi partition_tbl_1 yang berisi kolom action, id, dan dt, lalu definisikan id dan dt sebagai kolom kunci partisi.

  CREATE TABLE partition_tbl_1
  (
      action varchar(20),
      id int NOT NULL,
      dt date NOT NULL
  )
  PARTITION BY (id,dt);

• Jalankan kueri terhadap tabel sumber partition_tbl_1 dan buat tabel partisi partition_tbl_2 berdasarkan hasil kueri. Definisikan id dan dt sebagai kolom kunci partisi untuk partition_tbl_2.

  CREATE TABLE partition_tbl_2
  PARTITION BY (id, dt)
  AS SELECT * from partition_tbl_1;

Sintaks

INSERT {INTO | OVERWRITE} <table_name>
[ (column_name [, ...]) ]
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

-- Tulis data ke partisi tertentu.
INSERT {INTO | OVERWRITE} <table_name>
PARTITION (par_col1=<value> [, par_col2=<value>...])
{ VALUES ( { expression | DEFAULT } [, ...] ) [, ...] | query }

Parameter

Contoh

Pernyataan penulisan berikut menggunakan format Parquet default sebagai contoh.

• Masukkan tiga baris data berikut ke tabel partition_tbl_1.

  INSERT INTO partition_tbl_1
  VALUES
      ("buy", 1, "2023-09-01"),
      ("sell", 2, "2023-09-02"),
      ("buy", 3, "2023-09-03");

• Masukkan data hasil kueri SELECT yang mencakup perhitungan sederhana ke tabel partition_tbl_1 dalam urutan kolom yang ditentukan.

  INSERT INTO partition_tbl_1 (id, action, dt) SELECT 1+1, 'buy', '2023-09-03';

• Masukkan data hasil kueri SELECT yang membaca data dari tabel partition_tbl_1 itu sendiri.

  INSERT INTO partition_tbl_1 SELECT 'buy', 1, date_add(dt, INTERVAL 2 DAY) FROM partition_tbl_1
  WHERE id=1;

• Masukkan data hasil kueri SELECT ke partisi dengan dt='2023-09-01' dan id=1 di tabel partition_tbl_2.

  • Metode 1

    INSERT INTO partition_tbl_2 SELECT 'order', 1, '2023-09-01';

  • Metode 2

    INSERT INTO partition_tbl_2 partition(dt='2023-09-01',id=1) SELECT 'order';

• Timpa semua nilai di kolom action dengan close di partisi dengan dt='2023-09-01' dan id=1 di tabel partition_tbl_1:

  • Metode 1

    INSERT OVERWRITE partition_tbl_1 SELECT 'close', 1, '2023-09-01';

  • Metode 2

    INSERT OVERWRITE partition_tbl_1 partition(dt='2023-09-01',id=1) SELECT 'close';