E-MapReduce:Kudu connector

Emulasi skema dinonaktifkan (default)

Dengan emulasi skema dinonaktifkan, semua tabel Kudu muncul di skema default.

Lakukan kueri terhadap tabel orders menggunakan nama lengkapnya:

SELECT * FROM kudu.default.orders;

Jika Anda menetapkan kudu sebagai katalog dan default sebagai skema, kueri menjadi lebih sederhana:

SELECT * FROM orders;

Jika nama tabel berisi karakter khusus, bungkus dengan tanda kutip ganda:

SELECT * FROM kudu.default."special.table!";

Contoh cepat: buat dan kueri tabel

1. Buat tabel bernama users di skema default:

   CREATE TABLE kudu.default.users (
     user_id int WITH (primary_key = true),
     first_name varchar,
     last_name varchar
   ) WITH (
     partition_by_hash_columns = ARRAY['user_id'],
     partition_by_hash_buckets = 2
   );

   Saat membuat tabel, tentukan kunci primer, format encoding atau kompresi kolom, serta informasi partisi (hash atau range).

2. Periksa skema tabel:

   DESCRIBE kudu.default.users;

   Output yang diharapkan:

      Column   |  Type   |                      Extra                      | Comment
   ------------+---------+-------------------------------------------------+---------
    user_id    | integer | primary_key, encoding=auto, compression=default |
    first_name | varchar | nullable, encoding=auto, compression=default    |
    last_name  | varchar | nullable, encoding=auto, compression=default    |
   (3 rows)

3. Sisipkan baris:

   INSERT INTO kudu.default.users VALUES (1, 'Donald', 'Duck'), (2, 'Mickey', 'Mouse');

4. Kueri data:

   SELECT * FROM kudu.default.users;

Emulasi skema diaktifkan

Aktifkan emulasi skema dengan menyetel kudu.schema-emulation.enabled=true di etc/catalog/kudu.properties. Tabel Kudu kemudian dipetakan ke skema Trino berdasarkan nama mereka.

Pemetaan dengan awalan kosong (kudu.schema-emulation.prefix=)

Kudu tidak mendukung skema. Trino membuat tabel khusus bernama $schemas untuk mengelolanya.

Pemetaan dengan awalan standar (kudu.schema-emulation.prefix=presto::)

Dengan awalan standar, Trino membuat tabel khusus bernama presto::$schemas untuk mengelola skema.

Trino ke Kudu

Saat menulis data dari Trino ke Kudu, pemetaan tipe berikut berlaku:

Tipe Trino berikut tidak didukung: TIME, JSON, TIME WITH TIMEZONE, TIMESTAMP WITH TIME ZONE, INTERVAL YEAR TO MONTH, INTERVAL DAY TO SECOND, ARRAY, MAP, IPADDRESS.

Properti kolom

Tentukan properti kolom dalam klausa WITH:

Contoh dengan encoding dan kompresi eksplisit:

CREATE TABLE mytable (
  name varchar WITH (primary_key = true, encoding = 'dictionary', compression = 'snappy'),
  index bigint WITH (nullable = true, encoding = 'runlength', compression = 'lz4'),
  comment varchar WITH (nullable = true, encoding = 'plain', compression = 'default'),
  ...
) WITH (...);

Desain partisi

Kudu mendukung partisi hash dan partisi range. Tabel harus memiliki setidaknya satu partisi dari salah satu jenis tersebut.

Tentukan partisi hash

Tentukan partition_by_hash_columns (kolom kunci partisi) dan partition_by_hash_buckets (jumlah bucket). Kolom kunci partisi harus merupakan subset dari kolom kunci primer.

Satu grup partisi hash:

CREATE TABLE mytable (
  col1 varchar WITH (primary_key=true),
  col2 varchar WITH (primary_key=true),
  ...
) WITH (
  partition_by_hash_columns = ARRAY['col1', 'col2'],
  partition_by_hash_buckets = 4
);

col1 dan col2 adalah kolom kunci partisi hash. Baris didistribusikan ke 4 bucket.

Dua grup partisi hash independen:

CREATE TABLE mytable (
  col1 varchar WITH (primary_key=true),
  col2 varchar WITH (primary_key=true),
  ...
) WITH (
  partition_by_hash_columns = ARRAY['col1'],
  partition_by_hash_buckets = 2,
  partition_by_second_hash_columns = ARRAY['col2'],
  partition_by_second_hash_buckets = 3
);

Grup pertama mendistribusikan baris berdasarkan col1 ke 2 bucket; grup kedua mendistribusikan berdasarkan col2 ke 3 bucket. Total jumlah partisi adalah 6 (2 x 3).

Tentukan partisi range

Gunakan partition_by_range_columns untuk menentukan kolom partisi range dan range_partitions untuk menentukan batas partisi awal.

CREATE TABLE events (
  rack varchar WITH (primary_key=true),
  machine varchar WITH (primary_key=true),
  event_time timestamp WITH (primary_key=true),
  ...
) WITH (
  partition_by_hash_columns = ARRAY['rack'],
  partition_by_hash_buckets = 2,
  partition_by_second_hash_columns = ARRAY['machine'],
  partition_by_second_hash_buckets = 3,
  partition_by_range_columns = ARRAY['event_time'],
  range_partitions = '[{"lower": null, "upper": "2018-01-01T00:00:00"},
                       {"lower": "2018-01-01T00:00:00", "upper": null}]'
);

Tabel ini memiliki dua grup partisi hash dan satu partisi range pada event_time, dibagi pada 2018-01-01T00:00:00.

Manajemen partisi range

Tambahkan atau hapus partisi range pada tabel yang sudah ada menggunakan prosedur tersimpan:

-- Tambahkan partisi range
CALL kudu.system.add_range_partition(<schema_name>, <table_name>, <range_partition_as_json_string>)

-- Hapus partisi range
CALL kudu.system.drop_range_partition(<schema_name>, <table_name>, <range_partition_as_json_string>)

Parameter:

Format nilai JSON berdasarkan tipe data:

Contoh: Tambahkan partisi range ke tabel events di skema myschema, mencakup catatan dari 2018-01-01 hingga 2018-06-01:

CALL kudu.system.add_range_partition('myschema', 'events', '{"lower": "2018-01-01", "upper": "2018-06-01"}')

Batas bawah "2018-01-01" diinterpretasikan sebagai 2018-01-01T00:00:00.000.

Untuk melihat semua partisi range yang ada pada tabel, jalankan SHOW CREATE TABLE. Properti range_partitions dalam output mencantumkan batas partisi saat ini.