E-MapReduce:Kudu connector

Di Konsol E-MapReduce (EMR), buka halaman Configure layanan Trino. Di area Service Configuration, klik tab kudu.properties.

Contoh:

1. Buat tabel users dalam skema default.

   CREATE TABLE kudu.default.users (
     user_id int WITH (primary_key = true),
     first_name varchar,
     last_name varchar
   ) WITH (
     partition_by_hash_columns = ARRAY['user_id'],
     partition_by_hash_buckets = 2
   );

   Catatan

   Saat membuat tabel, Anda harus menentukan informasi yang diperlukan, seperti kunci primer, format encoding dan kompresi kolom, serta partisi hash atau range.

2. Lihat informasi tabel.

   DESCRIBE kudu.default.users;

   Perintah tersebut menghasilkan output yang mirip dengan berikut:

      Column   |  Type   |                      Extra                      | Comment
   ------------+---------+-------------------------------------------------+---------
    user_id    | integer | primary_key, encoding=auto, compression=default |
    first_name | varchar | nullable, encoding=auto, compression=default    |
    last_name  | varchar | nullable, encoding=auto, compression=default    |
   (3 rows)

3. Sisipkan data.

   INSERT INTO kudu.default.users VALUES (1, 'Donald', 'Duck'), (2, 'Mickey', 'Mouse');

4. Lakukan kueri data.

   SELECT * FROM kudu.default.users;

Jika Anda mengaktifkan emulasi skema dalam file konfigurasi connector (etc/catalog/kudu.properties), tabel dipetakan ke skema berdasarkan konvensi penamaan.

• Jika Anda mengatur kudu.schema-emulation.enabled=true dan kudu.schema-emulation.prefix=, tabel dipetakan sebagai berikut:

  Kudu table name	Nama tabel Presto
  orders	kudu.default.orders
  part1.part2	kudu.part1.part2
  x.y.z	kudu.x."y.z"

  Catatan

  Karena Kudu tidak mendukung skema secara native, Presto membuat tabel khusus bernama $schemas untuk mengelolanya.

• Jika Anda mengatur kudu.schema-emulation.enabled=true dan kudu.schema-emulation.prefix=presto::, tabel dipetakan sebagai berikut:

  Nama tabel Kudu	Nama tabel Presto
  orders	kudu.default.orders
  part1.part2	kudu.default."part1.part2"
  x.y.z	kudu.default."x.y.z"
  presto::part1.part2	kudu.part1.part2
  presto::x.y.z	kudu.x."y.z"

  Catatan

  Karena Kudu tidak mendukung skema secara native, Presto membuat tabel khusus bernama presto::$schemas untuk mengelolanya.

Tabel berikut mencantumkan pemetaan tipe data antara Presto dan Kudu.

Untuk membuat tabel, tentukan kolom, tipe data, dan informasi partisi. Anda juga dapat menentukan detail lainnya, seperti format encoding atau format kompresi kolom. Berikut contohnya.

CREATE TABLE user_events (
  user_id int WITH (primary_key = true),
  event_name varchar WITH (primary_key = true),
  message varchar,
  details varchar WITH (nullable = true, encoding = 'plain')
) WITH (
  partition_by_hash_columns = ARRAY['user_id'],
  partition_by_hash_buckets = 5,
  number_of_replicas = 3
);

Saat membuat tabel, perhatikan hal-hal berikut:

• Kolom kunci primer harus dicantumkan terlebih dahulu. Kolom kunci partisi harus merupakan subset dari kolom kunci primer.

• number_of_replicas: Jumlah replika tablet, yang harus berupa angka ganjil. Jika tidak ditentukan, nilai default dari konfigurasi Kudu Master yang digunakan.

• Kudu mendukung partisi hash dan range. Partisi hash mendistribusikan baris ke dalam bucket berdasarkan nilai hash. Partisi range mendistribusikan baris berdasarkan rentang kunci partisi yang terurut, dan rentang spesifiknya harus dibuat secara eksplisit. Kudu mendukung partisi multi-level. Sebuah tabel harus memiliki setidaknya satu partisi hash atau range. Tabel dapat memiliki beberapa partisi hash tetapi paling banyak satu partisi range.

Anda dapat menentukan properti kolom berikut selain nama dan tipe data kolom.

Berikut contohnya:

CREATE TABLE mytable (
  name varchar WITH (primary_key = true, encoding = 'dictionary', compression = 'snappy'),
  index bigint WITH (nullable = true, encoding = 'runlength', compression = 'lz4'),
  comment varchar WITH (nullable = true, encoding = 'plain', compression = 'default'),
   ...
) WITH (...);

Bagian ini menjelaskan cara menentukan partisi hash dan range.

• Partisi hash

  • Menentukan satu grup partisi

    Gunakan properti tabel partition_by_hash_columns dan partition_by_hash_buckets untuk menentukan kolom kunci partisi dan jumlah partisi, masing-masing. Semua kolom kunci partisi harus merupakan subset dari kolom kunci primer. Berikut contohnya:

    CREATE TABLE mytable (
      col1 varchar WITH (primary_key=true),
      col2 varchar WITH (primary_key=true),
      ...
    ) WITH (
      partition_by_hash_columns = ARRAY['col1', 'col2'],
      partition_by_hash_buckets = 4
    )

    Catatan

    Contoh ini menentukan partisi hash pada kolom col1 dan col2 serta mendistribusikan data ke dalam empat partisi.

  • Menentukan dua grup partisi

    Untuk menentukan dua grup partisi hash independen, Anda juga harus menentukan properti tabel partition_by_second_hash_columns dan partition_by_second_hash_buckets. Berikut contohnya:

    CREATE TABLE mytable (
      col1 varchar WITH (primary_key=true),
      col2 varchar WITH (primary_key=true),
      ...
    ) WITH (
      partition_by_hash_columns = ARRAY['col1'],
      partition_by_hash_buckets = 2,
      partition_by_second_hash_columns = ARRAY['col2'],
      partition_by_second_hash_buckets = 3
    )

    Catatan

    Contoh ini menentukan dua grup partisi hash. Grup pertama mendistribusikan baris ke dalam dua partisi berdasarkan kolom col1. Grup kedua mendistribusikan baris ke dalam tiga partisi berdasarkan kolom col2. Tabel memiliki total enam partisi (2 × 3).

• Partisi range

  Tabel Kudu dapat memiliki paling banyak satu partisi range, yang dapat Anda definisikan menggunakan properti tabel partition_by_range_columns. Saat membuat tabel, Anda dapat menentukan rentang partisi menggunakan properti tabel range_partitions. Untuk mengelola partisi range pada tabel yang sudah ada, gunakan prosedur tersimpan kudu.system.add_range_partition dan kudu.system.drop_range_partition. Berikut contohnya:

  CREATE TABLE events (
    rack varchar WITH (primary_key=true),
    machine varchar WITH (primary_key=true),
    event_time timestamp WITH (primary_key=true),
    ...
  ) WITH (
    partition_by_hash_columns = ARRAY['rack'],
    partition_by_hash_buckets = 2,
    partition_by_second_hash_columns = ARRAY['machine'],
    partition_by_second_hash_buckets = 3,
    partition_by_range_columns = ARRAY['event_time'],
    range_partitions = '[{"lower": null, "upper": "2018-01-01T00:00:00"},
                         {"lower": "2018-01-01T00:00:00", "upper": null}]'
  )

  Catatan

  Contoh ini menentukan tabel dengan dua grup partisi hash dan satu partisi range pada kolom event_time. Rentang tersebut dibagi pada timestamp 2018-01-01T00:00:00.

• Kelola partisi range

  Contoh berikut menunjukkan operasi partisi:

  • Tambah partisi range

    CALL kudu.system.add_range_partition(<YOUR_SCHEMA_NAME>, <YOUR_TABLE_NAME>, <range_partition_as_json_string>)

  • Hapus partisi range

    CALL kudu.system.drop_range_partition(<YOUR_SCHEMA_NAME>, <YOUR_TABLE_NAME>, <range_partition_as_json_string>)

  Parameter	Deskripsi
  <YOUR_SCHEMA_NAME>	Skema tempat tabel berada.
  <YOUR_TABLE_NAME>	Nama tabel.
  <range_partition_as_json_string>	Batas atas dan bawah partisi range, ditentukan sebagai string JSON. Gunakan format '{"lower": <value>, "upper": <value>}'. Jika partisi memiliki beberapa kolom, gunakan format '{"lower": [<value_col1>,...], "upper": [<value_col1>,...]}'. Format nilai bergantung pada tipe data kolom. Daftar berikut memetakan tipe data ke format string JSON yang diperlukan: BIGINT: '{"lower": 0, "upper": 1000000}' SMALLINT: '{"lower": 10, "upper": null}' VARCHAR: '{"lower": "A", "upper": "M"}' TIMESTAMP: '{"lower": "2018-02-01T00:00:00.000", "upper": "2018-02-01T12:00:00.000"}' BOOLEAN: '{"lower": false, "upper": true}' VARBINARY: String yang di-encode Base64. Catatan Nilai null menunjukkan batas yang tidak terbatas.

  Berikut contohnya:

  CALL kudu.system.add_range_partition('myschema', 'events', '{"lower": "2018-01-01", "upper": "2018-06-01"}')

  Catatan

  Contoh ini menambahkan partisi range ke tabel events dalam skema myschema. Batas bawah partisi adalah 2018-01-01, yang sesuai dengan timestamp 2018-01-01T00:00:00.000. Batas atas adalah 2018-06-01.

  Gunakan pernyataan SHOW CREATE TABLE untuk melihat partisi range yang sudah ada. Informasi ini muncul dalam properti tabel range_partitions.

Gunakan pernyataan ALTER TABLE ... ADD COLUMN ... untuk menambahkan kolom ke tabel yang sudah ada. Anda juga dapat menentukan properti kolom untuk kolom baru tersebut. Untuk detail tentang properti kolom, lihat Buat tabel.

ALTER TABLE mytable ADD COLUMN extraInfo varchar WITH (nullable = true, encoding = 'plain')