E-MapReduce：Konektor Kudu

Masuk ke konsol E-MapReduce (EMR) dan buka tab Configure halaman layanan Trino. Pada tab Configure, klik kudu.properties. Ubah atau tambahkan item konfigurasi sesuai kebutuhan bisnis Anda.

Contoh:

1. Buat tabel bernama users di skema default.

   CREATE TABLE kudu.default.users (
     user_id int WITH (primary_key = true),
     first_name varchar,
     last_name varchar
   ) WITH (
     partition_by_hash_columns = ARRAY['user_id'],
     partition_by_hash_buckets = 2
   );

   null

   Saat membuat tabel, tentukan informasi seperti kunci utama, format penyandian atau kompresi kolom, serta partisi hash atau rentang.

2. Lihat informasi tentang tabel.

   DESCRIBE kudu.default.users;

   Keluaran serupa dengan berikut dikembalikan:

      Column   |  Type   |                      Extra                      | Comment
   ------------+---------+-------------------------------------------------+---------
    user_id    | integer | primary_key, encoding=auto, compression=default |
    first_name | varchar | nullable, encoding=auto, compression=default    |
    last_name  | varchar | nullable, encoding=auto, compression=default    |
   (3 rows)

3. Sisipkan data ke dalam tabel.

   INSERT INTO kudu.default.users VALUES (1, 'Donald', 'Duck'), (2, 'Mickey', 'Mouse');

4. Tanyakan data dari tabel.

   SELECT * FROM kudu.default.users;

Jika Anda mengaktifkan fitur emulasi skema dalam file konfigurasi kudu.properties untuk konektor Kudu di direktori etc/catalog/, tabel Kudu dipetakan ke skema berdasarkan konvensi penamaan.

• Jika Anda mengonfigurasi kudu.schema-emulation.enabled=true dan kudu.schema-emulation.prefix=, pemetaan berikut berlaku.

  Nama tabel Kudu	Nama tabel Presto
  orders	kudu.default.orders
  part1.part2	kudu.part1.part2
  x.y.z	kudu.x."y.z"

  null

  Kudu tidak mendukung skema. Presto membuat tabel khusus bernama $schemas untuk mengelola skema.

• Jika Anda mengonfigurasi kudu.schema-emulation.enabled=true dan kudu.schema-emulation.prefix=presto::, pemetaan berikut berlaku.

  Nama tabel Kudu	Nama tabel Presto
  orders	kudu.default.orders
  part1.part2	kudu.default."part1.part2"
  x.y.z	kudu.default."x.y.z"
  presto::part1.part2	kudu.part1.part2
  presto::x.y.z	kudu.x."y.z"

  null

  Kudu tidak mendukung skema. Presto membuat tabel khusus bernama presto::$schemas untuk mengelola skema.

Tabel berikut menjelaskan pemetaan antara tipe data Presto dan tipe data Kudu.

Saat membuat tabel, tentukan kolom, tipe data, dan informasi partisi. Anda juga dapat menentukan format penyandian kolom atau format kompresi sesuai kebutuhan bisnis Anda. Contoh:

CREATE TABLE user_events (
  user_id int WITH (primary_key = true),
  event_name varchar WITH (primary_key = true),
  message varchar,
  details varchar WITH (nullable = true, encoding = 'plain')
) WITH (
  partition_by_hash_columns = ARRAY['user_id'],
  partition_by_hash_buckets = 5,
  number_of_replicas = 3
);

Perhatikan hal berikut saat mengonfigurasi parameter untuk pernyataan CREATE TABLE:

• Kolom kunci utama harus ditentukan sebelum kolom lainnya, dan hanya kolom kunci utama yang dapat dikonfigurasikan sebagai kolom kunci partisi.

• Parameter number_of_replicas bersifat opsional. Parameter ini menentukan jumlah replika tablet dan harus disetel ke angka ganjil. Jika tidak dikonfigurasi, faktor replikasi default dari konfigurasi master Kudu digunakan.

• Kudu mendukung partisi hash dan partisi rentang. Partisi hash mendistribusikan baris berdasarkan nilai hash ke salah satu dari banyak bucket. Partisi rentang mendistribusikan baris menggunakan kunci partisi rentang yang terurut. Partisi rentang harus dibuat secara eksplisit. Kudu mendukung partisi multi-level. Sebuah tabel harus berisi setidaknya satu partisi hash atau rentang. Sebuah tabel dapat berisi hanya satu partisi rentang tetapi beberapa partisi hash.

Selain nama kolom dan tipe data, Anda juga dapat menentukan properti kolom lainnya.

Contoh:

CREATE TABLE mytable (
  name varchar WITH (primary_key = true, encoding = 'dictionary', compression = 'snappy'),
  index bigint WITH (nullable = true, encoding = 'runlength', compression = 'lz4'),
  comment varchar WITH (nullable = true, encoding = 'plain', compression = 'default'),
   ...
) WITH (...);

Sebuah tabel dapat berisi hanya satu partisi rentang atau setidaknya satu partisi hash.

• Definisikan Partisi Hash

  • Definisikan Satu Grup Partisi

    Gunakan properti tabel partition_by_hash_columns untuk menentukan kolom kunci partisi dan gunakan properti tabel partition_by_hash_buckets untuk menentukan jumlah partisi. Kolom kunci partisi harus merupakan subset dari kolom kunci utama. Contoh:

    CREATE TABLE mytable (
      col1 varchar WITH (primary_key=true),
      col2 varchar WITH (primary_key=true),
      ...
    ) WITH (
      partition_by_hash_columns = ARRAY['col1', 'col2'],
      partition_by_hash_buckets = 4
    )

    null

    Dalam contoh ini, kolom col1 dan col2 didefinisikan sebagai kolom kunci partisi hash, dan data didistribusikan ke empat partisi.

  • Definisikan Dua Grup Partisi

    Untuk mendefinisikan dua grup partisi hash independen, selain properti tabel yang ditentukan dalam contoh sebelumnya, tentukan properti tabel partition_by_second_hash_columns dan partition_by_second_hash_buckets. Contoh:

    CREATE TABLE mytable (
      col1 varchar WITH (primary_key=true),
      col2 varchar WITH (primary_key=true),
      ...
    ) WITH (
      partition_by_hash_columns = ARRAY['col1'],
      partition_by_hash_buckets = 2,
      partition_by_second_hash_columns = ARRAY['col2'],
      partition_by_second_hash_buckets = 3
    )

    null

    Dalam contoh ini, dua grup partisi hash didefinisikan. Di grup partisi hash pertama, baris didistribusikan ke dua partisi berdasarkan kolom col1. Di grup partisi hash kedua, baris didistribusikan ke tiga partisi berdasarkan kolom col2. Total partisi di tabel adalah 6 (2 × 3).

• Definisikan Partisi Rentang

  Sebuah tabel Kudu dapat berisi hanya satu partisi rentang, yang dapat didefinisikan menggunakan properti tabel partition_by_range_columns. Saat membuat tabel, gunakan properti tabel range_partitions untuk mendefinisikan rentang partisi. Gunakan properti tabel kudu.system.add_range_partition dan kudu.system.drop_range_partition untuk mengelola partisi rentang tabel yang ada. Contoh:

  CREATE TABLE events (
    rack varchar WITH (primary_key=true),
    machine varchar WITH (primary_key=true),
    event_time timestamp WITH (primary_key=true),
    ...
  ) WITH (
    partition_by_hash_columns = ARRAY['rack'],
    partition_by_hash_buckets = 2,
    partition_by_second_hash_columns = ARRAY['machine'],
    partition_by_second_hash_buckets = 3,
    partition_by_range_columns = ARRAY['event_time'],
    range_partitions = '[{"lower": null, "upper": "2018-01-01T00:00:00"},
                         {"lower": "2018-01-01T00:00:00", "upper": null}]'
  )

  null

  Dalam contoh ini, dua grup partisi hash dan satu partisi rentang didefinisikan. Tabel dipartisi rentang pada bidang event_time, dan data dibagi berdasarkan 2018-01-01T00:00:00.

• Kelola Partisi Rentang

  Gunakan prosedur tersimpan untuk menambahkan atau menghapus partisi rentang dari tabel yang ada.

  Contoh:

  • Tambahkan Partisi Rentang

    CALL kudu.system.add_range_partition(<YOUR_SCHEMA_NAME>, <YOUR_TABLE_NAME>, <range_partition_as_json_string>)

  • Hapus Partisi Rentang

    CALL kudu.system.drop_range_partition(<YOUR_SCHEMA_NAME>, <YOUR_TABLE_NAME>, <range_partition_as_json_string>)

  Parameter	Deskripsi
  <YOUR_SCHEMA_NAME>	Skema tempat tabel berada.
  <YOUR_TABLE_NAME>	Nama tabel.
  <range_partition_as_json_string>	Batas atas dan bawah partisi rentang. Anda harus mengonfigurasi parameter ini dalam format JSON '{"lower": <value>, "upper": <value>}'. Jika partisi memiliki beberapa kolom, Anda harus mengonfigurasi parameter ini dalam format '{"lower": [<value_col1>,...], "upper": [<value_col1>,...]}'. Format nilai spesifik batas atas dan bawah bergantung pada tipe data kolom. Pemetaan antara tipe data dan format string JSON: BIGINT: '{"lower": 0, "upper": 1000000}' SMALLINT: '{"lower": 10, "upper": null}' VARCHAR: '{"lower": "A", "upper": "M"}' TIMESTAMP: '{"lower": "2018-02-01T00:00:00.000", "upper": "2018-02-01T12:00:00.000"}' BOOLEAN: '{"lower": false, "upper": true}' VARBINARY: String yang di-enkode Base64 null Jika Anda menyetel parameter ini ke null, partisi tidak terbatas.

  Contoh:

  CALL kudu.system.add_range_partition('myschema', 'events', '{"lower": "2018-01-01", "upper": "2018-06-01"}')

  null

  Dalam contoh ini, partisi rentang ditambahkan ke tabel events di skema myschema. Batas bawah partisi adalah 2018-01-01, dengan nilai akurat 2018-01-01T00:00:00.000. Batas atas partisi adalah 2018-06-01.

  Eksekusi pernyataan SHOW CREATE TABLE untuk menanyakan partisi rentang yang ada dari tabel. Properti tabel range_partitions dalam hasil yang dikembalikan menunjukkan informasi partisi tabel.

Eksekusi pernyataan ALTER TABLE ... ADD COLUMN ... untuk menambahkan kolom ke tabel yang ada. Anda juga dapat menggunakan properti kolom untuk menambahkan kolom. Untuk informasi lebih lanjut tentang properti kolom, lihat Buat tabel.

ALTER TABLE mytable ADD COLUMN extraInfo varchar WITH (nullable = true, encoding = 'plain')