E-MapReduce:Kudu コネクタ

E-MapReduce (EMR) コンソールで、Trino サービスの Configure ページに移動します。Service Configuration エリアで、kudu.properties タブをクリックします。

例：

1. default スキーマに users テーブルを作成します。

   CREATE TABLE kudu.default.users (
     user_id int WITH (primary_key = true),
     first_name varchar,
     last_name varchar
   ) WITH (
     partition_by_hash_columns = ARRAY['user_id'],
     partition_by_hash_buckets = 2
   );

   説明

   テーブル作成時には、プライマリキー、列エンコードおよび圧縮形式、ハッシュまたはレンジパーティションなどの必須情報を指定する必要があります。

2. テーブル情報を表示します。

   DESCRIBE kudu.default.users;

   コマンドの出力例は次のとおりです。

      Column   |  Type   |                      Extra                      | Comment
   ------------+---------+-------------------------------------------------+---------
    user_id    | integer | primary_key, encoding=auto, compression=default |
    first_name | varchar | nullable, encoding=auto, compression=default    |
    last_name  | varchar | nullable, encoding=auto, compression=default    |
   (3 rows)

3. データを挿入します。

   INSERT INTO kudu.default.users VALUES (1, 'Donald', 'Duck'), (2, 'Mickey', 'Mouse');

4. データをクエリします。

   SELECT * FROM kudu.default.users;

コネクタの設定ファイル（etc/catalog/kudu.properties）でスキーマエミュレーションを有効にすると、命名規則に基づいてテーブルがスキーマにマッピングされます。

• kudu.schema-emulation.enabled=true かつ kudu.schema-emulation.prefix= を設定した場合、テーブルは次のようにマッピングされます。

  Kudu テーブル名	Presto テーブル名
  orders	kudu.default.orders
  part1.part2	kudu.part1.part2
  x.y.z	kudu.x."y.z"

  説明

  Kudu はネイティブでスキーマをサポートしていないため、Presto はスキーマを管理するために $schemas という特別なテーブルを作成します。

• kudu.schema-emulation.enabled=true かつ kudu.schema-emulation.prefix=presto:: を設定した場合、テーブルは次のようにマッピングされます。

  Kudu テーブル名	Presto テーブル名
  orders	kudu.default.orders
  part1.part2	kudu.default."part1.part2"
  x.y.z	kudu.default."x.y.z"
  presto::part1.part2	kudu.part1.part2
  presto::x.y.z	kudu.x."y.z"

  説明

  Kudu はネイティブでスキーマをサポートしていないため、Presto はスキーマを管理するために presto::$schemas という特別なテーブルを作成します。

以下の表は、Presto と Kudu 間のデータ型マッピングを示しています。

テーブルを作成するには、列、データ型、およびパーティション情報を指定します。また、列エンコード形式や圧縮形式などの詳細も指定できます。以下に例を示します。

CREATE TABLE user_events (
  user_id int WITH (primary_key = true),
  event_name varchar WITH (primary_key = true),
  message varchar,
  details varchar WITH (nullable = true, encoding = 'plain')
) WITH (
  partition_by_hash_columns = ARRAY['user_id'],
  partition_by_hash_buckets = 5,
  number_of_replicas = 3
);

テーブル作成時に注意すべき点は以下のとおりです。

• プライマリキー列は先頭に記述する必要があります。パーティションキー列はプライマリキー列のサブセットである必要があります。

• number_of_replicas：タブレットレプリカの数。奇数である必要があります。指定しない場合、Kudu Master の構成からデフォルト値が使用されます。

• Kudu はハッシュパーティションおよびレンジパーティションをサポートしています。ハッシュパーティションはハッシュ値に基づいて行をバケットに分散させます。レンジパーティションは順序付きのレンジパーティションキーに基づいて行を分散させ、その具体的な範囲は明示的に作成する必要があります。Kudu はマルチレベルパーティショニングをサポートしています。テーブルには少なくとも 1 つのハッシュパーティションまたはレンジパーティションが必要です。複数のハッシュパーティションを設定できますが、レンジパーティションは最大で 1 つまでです。

列名およびデータ型に加えて、以下の列プロパティを指定できます。

以下に例を示します。

CREATE TABLE mytable (
  name varchar WITH (primary_key = true, encoding = 'dictionary', compression = 'snappy'),
  index bigint WITH (nullable = true, encoding = 'runlength', compression = 'lz4'),
  comment varchar WITH (nullable = true, encoding = 'plain', compression = 'default'),
   ...
) WITH (...);

このセクションでは、ハッシュパーティションおよびレンジパーティションの定義方法について説明します。

• ハッシュパーティション

  • 1 つのパーティショングループの定義

    partition_by_hash_columns および partition_by_hash_buckets テーブルプロパティを使用して、パーティションキー列およびパーティション数をそれぞれ指定します。すべてのパーティションキー列はプライマリキー列のサブセットである必要があります。以下に例を示します。

    CREATE TABLE mytable (
      col1 varchar WITH (primary_key=true),
      col2 varchar WITH (primary_key=true),
      ...
    ) WITH (
      partition_by_hash_columns = ARRAY['col1', 'col2'],
      partition_by_hash_buckets = 4
    )

    説明

    この例では、col1 列および col2 列に対してハッシュパーティションを定義し、データを 4 つのパーティションに分散させています。

  • 2 つのパーティショングループの定義

    2 つの独立したハッシュパーティショングループを定義するには、partition_by_second_hash_columns および partition_by_second_hash_buckets テーブルプロパティも指定する必要があります。以下に例を示します。

    CREATE TABLE mytable (
      col1 varchar WITH (primary_key=true),
      col2 varchar WITH (primary_key=true),
      ...
    ) WITH (
      partition_by_hash_columns = ARRAY['col1'],
      partition_by_hash_buckets = 2,
      partition_by_second_hash_columns = ARRAY['col2'],
      partition_by_second_hash_buckets = 3
    )

    説明

    この例では、2 つのハッシュパーティショングループを定義しています。最初のグループは col1 列に基づいて行を 2 つのパーティションに分散させます。2 番目のグループは col2 列に基づいて行を 3 つのパーティションに分散させます。テーブルのパーティション総数は 6（2 × 3）になります。

• レンジパーティション

  Kudu テーブルには最大で 1 つのレンジパーティションを設定でき、partition_by_range_columns テーブルプロパティを使用して定義します。テーブル作成時に range_partitions テーブルプロパティを使用してパーティション範囲を定義できます。既存のテーブルに対するレンジパーティションの管理には、kudu.system.add_range_partition および kudu.system.drop_range_partition ストアドプロシージャを使用します。以下に例を示します。

  CREATE TABLE events (
    rack varchar WITH (primary_key=true),
    machine varchar WITH (primary_key=true),
    event_time timestamp WITH (primary_key=true),
    ...
  ) WITH (
    partition_by_hash_columns = ARRAY['rack'],
    partition_by_hash_buckets = 2,
    partition_by_second_hash_columns = ARRAY['machine'],
    partition_by_second_hash_buckets = 3,
    partition_by_range_columns = ARRAY['event_time'],
    range_partitions = '[{"lower": null, "upper": "2018-01-01T00:00:00"},
                         {"lower": "2018-01-01T00:00:00", "upper": null}]'
  )

  説明

  この例では、2 つのハッシュパーティショングループと event_time 列に対する 1 つのレンジパーティションを持つテーブルを定義しています。範囲はタイムスタンプ 2018-01-01T00:00:00 で分割されています。

• レンジパーティションの管理

  以下の例は、パーティション操作を示しています。

  • レンジパーティションの追加

    CALL kudu.system.add_range_partition(<YOUR_SCHEMA_NAME>, <YOUR_TABLE_NAME>, <range_partition_as_json_string>)

  • レンジパーティションの削除

    CALL kudu.system.drop_range_partition(<YOUR_SCHEMA_NAME>, <YOUR_TABLE_NAME>, <range_partition_as_json_string>)

  パラメーター	説明
  <YOUR_SCHEMA_NAME>	テーブルが配置されているスキーマ。
  <YOUR_TABLE_NAME>	テーブル名。
  <range_partition_as_json_string>	レンジパーティションの上限および下限を JSON 文字列として指定します。形式は '{"lower": <value>, "upper": <value>}' です。パーティションに複数の列がある場合は、形式は '{"lower": [<value_col1>,...], "upper": [<value_col1>,...]}' です。値の形式は列のデータ型によって異なります。以下のリストは、データ型と必要な JSON 文字列形式の対応関係を示しています。 BIGINT： '{"lower": 0, "upper": 1000000}' SMALLINT： '{"lower": 10, "upper": null}' VARCHAR： '{"lower": "A", "upper": "M"}' TIMESTAMP： '{"lower": "2018-02-01T00:00:00.000", "upper": "2018-02-01T12:00:00.000"}' BOOLEAN： '{"lower": false, "upper": true}' VARBINARY： Base64 エンコードされた文字列。 説明 null 値は、境界が無限であることを示します。

  以下に例を示します。

  CALL kudu.system.add_range_partition('myschema', 'events', '{"lower": "2018-01-01", "upper": "2018-06-01"}')

  説明

  この例では、myschema スキーマ内の events テーブルにレンジパーティションを追加しています。パーティションの下限は 2018-01-01（タイムスタンプ 2018-01-01T00:00:00.000 に対応）で、上限は 2018-06-01 です。

  既存のレンジパーティションを確認するには、SHOW CREATE TABLE ステートメントを使用します。この情報は range_partitions テーブルプロパティに表示されます。

ALTER TABLE ... ADD COLUMN ... ステートメントを使用して、既存のテーブルに列を追加します。新しい列に対して列プロパティを指定することもできます。列プロパティの詳細については、「テーブルの作成」をご参照ください。

ALTER TABLE mytable ADD COLUMN extraInfo varchar WITH (nullable = true, encoding = 'plain')