E-MapReduce:Iceberg コネクター

前提条件

Presto サービスがデプロイされた Hadoop クラスター、または Presto クラスターが作成されている必要があります。詳細については、「クラスターの作成」をご参照ください。

制限事項

EMR V3.38.0 以降の Hadoop クラスターまたは Presto クラスターのみが Iceberg コネクターをサポートします。

Iceberg コネクターの設定

Iceberg コネクターの設定を変更します。詳細については、「コネクターの設定」をご参照ください。

デフォルト設定

EMR コンソールで、Presto サービスの Configure ページに移動します。Service Configuration セクションで、[iceberg.properties] タブをクリックします。Thrift プロトコルを使用して Hive メタストアに接続するための URI を指定する hive.metastore.uri パラメーターがあります。実際の要件に合わせてパラメーター値を変更します。デフォルトの形式は thrift://emr-header-1.cluster-24****:9083 です。

パラメーター

EMR コンソールで、Presto サービスページに移動し、Configure タブをクリックします。Service Configuration セクションで、[iceberg.properties] タブをクリックし、次に Custom Configuration をクリックします。次の設定項目を追加できます。

例：Iceberg テーブルのデータクエリ

Presto の基本的な SQL 構文を使用して、Iceberg テーブルのデータをクエリできます。

1. クラスターのマスターノードに SSH でログインします。詳細については、「クラスターへのログイン」をご参照ください。
2. 次のコマンドを実行して、Presto クライアントに接続します：

   presto --server emr-header-1:9090 --catalog iceberg --schema default

   次の情報が返された場合、Presto クライアントが接続されています：

   presto:default>

3. 次のコマンドを実行して、iceberg_test という名前のテーブルを作成します：

   create table iceberg_test(id int);

4. 次のコマンドを実行して、iceberg_test テーブルにデータを挿入します：

   insert into iceberg_test values(1),(2);

5. 次のコマンドを実行して、iceberg_test テーブルのデータをクエリします：

   select * from iceberg_test;

   次の情報が返されます：

    id
   ----
    1
    2

SQL ステートメント

テーブルのパーティション分割

CREATE TABLE iceberg.testdb.customer_orders (
    order_id BIGINT,
    order_date DATE,
    account_number BIGINT,
    customer VARCHAR,
    country VARCHAR)
WITH (partitioning = ARRAY['month(order_date)', 'bucket(account_number, 10)', 'country'])

パーティション単位のデータ削除

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US'

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US' AND customer = 'Freds Foods'

スナップショットへのロールバック

Iceberg テーブルではスナップショットがサポートされています。

SELECT snapshot_id FROM iceberg.testdb."customer_orders$snapshots" ORDER BY committed_at DESC LIMIT 1

CALL iceberg.system.rollback_to_snapshot('testdb', 'customer_orders', 895459706749342****)

システムテーブルのパーティションのクエリ

SELECT * FROM iceberg.testdb."customer_orders$partitions"

Iceberg テーブルのプロパティ

CREATE TABLE test_table (
    c1 integer,
    c2 date,
    c3 double)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['c1', 'c2'],
    location = '/var/my_tables/test_table')

マテリアライズドビューの管理

Iceberg コネクターはマテリアライズドビューをサポートしています。各マテリアライズドビューは、ビュー定義と Iceberg テーブルで構成されます。テーブル名はマテリアライズドビューのプロパティとして格納され、データは Iceberg テーブルに格納されます。

WITH ( format = 'ORC', partitioning = ARRAY['event_date'] )