E-MapReduce:Icebergコネクタ

前提条件

DataLakeクラスタまたはHadoopクラスタが作成され、Prestoサービスが選択されています。 詳細については、クラスタの作成をご参照ください。

制限事項

E-MapReduce（EMR） V3.38.0以降のマイナーバージョンのHadoopクラスタとDataLakeクラスタのみが、Icebergコネクタをサポートしています。

Icebergコネクタを構成する

Icebergコネクタの構成を変更する方法については、コネクタの設定をご参照ください。

Icebergコネクタのデフォルト構成

EMRコンソールにログオンし、Trinoサービスページの [構成] タブに移動します。 [構成] タブで、[iceberg.properties] をクリックします。 hive.metastore.uri 構成項目がiceberg.propertiesタブに表示されます。 この構成項目は、Thriftプロトコルに基づいてアクセスできるHive MetastoreのUniform Resource Identifier（URI）を指定します。 ビジネス要件に基づいて、この構成項目を変更できます。

Iceberg構成を追加する

Trinoサービスページの [構成] タブで、[iceberg.properties] タブをクリックします。 次に、[構成項目の追加] をクリックします。

例： Icebergテーブルのデータをクエリする

Trinoの基本的なSQL構文を使用して、Icebergテーブルのデータをクエリできます。

1. SSHモードでクラスタにログオンします。 詳細については、クラスタへのログオンをご参照ください。

2. Trinoクライアントに接続します。 詳細については、CLIを使用してTrinoに接続するをご参照ください。

3. 次のコマンドを実行して、スキーマを作成します。

   create schema iceberg.testdb;

4. 次のコマンドを実行して、iceberg_testという名前のテーブルを作成します。

   create table iceberg.testdb.iceberg_test(id int);

5. 次のコマンドを実行して、iceberg_testテーブルにデータを挿入します。

   insert into iceberg.testdb.iceberg_test values(1),(2);

   説明

   クラスタの作成時にメタデータにDLF統合メタデータを選択した場合、Icebergテーブルにデータを書き込むことはできません。

6. 次のコマンドを実行して、テーブルからデータをクエリします。

   select * from iceberg.testdb.iceberg_test;

   次の出力が返されます。

    id
   ----
    1
    2

SQL構文

Icebergコネクタを使用して、Icebergテーブルからデータまたはメタデータを読み取ったり、Icebergテーブルにデータまたはメタデータを書き込んだりできます。 基本的なSQLステートメントに加えて、Icebergコネクタは次の表に示すSQLステートメントもサポートしています。

テーブルのパーティション分割

Icebergコネクタを使用して、関数に基づいてテーブルをパーティション分割できます。 次の表に、関数を示します。

例： order_dateの値に含まれる月、account_numberのハッシュ値（バケット数： 10）、およびcountryに基づいて、customer_ordersという名前のテーブルをパーティション分割します。

CREATE TABLE iceberg.testdb.customer_orders (
    order_id BIGINT,
    order_date DATE,
    account_number BIGINT,
    customer VARCHAR,
    country VARCHAR)
WITH (partitioning = ARRAY['month(order_date)', 'bucket(account_number, 10)', 'country'])

パーティションによるデータの削除

パーティション分割されたテーブルの場合、DELETEステートメントにWHERE句を含めてパーティションをフィルタリングすると、Icebergコネクタは、パーティション分割されたテーブルでフィルタ条件を満たすパーティションを削除します。 たとえば、次のステートメントを実行して、country=USのフィルタ条件を満たすすべてのパーティションをcustomer_ordersテーブルから削除します。

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US'

Icebergコネクタを使用して、パーティションごとにのみデータを削除できます。 たとえば、次のステートメントは、ステートメントのWHERE句がパーティション内の特定の行をフィルタリングするために使用されているため、実行に失敗します。

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US' AND customer = 'Freds Foods'

スナップショットへのロールバック

スナップショットは、Icebergテーブルでサポートされています。

Icebergコネクタは、各Icebergテーブルにシステムスナップショットテーブルを提供します。 各Icebergテーブルのスナップショットは、BIGINTデータタイプの スナップショット ID によって識別されます。 たとえば、次のステートメントを実行して、customer_ordersテーブルの最新のスナップショット ID をクエリできます。

SELECT snapshot_id FROM iceberg.testdb."customer_orders$snapshots" ORDER BY committed_at DESC LIMIT 1

次のステートメントを実行して、指定された スナップショット ID に基づいてテーブルの状態をスナップショットにロールバックできます。

CALL iceberg.system.rollback_to_snapshot('testdb', 'customer_orders', 895459706749342****)

システムテーブルのパーティションをクエリする

Icebergコネクタを使用して、システムテーブルのパーティションをクエリできます。 たとえば、次のステートメントを実行して、customer_ordersテーブルのパーティションをクエリできます。 パーティションに関する情報には、各パーティションキー列の最大値と最小値が含まれます。

SELECT * FROM iceberg.testdb."customer_orders$partitions"

Icebergテーブルのプロパティ

次の表に、Icebergテーブルのプロパティを示します。

次のステートメント例では、formatプロパティはPARQUETに設定され、partitioningプロパティはARRAY['c1', 'c2']に設定され、locationプロパティは /var/my_tables/test_table に設定されています。

CREATE TABLE test_table (
    c1 integer,
    c2 date,
    c3 double)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['c1', 'c2'],
    location = '/var/my_tables/test_table')

マテリアライズドビューの管理

Icebergコネクタは、マテリアライズドビューをサポートしています。 各マテリアライズドビューは、ビュー定義とIcebergテーブルで構成されます。 テーブル名はマテリアライズドビューのプロパティとして格納され、データはIcebergテーブルに格納されます。

次の表に、マテリアライズドビューで実行できるステートメントを示します。

WITH ( format = 'ORC', partitioning = ARRAY['event_date'] )