E-MapReduce:Conector Iceberg

Contexto

Para obtener más información sobre Iceberg, consulte Iceberg.

Requisitos previos

Cree un clúster de Hadoop con el servicio Presto desplegado o bien un clúster de Presto. Para obtener más información, consulte Create a cluster.

Límites

Solo los clústeres de Hadoop o Presto de EMR V3.38.0 y versiones posteriores admiten el conector Iceberg.

Configurar el conector Iceberg

Modifique la configuración del conector Iceberg. Para obtener más información, consulte Configure connectors.

Configuración predeterminada

En la consola de EMR, vaya a la Configure página del servicio Presto. En la sección Service Configuration, haga clic en la pestaña iceberg.properties. Busque el parámetro hive.metastore.uri, que especifica el URI para conectarse a Hive Metastore mediante el protocolo Thrift. Modifique el valor del parámetro según sus necesidades reales. El formato predeterminado es thrift://emr-header-1.cluster-24****:9083.

Parámetros

En la consola de EMR, vaya a la página del servicio Presto y haga clic en la pestaña Configure. En la sección Service Configuration, haga clic en la pestaña iceberg.properties y luego en Custom Configuration. A continuación puede agregar los siguientes elementos de configuración.

Ejemplo: consultar datos en una tabla Iceberg

Utilice la sintaxis SQL básica de Presto para consultar datos en una tabla Iceberg.

1. Inicie sesión en el nodo maestro de su clúster mediante SSH. Para obtener más información, consulte Log on to a cluster.

2. Ejecute el siguiente comando para conectarse al cliente de Presto:

   presto --server emr-header-1:9090 --catalog iceberg --schema default

   Si se devuelve la siguiente información, la conexión con el cliente de Presto se estableció correctamente:

   presto:default>

3. Ejecute el siguiente comando para crear una tabla llamada iceberg_test:

   create table iceberg_test(id int);

4. Ejecute el siguiente comando para insertar datos en la tabla iceberg_test:

   insert into iceberg_test values(1),(2);

5. Ejecute el siguiente comando para consultar los datos de la tabla iceberg_test:

   select * from iceberg_test;

   Se devuelve la siguiente información:

    id
   ----
    1
    2

Sentencias SQL

Particionar una tabla

CREATE TABLE iceberg.testdb.customer_orders (
    order_id BIGINT,
    order_date DATE,
    account_number BIGINT,
    customer VARCHAR,
    country VARCHAR)
WITH (partitioning = ARRAY['month(order_date)', 'bucket(account_number, 10)', 'country'])

Eliminar datos por partición

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US'

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US' AND customer = 'Freds Foods'

Revertir a una instantánea

Las tablas Iceberg admiten instantáneas.

SELECT snapshot_id FROM iceberg.testdb."customer_orders$snapshots" ORDER BY committed_at DESC LIMIT 1

CALL iceberg.system.rollback_to_snapshot('testdb', 'customer_orders', 895459706749342****)

Consultar particiones de una tabla del sistema

SELECT * FROM iceberg.testdb."customer_orders$partitions"

Propiedades de las tablas Iceberg

CREATE TABLE test_table (
    c1 integer,
    c2 date,
    c3 double)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['c1', 'c2'],
    location = '/var/my_tables/test_table')

Gestionar vistas materializadas

El conector Iceberg admite vistas materializadas. Cada vista materializada consta de una definición de vista y una tabla Iceberg. El nombre de la tabla se almacena como una propiedad de la vista materializada y los datos se guardan en dicha tabla Iceberg.

WITH ( format = 'ORC', partitioning = ARRAY['event_date'] )