E-MapReduce:Conector Iceberg

Pré-requisitos

Antes de começar, verifique se você possui:

• Um cluster DataLake ou Hadoop com o serviço Presto ativado. Consulte Criar um cluster.

Limitações

• Apenas clusters DataLake e Hadoop executando EMR V3.38.0 ou posterior oferecem suporte ao conector Iceberg.

• Caso tenha selecionado DLF Unified Metadata durante a criação do cluster, não será possível gravar dados em tabelas Iceberg.

Configure o conector Iceberg

Para obter o procedimento geral de modificação das configurações do conector, consulte Configurar conectores.

Consultar tabelas Iceberg

Os passos a seguir demonstram como criar um schema e uma tabela, inserir dados e consultar resultados usando SQL padrão do Trino.

Sintaxe SQL

O conector Iceberg oferece suporte à leitura e gravação de dados e metadados em tabelas Iceberg. Além do SQL padrão, ele aceita as seguintes instruções:

Propriedades da tabela

Utilize a cláusula WITH para definir as seguintes propriedades ao criar uma tabela Iceberg:

Exemplo:

CREATE TABLE test_table (
    c1 INTEGER,
    c2 DATE,
    c3 DOUBLE)
WITH (
    format = 'PARQUET',
    partitioning = ARRAY['c1', 'c2'],
    location = '/var/my_tables/test_table');

Particionar uma tabela

O conector Iceberg suporta particionamento baseado em funções. Use as seguintes funções na propriedade partitioning:

Exemplo: Particione a tabela customer_orders por mês do pedido, hash do número da conta (10 buckets) e país:

CREATE TABLE iceberg.testdb.customer_orders (
    order_id BIGINT,
    order_date DATE,
    account_number BIGINT,
    customer VARCHAR,
    country VARCHAR)
WITH (partitioning = ARRAY['month(order_date)', 'bucket(account_number, 10)', 'country']);

Excluir dados por partição

Em uma tabela particionada, se você incluir uma cláusula WHERE em uma instrução DELETE para filtrar partições, o conector Iceberg exclui as partições que correspondem às condições do filtro. Por exemplo, a instrução abaixo remove todas as partições onde country = 'US' da tabela customer_orders:

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US';

O conector Iceberg permite excluir dados apenas por partição. A execução da instrução a seguir falha porque a cláusula WHERE filtra linhas específicas dentro das partições, em vez de partições completas:

DELETE FROM iceberg.testdb.customer_orders
WHERE country = 'US' AND customer = 'Freds Foods';

Consultar tabelas do sistema

O conector Iceberg expõe tabelas do sistema que fornecem metadados sobre cada tabela Iceberg.

Consultar partições — inclui os valores mínimo e máximo para cada coluna de chave de partição:

SELECT * FROM iceberg.testdb."customer_orders$partitions";

Consultar snapshots — lista todos os snapshots com seus timestamps de commit:

SELECT * FROM iceberg.testdb."customer_orders$snapshots"
ORDER BY committed_at DESC;

Reverter para um snapshot

Tabelas Iceberg suportam snapshots. O conector Iceberg fornece uma tabela de snapshot do sistema para cada tabela Iceberg. Os IDs de snapshot são do tipo de dados BIGINT.

Para reverter uma tabela a um estado anterior, obtenha primeiro o ID do snapshot alvo e depois chame o procedimento de rollback.

1. Obtenha o ID do snapshot mais recente:

   SELECT snapshot_id
   FROM iceberg.testdb."customer_orders$snapshots"
   ORDER BY committed_at DESC
   LIMIT 1;

2. Reverta para o snapshot:

   CALL iceberg.system.rollback_to_snapshot('testdb', 'customer_orders', 895459706749342****);

   Substitua 895459706749342**** pelo ID real do snapshot (um valor BIGINT).

Gerencie visualizações materializadas

Uma visualização materializada no conector Iceberg consiste em uma definição de view e uma tabela Iceberg subjacente. O nome da tabela é armazenado como uma propriedade da visualização materializada; os dados residem na tabela Iceberg.

Próximos passos

• Visão geral — conheça os conceitos do Iceberg, incluindo snapshots, partições e versões de formato de tabela.

• Configurar conectores — guia geral para modificar configurações de conectores no EMR.