E-MapReduce:Conector Delta

Informações básicas

O Delta Lake é uma solução de data lake da Databricks que fornece recursos centrados em dados para gerenciar o ciclo de vida dos dados. Para obter mais informações, consulte Overview of Delta Lake.

Pré-requisitos

Crie um dos seguintes tipos de cluster: DataLake ou Custom com o service Trino, ou Hadoop com o service Presto. Para obter mais informações, consulte Create a cluster.

Limitações

O conector Delta tem suporte em clusters DataLake, Custom e Hadoop que executam o EMR-3.39.1 ou posterior, ou o EMR-5.5.0 ou posterior.

Uso básico

Modifique a configuração do conector

Para modificar a configuração do conector Delta, consulte Modify the configurations of a built-in connector.

Configuração padrão do conector

Exemplo

O Trino não cria nem modifica tabelas do Delta Lake. Utilize o Spark SQL para essas operações. Para obter mais informações, consulte Basic usage.

1. Gere os dados.

   1. Execute o comando a seguir para acessar a linha de comando do Spark SQL.

      spark-sql

   2. Execute a instrução a seguir para criar uma tabela do Delta Lake.

      CREATE TABLE delta_table (id INT) USING delta;

   3. Execute a instrução a seguir para gravar dados na tabela.

      INSERT INTO delta_table VALUES 0,1,2,3,4;

2. Consulte os dados.

   1. Acesse a linha de comando do Trino. Para obter mais informações, consulte Access Trino using a command-line interface.

   2. Execute a instrução a seguir para consultar a tabela.

      SELECT * FROM delta_table;

      O sistema retorna a seguinte saída:

       id
      ----
        0
        1
        2
        3
        4
      (5 rows)

Uso avançado

Time travel

O recurso time travel permite consultar dados históricos de uma tabela.

Exemplo:

1. Execute o comando a seguir para acessar a linha de comando do Spark SQL.

   spark-sql

2. Execute a instrução a seguir para sobrescrever os dados.

   INSERT OVERWRITE TABLE delta_table VALUES 5,6,7,8,9;

3. Consulte os dados.

   1. Acesse a linha de comando do Trino. Para obter mais informações, consulte Access Trino using a command-line interface.

   2. Execute a instrução a seguir para consultar a tabela.

      SELECT * FROM delta_table;

      O sistema retorna a seguinte saída:

       id
      ----
        5
        6
        7
        8
        9
      (5 rows)

4. Use time travel para consultar dados históricos.

   Execute a instrução a seguir para consultar dados por número de versão. O número de versão é um inteiro monotonicamente crescente. Por padrão, esse valor é 1 após a primeira operação INSERT e aumenta em 1 a cada modificação.

   SELECT * FROM delta_table FOR VERSION AS OF 1;

   O sistema retorna a seguinte saída:

    id
   ----
     2
     1
     3
     4
     0
   (5 rows)

   Também é possível consultar dados por timestamp. Há suporte a três tipos de timestamp: DATE, TIMESTAMP e TIMESTAMP WITH TIME ZONE.

   • DATE: Consulta dados às 00:00:00 UTC na data especificada.

   • TIMESTAMP: Consulta dados no timestamp especificado em UTC.

     Por exemplo, execute a instrução a seguir para consultar dados às 20:00:00 de 15 de fevereiro de 2022, no horário de Pequim (UTC+08:00), usando o tipo TIMESTAMP.

     SELECT * FROM delta_table FOR TIMESTAMP AS OF TIMESTAMP '2022-02-15 12:00:00';

     Nota

     Nesta instrução, a primeira palavra-chave TIMESTAMP define o modo de time travel como timestamp (não o modo de número de versão). A segunda palavra-chave TIMESTAMP converte o literal de string para o tipo de dados TIMESTAMP (não o tipo DATE).

     O sistema retorna a seguinte saída:

      id
     ----
       2
       0
       3
       4
       1
     (5 rows)

   • TIMESTAMP WITH TIME ZONE: Consultas com TIMESTAMP WITH TIME ZONE exigem conversão de tipo.

     Por exemplo, para consultar dados às 20:00:00 de 15 de fevereiro de 2022, no horário de Pequim (UTC+08:00), use a instrução a seguir.

     SELECT * FROM delta_table FOR TIMESTAMP AS OF CAST('2022-02-15 20:00:00 +0800' AS TIMESTAMP WITH TIME ZONE);

Z-order

O Trino usa Z-Ordering para otimizar consultas em tabelas do Delta Lake ao aproveitar as otimizações nativas do Parquet e o data skipping. Após a otimização, o Delta Lake coleta estatísticas no nível de arquivo, como valores mínimos e máximos de cada coluna. O conector Delta utiliza essas informações para filtrar arquivos de dados diretamente.

Colunas de Z-Ordering configuradas adequadamente podem tornar as consultas do Trino dezenas de vezes mais rápidas em tabelas do Delta Lake otimizadas com os comandos OPTIMIZE e ZORDER BY.

O Trino oferece suporte a Z-Ordering para os seguintes tipos de dados: Int, Long, Double, Float, Binary, Boolean, String e Array.

Por exemplo, considere uma tabela chamada conn_zorder com quatro colunas: src_ip, src_port, dst_ip e dst_port.

OPTIMIZE conn_zorder ZORDER BY (src_ip, src_port, dst_ip, dst_port);