E-MapReduce:Conector Delta

-- Query by version number
SELECT * FROM <table> FOR VERSION AS OF <version>;

-- Query by timestamp
SELECT * FROM <table> FOR TIMESTAMP AS OF <timestamp>;

Consulta por versão

Os números de versão são inteiros que começam em 1 após o primeiro INSERT e incrementam em 1 a cada modificação.

O exemplo a seguir sobrescreve os dados da delta_table e consulta uma versão anterior usando time travel.

1. Sobrescreva os dados no Spark SQL:

   INSERT OVERWRITE TABLE delta_table VALUES 5,6,7,8,9;

2. Confirme o estado atual no Trino:

   SELECT * FROM delta_table;

   Saída:

    id
   ----
     5
     6
     7
     8
     9
   (5 rows)

3. Consulte os dados conforme estavam na versão 1:

   SELECT * FROM delta_table FOR VERSION AS OF 1;

   Saída:

    id
   ----
     2
     1
     3
     4
     0
   (5 rows)

Consulta por timestamp

Há suporte para três tipos de timestamp: DATE, TIMESTAMP e TIMESTAMP WITH TIME ZONE.

• Em consultas baseadas em timestamp do tipo DATE, o sistema retorna os dados cujo timestamp corresponde a 00:00:00 UTC na data da consulta.

• Em consultas baseadas em timestamp do tipo TIMESTAMP, o sistema retorna os dados cujo timestamp em UTC corresponde ao valor especificado. Por exemplo, para consultar dados das 20:00:00 de 15 de fevereiro de 2022 (UTC+8) usando o tipo TIMESTAMP:

  Nota

  Na forma TIMESTAMP, a primeira palavra-chave TIMESTAMP especifica o modo de time travel, enquanto a segunda TIMESTAMP é a palavra-chave do tipo literal.

  SELECT * FROM delta_table FOR TIMESTAMP AS OF TIMESTAMP '2022-02-15 12:00:00';

  Saída retornada:

   id
  ----
    2
    0
    3
    4
    1
  (5 rows)

• Se a consulta usar um timestamp do tipo TIMESTAMP WITH TIME ZONE, o tipo de dado será convertido implicitamente antes da leitura do snapshot:

  SELECT * FROM delta_table FOR TIMESTAMP AS OF CAST('2022-02-15 20:00:00 +0800' AS TIMESTAMP WITH TIME ZONE);

Otimizar uma tabela

Execute o comando OPTIMIZE com ZORDER BY no Spark para regravar e ordenar os dados da tabela. O exemplo a seguir otimiza a tabela conn_zorder, que possui as colunas src_ip, src_port, dst_ip e dst_port:

OPTIMIZE conn_zorder ZORDER BY (src_ip, src_port, dst_ip, dst_port);

Tipos de coluna compatíveis

O Z-Ordering é compatível com os seguintes tipos de dados de coluna: INT, LONG, DOUBLE, FLOAT, BINARY, BOOLEAN, STRING e ARRAY.

Predicados compatíveis com data skipping

Ao consultar dados com Z-Ordering, o recurso de data skipping aplica filtragem em nível de arquivo para estes predicados: =, <, <=, > e >=.

Os predicados LIKE e IN não acionam o data skipping completo. No entanto, consultas que usam LIKE ou IN ainda podem se beneficiar da ordenação parcial quando as colunas com Z-Ordering restringem o intervalo de arquivos relevantes.

Exemplos de consulta

Após a otimização, as consultas que filtram por colunas com Z-Ordering apresentam desempenho significativamente superior:

-- Filter on a single Z-Ordered column
SELECT COUNT(*) FROM conn_zorder WHERE src_ip > '64.';

-- Filter on multiple Z-Ordered columns
SELECT COUNT(*) FROM conn_zorder WHERE src_ip >= '64.' AND dst_ip < '192.' AND src_port < 1000 AND dst_port > 50000;