E-MapReduce:Delta コネクタ

バージョンによるクエリ

バージョン番号は整数で、最初の INSERT 後に 1 から始まり、変更のたびに 1 ずつ増分します。

以下の例では、delta_table を上書きした後、タイムトラベルを使用して以前のバージョンをクエリします。

1. Spark SQL でデータを上書きします：

   INSERT OVERWRITE TABLE delta_table VALUES 5,6,7,8,9;

2. Trino から現在の状態を確認します：

   SELECT * FROM delta_table;

   出力：

    id
   ----
     5
     6
     7
     8
     9
   (5 rows)

3. バージョン 1 時点のデータをクエリします：

   SELECT * FROM delta_table FOR VERSION AS OF 1;

   出力：

    id
   ----
     2
     1
     3
     4
     0
   (5 rows)

タイムスタンプによるクエリ

DATE、TIMESTAMP、TIMESTAMP WITH TIME ZONE の 3 種類のタイムスタンプ型がサポートされています。

• DATE 型のタイムスタンプに基づいてデータをクエリする場合、クエリ日の 00:00:00 (UTC) のタイムスタンプのデータがクエリされます。

• TIMESTAMP 型のタイムスタンプに基づいてデータをクエリする場合、指定されたタイムスタンプに対応する UTC のタイムスタンプのデータがクエリされます。たとえば、TIMESTAMP 型を使用して 2022 年 2 月 15 日 20:00:00 (UTC+08:00) のデータをクエリするには、次のようにします：

  説明

  TIMESTAMP 形式では、最初の TIMESTAMP キーワードはタイムトラベルモードを指定し、2 番目の TIMESTAMP はリテラル型のキーワードです。

  SELECT * FROM delta_table FOR TIMESTAMP AS OF TIMESTAMP '2022-02-15 12:00:00';

  次の出力が返されます：

   id
  ----
    2
    0
    3
    4
    1
  (5 rows)

• TIMESTAMP WITH TIME ZONE 型のタイムスタンプに基づいてデータをクエリする場合、スナップショットが読み取られる前にデータ型が暗黙的に変換されます：

  SELECT * FROM delta_table FOR TIMESTAMP AS OF CAST('2022-02-15 20:00:00 +0800' AS TIMESTAMP WITH TIME ZONE);

テーブルの最適化

Spark で ZORDER BY を指定して OPTIMIZE コマンドを実行し、テーブルデータを書き換えてソートします。 次の例では、conn_zorder テーブルを最適化します。このテーブルには、src_ip、src_port、dst_ip、および dst_port の列があります。

OPTIMIZE conn_zorder ZORDER BY (src_ip, src_port, dst_ip, dst_port);

サポートされる列の型

Z オーダリングは、INT、LONG、DOUBLE、FLOAT、BINARY、BOOLEAN、STRING、および ARRAY の列データ型をサポートしています。

データスキップでサポートされる述語

Z オーダリングされたデータをクエリする際、データスキップ機能は、=、<、<=、>、および >= の述語に対してファイルレベルのフィルタリングを適用します。

LIKE および IN 述語は、完全なデータスキップをトリガーしません。ただし、LIKE または IN を使用するクエリでも、Z オーダリングされた列が関連するファイルの範囲を絞り込むことで、部分的な順序付けの恩恵を受けることができます。

クエリ例

最適化後、Z オーダリングされた列でフィルタリングするクエリは、大幅に高速に実行されます：

-- Z オーダリングされた単一の列でフィルタリング
SELECT COUNT(*) FROM conn_zorder WHERE src_ip > '64.';

-- Z オーダリングされた複数の列でフィルタリング
SELECT COUNT(*) FROM conn_zorder WHERE src_ip >= '64.' AND dst_ip < '192.' AND src_port < 1000 AND dst_port > 50000;