E-MapReduce:Delta connector

Prasyarat

Anda telah membuat salah satu tipe kluster berikut: kluster DataLake atau Custom dengan layanan Trino, atau kluster Hadoop dengan layanan Presto. Untuk informasi selengkapnya, lihat Create a cluster.

Batasan

Delta connector didukung pada kluster DataLake, kluster Custom, dan kluster Hadoop yang menjalankan EMR-3.39.1 atau versi lebih baru, atau EMR-5.5.0 atau versi lebih baru.

Penggunaan dasar

Ubah konfigurasi connector

Untuk mengubah konfigurasi Delta connector, lihat Modify the configurations of a built-in connector.

Konfigurasi connector default

Contoh

Trino tidak dapat membuat atau memodifikasi tabel Delta Lake. Gunakan Spark SQL untuk operasi tersebut. Untuk informasi selengkapnya, lihat Basic usage.

1. Hasilkan data.

   1. Jalankan perintah berikut untuk masuk ke command line Spark SQL.

      spark-sql

   2. Jalankan pernyataan berikut untuk membuat tabel Delta Lake.

      CREATE TABLE delta_table (id INT) USING delta;

   3. Jalankan pernyataan berikut untuk menulis data ke tabel.

      INSERT INTO delta_table VALUES 0,1,2,3,4;

2. Kueri data.

   1. Akses command line Trino. Untuk informasi selengkapnya, lihat Access Trino using a command-line interface.

   2. Jalankan pernyataan berikut untuk mengkueri tabel.

      SELECT * FROM delta_table;

      Output berikut dikembalikan.

       id
      ----
        0
        1
        2
        3
        4
      (5 rows)

Penggunaan lanjutan

Time travel

Fitur time travel memungkinkan Anda mengkueri data historis suatu tabel.

Contoh:

1. Jalankan perintah berikut untuk masuk ke command line Spark SQL.

   spark-sql

2. Jalankan pernyataan berikut untuk menimpa data.

   INSERT OVERWRITE TABLE delta_table VALUES 5,6,7,8,9;

3. Kueri data.

   1. Akses command line Trino. Untuk informasi selengkapnya, lihat Access Trino using a command-line interface.

   2. Jalankan pernyataan berikut untuk mengkueri tabel.

      SELECT * FROM delta_table;

      Output berikut dikembalikan.

       id
      ----
        5
        6
        7
        8
        9
      (5 rows)

4. Gunakan time travel untuk mengkueri data historis.

   Jalankan pernyataan berikut untuk mengkueri data berdasarkan nomor versi. Nomor versi merupakan bilangan bulat yang meningkat secara monotonik. Secara default, nomor versi bernilai 1 setelah operasi INSERT pertama dan bertambah 1 setiap kali terjadi modifikasi.

   SELECT * FROM delta_table FOR VERSION AS OF 1;

   Output berikut dikembalikan.

    id
   ----
     2
     1
     3
     4
     0
   (5 rows)

   Anda juga dapat mengkueri data berdasarkan timestamp. Tiga tipe timestamp didukung: DATE, TIMESTAMP, dan TIMESTAMP WITH TIME ZONE.

   • DATE: Mengkueri data pada pukul 00:00:00 UTC pada tanggal yang ditentukan.

   • TIMESTAMP: Mengkueri data pada timestamp tertentu dalam UTC.

     Sebagai contoh, jalankan pernyataan berikut untuk mengkueri data pada pukul 20:00:00 tanggal 15 Februari 2022 waktu Beijing (UTC+08:00), menggunakan tipe TIMESTAMP.

     SELECT * FROM delta_table FOR TIMESTAMP AS OF TIMESTAMP '2022-02-15 12:00:00';

     Catatan

     Pada pernyataan ini, kata kunci TIMESTAMP pertama menetapkan mode time travel ke timestamp (bukan mode nomor versi). Kata kunci TIMESTAMP kedua melakukan casting literal string ke tipe data TIMESTAMP (bukan tipe DATE).

     Output berikut dikembalikan.

      id
     ----
       2
       0
       3
       4
       1
     (5 rows)

   • TIMESTAMP WITH TIME ZONE: Mengkueri dengan TIMESTAMP WITH TIME ZONE memerlukan casting tipe.

     Sebagai contoh, untuk mengkueri data pada pukul 20:00:00 tanggal 15 Februari 2022 waktu Beijing (UTC+08:00), gunakan pernyataan berikut.

     SELECT * FROM delta_table FOR TIMESTAMP AS OF CAST('2022-02-15 20:00:00 +0800' AS TIMESTAMP WITH TIME ZONE);

Z-order

Trino menggunakan Z-Ordering untuk mengoptimalkan kueri pada tabel Delta Lake dengan memanfaatkan optimasi native Parquet dan data skipping. Setelah dioptimalkan, Delta Lake mengumpulkan statistik tingkat file seperti nilai minimum dan maksimum untuk setiap kolom, yang digunakan oleh Delta connector untuk langsung memfilter file data.

Untuk tabel Delta Lake yang dioptimalkan dengan perintah OPTIMIZE dan ZORDER BY, kolom Z-Ordering yang dikonfigurasi dengan tepat dapat membuat kueri Trino puluhan kali lebih cepat.

Trino mendukung Z-Ordering untuk tipe data berikut: Int, Long, Double, Float, Binary, Boolean, String, dan Array.

Sebagai contoh, pertimbangkan sebuah tabel bernama conn_zorder dengan empat kolom: src_ip, src_port, dst_ip, dan dst_port.

OPTIMIZE conn_zorder ZORDER BY (src_ip, src_port, dst_ip, dst_port);