Realtime Compute for Apache Flink：Buat dan gunakan tabel materialized

Batasan

• Anda hanya dapat mengubah kueri untuk tabel materialized yang dibuat di Ververica Runtime (VVR) 11.1 atau versi yang lebih baru.

• Saat mengubah kueri, Anda hanya dapat menambahkan kolom dan mengubah logika perhitungan. Anda tidak dapat mengubah urutan kolom yang sudah ada atau mengubah definisinya.

  Jenis Operasi	Dukungan	Deskripsi
  Tambahkan kolom baru	Dukungan	Anda dapat menambahkan kolom baru di akhir skema sambil mempertahankan urutan kolom yang sudah ada.
  Ubah logika perhitungan kolom yang sudah ada (tanpa mengubah nama dan tipe kolom)	Didukung	Sebagai contoh, Anda dapat mengubah logika perhitungan, tetapi nama kolom dan tipe data harus tetap sama.
  Ubah urutan kolom yang sudah ada	Tidak	Urutan kolom bersifat tetap. Anda harus menghapus dan membuat ulang tabel materialized.
  Ubah nama atau tipe data kolom yang sudah ada	Tidak	Anda harus menghapus dan membuat ulang tabel materialized.

Contoh modifikasi

1. Klik Edit Table dan ubah kueri. Kode berikut memberikan contohnya:

   ALTER MATERIALIZED TABLE `paimon`.`default`.`mt-orders`
       AS
       SELECT
         *,
         price * quantity AS total_price
       FROM orders
       WHERE price * quantity > 1000
   ;

2. Klik Preview untuk melihat perubahan.

   

3. Klik Confirm. Anda kemudian dapat melihat kolom dan logika kueri baru pada tab Table Schema Details.

Pembaruan inkremental tabel materialized

CREATE MATERIALIZED TABLE mt_shipped_orders (
    PRIMARY KEY (order_id) NOT ENFORCED
)
FRESHNESS = INTERVAL '30' MINUTE
AS
SELECT 
    order_id,
    COALESCE(customer_id, 'Unknown') AS customer_id,
    CAST(order_amount AS DECIMAL(10, 2)) AS order_amount,
    CASE 
        WHEN status = 'shipped' THEN 'Completed'
        WHEN status = 'pending' THEN 'In Progress'
        ELSE 'Unknown'
    END AS order_status,
    DATE_FORMAT(order_ts, 'yyyyMMdd') AS order_date,
    UDSF_ProcessFunction(notes) AS notes
FROM 
    orders
WHERE
    status = 'shipped';

CREATE MATERIALIZED TABLE mt_enriched_orders (
    PRIMARY KEY (order_id, order_tag) NOT ENFORCED
)
FRESHNESS = INTERVAL '30' MINUTE
AS
WITH o AS (
    SELECT
        order_id,
        product_id,
        quantity,
        proc_time,
        e.tag AS order_tag
    FROM 
        orders,
        LATERAL TABLE(UDTF_StringSplitFunction(tags, ',')) AS e(tag))
SELECT 
    o.order_id,
    o.product_id,
    p.product_name,
    p.category,
    o.quantity,
    p.price,
    o.quantity * p.price AS total_amount,
    order_tag
FROM o 
LEFT JOIN 
    product_info FOR SYSTEM_TIME AS OF PROCTIME() AS p
ON 
    o.product_id = p.product_id;

Isi ulang data historis

Sebelumnya, setelah menjalankan pekerjaan aliran, Anda harus mengembangkan pekerjaan batch terpisah untuk merekonsiliasi hasil dengan dataset lengkap dari hari sebelumnya. Dengan tabel materialized, Anda dapat langsung memilih partisi data historis untuk mengisi ulang data. Perubahan ini mengurangi biaya pengembangan dan O&M serta menyediakan pemrosesan aliran dan batch terpadu.

1. Klik tabel materialized target di bawah katalog.

2. Pada tab Data Information, lakukan pengisian ulang data.

   Jika Anda mendeklarasikan bidang partisi saat membuat tabel materialized, maka itu adalah tabel partisi. Jika tidak, itu adalah tabel non-partisi.

   Tabel partisi

   Lihat Data Partitions. Jika ini adalah pengisian ulang pertama atau partisi yang diperlukan belum ada, klik Manual Update. Jika partisi sudah ada, pilih partisi yang akan diisi ulang dan klik Backfill.

   

   

   Parameter:

   • Bidang Partisi: Bidang partisi dari tabel. Misalnya, jika Anda memasukkan `20241201`, semua data dengan `ds=20241201` akan diisi ulang.

   • Nama Tugas: Nama tugas pengisian ulang data.

   • Lingkup Pembaruan (Opsional): Menentukan apakah pembaruan harus dikaskade ke tabel materialized downstream terkait. Pembaruan dikaskade dari tabel saat ini melalui semua tabel materialized dalam alur datanya. Jumlah maksimum lapisan downstream adalah 6.

     Catatan

     • Untuk pembaruan tabel partisi, bidang partisi dari tabel materialized downstream harus identik dengan tabel awal. Jika tidak, operasi pembaruan gagal.

     • Jika tabel materialized dalam alur data gagal diperbarui, semua node downstream juga gagal.

   • Target Penyebaran: Anda dapat memilih antrian atau kluster session. Nilai default-nya adalah `default-queue`.

   Tabel non-partisi

   Lihat Data Status dan klik Backfill.

   

   Parameter:

   • Nama Tugas: Nama tugas pengisian ulang data.

   • Lingkup Pembaruan: Parameter ini tidak tersedia untuk tabel non-partisi.

     Catatan

     • Selama pembaruan, dilakukan pembaruan penuh pada data downstream.

     • Jika tabel materialized dalam alur data gagal diperbarui, semua node downstream juga gagal.

     • Jika sistem menentukan bahwa tabel awal adalah tugas aliran non-partisi berdasarkan kesegaran datanya, pembaruan kaskade tidak didukung.

   • Target Penyebaran: Anda dapat memilih antrian atau kluster session. Nilai default-nya adalah `default-queue`.

3. Pengisian ulang terjadwal dan batch.

   Anda dapat menggunakan Task Orchestration untuk membuat alur kerja tabel materialized guna jadwal berulang. Hal ini memungkinkan pengisian ulang terjadwal. Anda juga dapat menggunakan fitur pengisian ulang data dari alur kerja untuk memilih rentang waktu guna pengisian ulang data batch.

Ubah kesegaran data

1. Di katalog, klik database materialized table, lalu klik materialized table target.

2. Di pojok kanan atas, klik Modify Data Freshness.

   • Jika tabel materialized tidak memiliki primary key, Anda tidak dapat mengubah mode pemrosesan pekerjaan antara aliran dan batch. Misalnya, Anda tidak dapat mengubah kesegaran data dari 2 detik (aliran) menjadi 1 jam (batch), atau sebaliknya. Pekerjaan dikategorikan sebagai pekerjaan aliran jika kesegarannya kurang dari 30 menit, dan pekerjaan batch jika kesegarannya 30 menit atau lebih.

   • Jika tabel dasar adalah tabel materialized, kesegaran data dari tabel downstream harus merupakan kelipatan bilangan bulat dari kesegaran data tabel upstream.

   • Kesegaran data tidak boleh melebihi satu hari.

Lihat garis keturunan data

Halaman alur data menampilkan hubungan alur antara semua tabel materialized. Dari halaman ini, Anda juga dapat melakukan operasi seperti Start/Stop Update dan Modify Data Freshness pada tabel materialized. Untuk melihat halaman detail tabel materialized tertentu, klik Details.