E-MapReduce:Tampilan yang di-materialisasi asinkron

Latar Belakang​

Aplikasi dalam lingkungan gudang data sering kali mengeksekusi kueri kompleks berdasarkan beberapa tabel besar, melibatkan penggabungan dan agregasi miliaran baris data antara beberapa tabel. Memproses kueri semacam itu biasanya mengonsumsi banyak sumber daya sistem dan waktu, mengakibatkan biaya kueri yang sangat tinggi.

Anda dapat menyelesaikan masalah-masalah ini dengan tampilan yang di-materialisasi asinkron di StarRocks. Tampilan ini adalah tabel fisik khusus yang menyimpan hasil pra-komputasi berdasarkan pernyataan kueri tertentu pada tabel dasar. Saat Anda mengeksekusi kueri kompleks pada tabel dasar, StarRocks dapat langsung menggunakan kembali hasil pra-komputasi, menghindari perhitungan berulang dan meningkatkan performa kueri. Semakin tinggi frekuensi kueri atau semakin kompleks pernyataan kueri, semakin signifikan peningkatan performa.

Anda juga dapat menggunakan tampilan yang di-materialisasi asinkron untuk memodelkan gudang data Anda, memberikan antarmuka data terpadu kepada aplikasi lapisan atas, menyembunyikan implementasi bawah, dan melindungi keamanan data rinci tabel dasar.

Perbandingan tampilan yang di-materialisasi

Tampilan yang di-materialisasi sinkron StarRocks (Rollup) menawarkan kesegaran data yang lebih baik dan biaya pembaruan yang lebih rendah. Namun, tampilan ini memiliki banyak keterbatasan dalam hal skenario, hanya dapat dibuat berdasarkan satu tabel dasar, dan hanya mendukung operator agregat yang terbatas. Sebaliknya, tampilan yang di-materialisasi asinkron StarRocks dapat dibuat berdasarkan beberapa tabel dasar dan mendukung kumpulan operator agregat yang lebih kaya.

Tabel berikut membandingkan tampilan yang di-materialisasi asinkron dan sinkron (Rollup) di StarRocks dari perspektif fitur yang didukung.

Istilah

Casus Penggunaan

Kami merekomendasikan pembuatan tampilan yang di-materialisasi asinkron jika lingkungan gudang data Anda memiliki persyaratan berikut.

• Mempercepat kueri agregat berulang

  Misalkan lingkungan gudang data Anda memiliki banyak kueri yang berisi subkueri fungsi agregat yang sama, mengonsumsi sejumlah besar sumber daya komputasi. Anda dapat membuat tampilan yang di-materialisasi asinkron berdasarkan subkueri tersebut, menghitung dan menyimpan semua hasil dari subkueri tersebut. Setelah berhasil dibuat, sistem akan secara otomatis menulis ulang pernyataan kueri untuk langsung menanyakan hasil antara dalam tampilan yang di-materialisasi asinkron, sehingga mengurangi beban dan mempercepat kueri.

• Kueri penggabungan multi-tabel berkala

  Misalkan Anda perlu secara berkala menggabungkan beberapa tabel di gudang data Anda untuk menghasilkan tabel lebar baru. Anda dapat membuat tampilan yang di-materialisasi asinkron untuk tabel-tabel ini dan menetapkan aturan pembaruan berkala, sehingga menghindari penjadwalan manual tugas penggabungan. Setelah tampilan yang di-materialisasi asinkron dibuat, kueri akan langsung mengembalikan hasil berdasarkan tampilan tersebut, menghindari latensi yang disebabkan oleh operasi penggabungan.

• Kategori lapisan data

  Misalkan tabel dasar Anda berisi sejumlah besar data mentah, dan kueri memerlukan operasi ETL yang kompleks. Anda dapat menerapkan pelapisan gudang data dengan membuat beberapa lapisan tampilan yang di-materialisasi asinkron pada data. Ini dapat memecah kueri kompleks menjadi beberapa lapisan kueri sederhana, baik mengurangi perhitungan berulang maupun membantu personel pemeliharaan dengan cepat menemukan masalah. Selain itu, pelapisan gudang data dapat memisahkan data mentah dari data statistik, sehingga melindungi data mentah sensitif.

• Percepatan Lakehouse

  Menanyakan data lake mungkin lambat karena latensi jaringan dan keterbatasan throughput penyimpanan objek. Anda dapat meningkatkan performa kueri dengan membangun tampilan yang di-materialisasi asinkron di atas data lake. Selain itu, StarRocks dapat secara cerdas menulis ulang kueri untuk menggunakan tampilan yang di-materialisasi yang ada, menghilangkan kerumitan modifikasi kueri secara manual.

Untuk kasus penggunaan spesifik tampilan yang di-materialisasi asinkron, lihat:

• Menggunakan tampilan yang di-materialisasi untuk pemodelan data

• Penulisan ulang kueri tampilan yang di-materialisasi

• Menggunakan tampilan yang di-materialisasi untuk mempercepat kueri data lake

Buat tampilan yang di-materialisasi asinkron

CREATE DATABASE IF NOT EXISTS test_db;
USE test_db;
CREATE TABLE goods(
    item_id1          INT,
    item_name         STRING,
    price             FLOAT
) DISTRIBUTED BY HASH(item_id1);

INSERT INTO goods
VALUES
    (1001,"apple",6.5),
    (1002,"pear",8.0),
    (1003,"potato",2.2);

CREATE TABLE order_list(
    order_id          INT,
    client_id         INT,
    item_id2          INT,
    order_date        DATE
) DISTRIBUTED BY HASH(order_id);

INSERT INTO order_list
VALUES
    (10001,101,1001,"2022-03-13"),
    (10001,101,1002,"2022-03-13"),
    (10002,103,1002,"2022-03-13"),
    (10002,103,1003,"2022-03-14"),
    (10003,102,1003,"2022-03-14"),
    (10003,102,1001,"2022-03-14");

USE test_db;
SELECT
    order_id,
    sum(goods.price) as total
FROM order_list INNER JOIN goods ON goods.item_id1 = order_list.item_id2
GROUP BY order_id;

USE test_db;
CREATE MATERIALIZED VIEW order_mv
DISTRIBUTED BY HASH(`order_id`)
REFRESH ASYNC START('2022-09-01 10:00:00') EVERY (interval 1 day)
AS SELECT
    order_list.order_id,
    sum(goods.price) as total
FROM order_list INNER JOIN goods ON goods.item_id1 = order_list.item_id2
GROUP BY order_id;

Perbarui manual tampilan yang di-materialisasi asinkron

Anda dapat memperbarui manual tampilan yang di-materialisasi asinkron tertentu menggunakan perintah REFRESH MATERIALIZED VIEW.

-- Secara asinkron memanggil tugas pembaruan.
REFRESH MATERIALIZED VIEW test_db.order_mv;
-- Secara sinkron memanggil tugas pembaruan.
REFRESH MATERIALIZED VIEW test_db.order_mv WITH SYNC MODE;

Anda dapat membatalkan tugas pembaruan yang dipanggil secara asinkron menggunakan CANCEL REFRESH MATERIALIZED VIEW.

-- Batalkan tugas pembaruan.
CANCEL REFRESH MATERIALIZED VIEW test_db.order_mv;
-- Paksa batalkan tugas pembaruan.
CANCEL REFRESH MATERIALIZED VIEW test_db.order_mv FORCE;

Kueri langsung tampilan yang di-materialisasi asinkron

Tampilan yang di-materialisasi asinkron pada dasarnya adalah tabel fisik yang menyimpan set hasil lengkap pra-komputasi sesuai dengan pernyataan kueri tertentu. Setelah tampilan yang di-materialisasi diperbarui untuk pertama kalinya, Anda dapat langsung menanyakan tampilan yang di-materialisasi.

SELECT * FROM test_db.order_mv;

Gunakan tampilan yang di-materialisasi asinkron untuk menulis ulang dan mempercepat kueri

StarRocks mendukung penulisan ulang kueri tampilan yang di-materialisasi asinkron tipe SPJG secara otomatis dan transparan. Penulisan ulang kuerinya mencakup penulisan ulang tabel tunggal, penulisan ulang Join, penulisan ulang agregat, penulisan ulang Union, dan penulisan ulang tampilan yang di-materialisasi bersarang. Mulai dari v3.3.0, StarRocks lebih lanjut mendukung penulisan ulang tampilan yang di-materialisasi berbasis teks. Untuk informasi lebih lanjut, lihat Penulisan ulang kueri tampilan yang di-materialisasi.

Saat ini, StarRocks mendukung penulisan ulang kueri untuk tampilan yang di-materialisasi asinkron berdasarkan Katalog Default, Katalog Hive, Katalog Hudi, dan Katalog Iceberg. Saat menanyakan data Katalog Default, StarRocks memastikan konsistensi kuat antara hasil kueri yang ditulis ulang dan hasil kueri asli dengan mengecualikan tampilan yang di-materialisasi di mana data tidak konsisten dengan tabel dasar. Saat data tampilan yang di-materialisasi sudah usang, itu tidak akan dipertimbangkan sebagai kandidat tampilan yang di-materialisasi. Saat menanyakan data katalog eksternal, StarRocks tidak dapat mendeteksi perubahan data di partisi katalog eksternal, sehingga tidak menjamin konsistensi kuat hasilnya. Untuk informasi tentang tampilan yang di-materialisasi asinkron berdasarkan Katalog Eksternal, lihat Menggunakan tampilan yang di-materialisasi untuk mempercepat kueri data lake.

Kelola tampilan yang di-materialisasi asinkron

SHOW CREATE MATERIALIZED VIEW test_db.order_mv;

DROP MATERIALIZED VIEW test_db.order_mv;