Artımlı maddileştirilmiş görünüm (IVM), maddileştirilmiş görünümün gelişmiş bir biçimidir. Tüm sorguyu yeniden hesaplayan tam yenilemenin aksine artımlı yenileme yalnızca temel tablolardaki veri değişikliklerini (INSERT, UPDATE ve DELETE) görünüme uygular. Bu neredeyse gerçek zamanlı süreç sistem yükünü ve veri gecikmesini önemli ölçüde azaltır.
Nasıl çalışır?
Artımlı maddileştirilmiş görünümün temel prensibi tüm veri kümesini değil yalnızca değişenleri işlemektir.
Temel tabloda INSERT, UPDATE veya DELETE işlemleri gerçekleştiğinde sistem bu değişiklikleri otomatik olarak kaydeder. Bu süreç In-Memory Columnar Index (IMCI) sütunlu depolama düğümünde verimli şekilde çalışır; binlog veya tetikleyici gerektirmez ve temel tabloyu kilitlemez.
FAST (artımlı yenileme): Son yenilemeden bu yana değişen verileri işler; yüksek hız ve düşük ek yük sağlar.
COMPLETE (tam yenileme): Tüm sorguyu yeniden hesaplar. Bu yöntem ilk veri doldurma veya veri düzeltme için uygundur.
Ön koşullar
Artımlı maddileştirilmiş görünüm kullanmak için sisteminizin aşağıdaki gereksinimleri karşılaması gerekir:
-
Küme: PolarDB for MySQL kümeniz aşağıdaki gereksinimlerden birini karşılamalıdır:
MySQL 8.0.2 ile küçük çekirdek sürümü 8.0.2.2.35 veya üzeri.
-
In-Memory Columnar Index (IMCI) parametreleri:
Parameter
Default
Value
Description
imci_enable_window_function
2
>= 2
Enables support for IMCI window functions.
imci_enable_nci_async_pre_commit
OFF
OFF
Disables NCI async pre-commit to ensure incremental data consistency.
NotThis parameter is OFF by default and cannot be changed at this time.
imci_enable_hybrid_plan
ON
OFF
Disables the hybrid execution plan to force incremental refreshes to execute on the read-only columnar storage node.
NotBu parametreleri PolarDB konsolunda değiştirebilirsiniz.
Temel avantajlar
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Kullanım senaryoları
Analiz için ön hesaplama: Her sorguda maliyetli birleştirme işlemlerinden kaçınmak amacıyla karmaşık çok tablolu birleştirmeleri geniş bir tablo olarak önceden işleyin.
Rapor hızlandırma: Gerçek zamanlı veri ambarı veya BI raporları için önceden hesaplanmış veriler sağlayın; artımlı yenilemelerle güncelleme ek yükünü %90'ın üzerinde azaltın.
Hesaplama yeniden kullanımı: İç içe geçmiş maddileştirilmiş görünümler oluşturarak hesaplama sonuçlarını yeniden kullanın.
Gerçek zamanlı veri ambarı: Temel tablo değişikliklerini neredeyse gerçek zamanlı yansıtan analitik sorguları destekleyin.
HTAP iş yükleri: Sık güncellenen OLTP verilerini düşük gecikme süresiyle analitik bir görünüme senkronize edin; TP ve AP iş yüklerini ayırın.
Sınırlamalar
-
Genel sınırlamalar:
Desteklenmeyen sözdizimi: Alt sorgu
UNION,ORDER BY,LIMIT, pencere işleviHAVING,ROLLUPveyaCTEiçeren sorgular için artımlı yenileme desteklenmez.UNION ALL: Şu anda desteklenmemektedir.
-
Temel tablo gereksinimleri:
Temel tabloda IMCI etkin olmalıdır (
polar_enable_imci = ON) ve temel tablodaki tüm sütunlar IMCI'ye dahil edilmelidir.Temel tablo standart bir görünüm veya artımlı olmayan bir maddileştirilmiş görünüm olamaz. İç içe geçmiş maddileştirilmiş görünümlere izin verilir ancak iç görünümün de artımlı yenilemeyi desteklemesi gerekir.
-
Depolama ek yükü:
Maddileştirilmiş görünüm verilerin bir kopyasını saklar bu da ek depolama alanı tüketir.
Sistem artımlı yenilemeler için değişiklikleri günlüğe almak üzere ek depolama alanı da tüketir. Eski veriler düzenli olarak geri kazanıldığından bu depolama kullanımı sonsuza kadar artmaz.
-
Tek tablo filtreleme sınırlamaları:
Temel tablonun açık bir birincil anahtarı olmalıdır.
DISTINCTanahtar sözcüğü desteklenmez.
-
Tek tablo toplama sınırlamaları:
Temel tablonun açık bir birincil anahtarı olmalıdır.
GROUP BYyan tümcesi tek sütunlara başvurmalı ve ifade kullanmamalıdır. ÖrneğinGROUP BY YEAR(create_time)desteklenmez bunuGROUP BY create_yearolarak değiştirmeniz gerekir.Desteklenen toplama işlevleri:
COUNT,SUMveAVG.Desteklenmeyen toplama işlevleri:
STDDEV,VARIANCE,MINveMAX.GROUP BYyan tümcesi olmadan toplama şu anda desteklenmemektedir.Çok tablolu toplama şu anda desteklenmemektedir.
-
Çok tablolu birleştirme sınırlamaları
Tüm temel tabloların açık bir birincil anahtarı olmalıdır.
RIGHT JOINdesteklenmez.Birleştirmeler sol derin ağaç yapısını takip etmelidir.
A JOIN (B LEFT JOIN C) JOIN Dgibi iç içe geçmiş yapılar desteklenmez.Her tablo için ON koşulu başka bir tablodan bir sütun içermelidir.
A JOIN B ON B.id = 1gibi sözdizimine izin verilmez.
Sözdizimi
CREATE MATERIALIZED VIEW mv_name
[REFRESH [COMPLETE | FAST] [ON DEMAND]]
[START WITH now()] [NEXT now() + interval 5 second]
AS SELECT ... FROM base_table;
FAST: Yalnızca temel tablodaki değişiklikleri işleyen artımlı yenileme modunu belirtir.COMPLETE: Her seferinde tüm sorguyu yeniden hesaplayan tam yenileme modunu belirtir.ON DEMAND: Manuel olarak veya önceden tanımlanmış bir arka plan yenileme aralığı tarafından tetiklenmesi gereken talep üzerine yenilemeyi belirtir.
Örnekler
Örnek 1: Tek tablo filtresi (FILTER türü)
-
Sütunlu dizin etkinleştirilmiş bir temel tablo oluşturun.
CREATE TABLE t1 (c1 INT PRIMARY KEY, c2 INT, c3 INT) COMMENT 'COLUMNAR=1'; INSERT INTO t1 VALUES (1, 1, 1); -
Artımlı bir maddileştirilmiş görünüm oluşturun.
CREATE MATERIALIZED VIEW mv_filter REFRESH FAST ON DEMAND AS SELECT * FROM t1 WHERE c2 < 5;İlk verileri doldurmak için tam yenileme gerçekleştirin.
REFRESH MATERIALIZED VIEW mv_filter; -
Temel tablo verileri değiştikten sonra artımlı yenileme gerçekleştirin.
-- Change the base table INSERT INTO t1 VALUES (2, 2, 3); DELETE FROM t1 WHERE c1 = 1; -- Perform an incremental refresh to process only the changes above REFRESH MATERIALIZED VIEW mv_filter;
Örnek 2: Toplama istatistikleri (AGGREGATE türü)
-- Create a base table with the columnar index enabled
CREATE TABLE orders (
order_id INT PRIMARY KEY, -- Unique order ID (primary key)
user_id INT NOT NULL, -- User ID (GROUP BY column)
amount DECIMAL(12, 2) NOT NULL, -- Order amount (aggregation column)
order_date TIMESTAMP DEFAULT CURRENT_TIMESTAMP -- Order time (standard business field)
)COMMENT 'COLUMNAR=1';
-- Aggregate statistics
CREATE MATERIALIZED VIEW mv_user_order_stats
REFRESH FAST ON DEMAND
AS SELECT
user_id,
COUNT(*) AS order_count,
SUM(amount * 2) AS total_amount,
AVG(CAST(amount AS INT)) AS avg_amount
FROM orders
GROUP BY user_id;
Desteklenen toplama işlevleri: COUNT(*), COUNT(expr), SUM(expr) ve AVG(expr).
Örnek 3: Çok tablolu INNER JOIN
-
Temel tabloları oluşturun.
CREATE TABLE t4 (id4 INT PRIMARY KEY, c2 INT, c3 VARCHAR(50)) COMMENT 'COLUMNAR=1'; CREATE TABLE t5 (id5 INT PRIMARY KEY, c2 INT, c3 VARCHAR(50)) COMMENT 'COLUMNAR=1'; CREATE TABLE t6 (id6 INT PRIMARY KEY, c2 INT, c3 VARCHAR(50)) COMMENT 'COLUMNAR=1'; INSERT INTO t4 VALUES (1, 10, 'A'), (2, 20, 'B'), (3, 30, 'C'); INSERT INTO t5 VALUES (1, 100, 'X'), (2, 200, 'Y'), (4, 400, 'Z'); INSERT INTO t6 VALUES (1, 1000, 'P'), (2, 2000, 'Q'), (3, 3000, 'R');Çok tablolu INNER JOIN için artımlı bir maddileştirilmiş görünüm oluşturun.
CREATE MATERIALIZED VIEW mv_inner_with_where_on REFRESH FAST ON DEMAND AS SELECT t4.id4, t4.c2, t5.id5, t5.c2 AS t5_c2, t6.id6, t6.c2 AS t6_c2 FROM t4 INNER JOIN t5 ON t4.id4 = t5.id5 INNER JOIN t6 ON t4.id4 = t6.id6 WHERE t4.c2 > 5 AND t5.c2 > 50; -
Tam yenileme gerçekleştirin ve doğrulayın.
-- Perform a full refresh to populate the initial data REFRESH MATERIALIZED VIEW mv_inner_with_where_on; -- Change the base tables INSERT INTO t4 VALUES (4, 40, 'D'); INSERT INTO t6 VALUES (4, 4000, 'S'); UPDATE t4 SET c2 = 15 WHERE id4 = 1; DELETE FROM t5 WHERE id5 = 4; INSERT INTO t5 VALUES (5, 400, 'W'); -- Perform an incremental refresh REFRESH MATERIALIZED VIEW mv_inner_with_where_on;
Örnek 4: LEFT JOIN
-- Create base tables with the columnar index enabled
-- Create the products table (joined table / right table)
CREATE TABLE products (
product_id INT PRIMARY KEY, -- Join key, must be the primary key
product_name VARCHAR(100) NOT NULL, -- Product name
price DECIMAL(10, 2) -- Other business fields
) COMMENT 'COLUMNAR=1';
-- Create the order items table (primary table / left table)
CREATE TABLE order_items (
item_id INT PRIMARY KEY, -- Item ID, must be the primary key
order_id INT NOT NULL, -- Order ID
product_id INT, -- Join key, can be NULL (because this is a LEFT JOIN)
quantity INT NOT NULL, -- Purchase quantity
FOREIGN KEY (product_id) REFERENCES products(product_id) -- Optional foreign key constraint
) COMMENT 'COLUMNAR=1';
-- LEFT JOIN
CREATE MATERIALIZED VIEW mv_order_with_product
REFRESH FAST ON DEMAND
AS SELECT
oi.item_id,
oi.order_id,
p.product_name,
oi.quantity
FROM order_items oi
LEFT JOIN products p ON oi.product_id = p.product_id;
Örnek 5: İç içe geçmiş maddileştirilmiş görünüm (hesaplama yeniden kullanımı)
İç içe geçmiş maddileştirilmiş görünüm başka bir artımlı maddileştirilmiş görünüm üzerine kurulur bu sayede hesaplama sonuçlarını yeniden kullanabilirsiniz. Örneğin önce temel bir tablodan geçerli verileri filtreleyebilir ardından filtrelenmiş sonuç üzerinde toplama işlemi gerçekleştirebilirsiniz. Yenileme sırasında her katman yalnızca kendi artımlı değişikliklerini işler.
-
Temel bir tablo oluşturun.
CREATE TABLE order_log ( order_id INT PRIMARY KEY, user_id INT, product_category VARCHAR(50), amount DECIMAL(10,2), status VARCHAR(20), created_year INT ) COMMENT 'COLUMNAR=1'; INSERT INTO order_log VALUES (1, 101, 'electronics', 299.00, 'paid', 2025), (2, 102, 'clothing', 59.90, 'paid', 2025), (3, 103, 'electronics', 499.00, 'cancelled', 2025), (4, 101, 'clothing', 120.00, 'paid', 2025), (5, 104, 'electronics', 89.00, 'paid', 2025); -
Ödenen siparişleri filtrelemek için birinci düzey artımlı maddileştirilmiş görünüm oluşturun.
CREATE MATERIALIZED VIEW mv_paid_orders REFRESH FAST ON DEMAND AS SELECT order_id, user_id, product_category, amount, created_year FROM order_log WHERE status = 'paid';İlk verileri doldurmak için tam yenileme gerçekleştirin.
REFRESH MATERIALIZED VIEW mv_paid_orders; -
Birinci düzey görünüme dayalı olarak kategoriye göre istatistikleri toplamak için ikinci düzey artımlı maddileştirilmiş görünüm oluşturun.
CREATE MATERIALIZED VIEW mv_category_revenue REFRESH FAST ON DEMAND AS SELECT product_category, COUNT(*) AS order_count, SUM(amount) AS total_revenue FROM mv_paid_orders GROUP BY product_category;İlk verileri doldurmak için tam yenileme gerçekleştirin.
REFRESH MATERIALIZED VIEW mv_category_revenue; -
Temel tablo verileri değiştikten sonra her düzey için artımlı yenilemeyi sırayla gerçekleştirin.
-- Add new data to the base table INSERT INTO order_log VALUES (6, 105, 'electronics', 199.00, 'paid', 2025), (7, 106, 'clothing', 75.00, 'cancelled', 2025); -- Refresh in dependency order: first level, then second level REFRESH MATERIALIZED VIEW mv_paid_orders; REFRESH MATERIALIZED VIEW mv_category_revenue; -- Verify the result: order_id=7 is filtered out by the first level because its status is 'cancelled' -- and will not be included in the second-level statistics. SELECT * FROM mv_category_revenue;
Veri tutarlılığını sağlamak için iç içe geçmiş maddileştirilmiş görünümleri bağımlılık sırasına göre temel görünümden en üst düzey görünüme doğru yenilemelisiniz. Altta yatan maddileştirilmiş görünüm artımlı yenileme türü (REFRESH FAST) olmalıdır.
Artımlı yenileme gerçekleştirin
Yenilemeyi manuel olarak tetiklemek için aşağıdaki komutu çalıştırın:
REFRESH MATERIALIZED VIEW mv_name;
Artımlı yenileme son yenilemeden bu yana temel tabloda oluşan yalnızca değişiklikleri işler bu da tam tablo taraması gerektirmeden hızlı ve düşük ek yük sağlar.
REFRESH MATERIALIZED VIEW komutunu ilk kez çalıştırdığınızda sistem ilk verileri doldurmak için otomatik olarak tam yenileme gerçekleştirir. Sonraki yenilemeler artımlıdır.
Maddileştirilmiş görünümü silin
DROP MATERIALIZED VIEW mv_name;
Maddileştirilmiş bir görünümü sildikten sonra delta_mv_auto_cleanup = ON parametresi etkinse (varsayılan) sistem ilgili delta tablosunu otomatik olarak temizler.
Yönetim ve izleme
Maddileştirilmiş görünümlerin listesi
SELECT
table_name,
table_schema,
base_tables,
first_refresh_time,
refresh_strategy,
last_start_time,
last_end_time
FROM mysql.view_materialized_info
WHERE refresh_strategy = 'FAST';
Tüm maddileştirilmiş görünümler
SELECT * FROM mysql.view_materialized_info;
Yenileme görev kuyruğu
SELECT * FROM information_schema.materialized_view_refresh_queue;
SSS
Artımlı yenileme nasıl doğrulanır?
refresh_strategy değerinin FAST olduğunu doğrulamak için aşağıdaki deyimi kullanın. En son yenilemenin sonucunu kontrol etmek için last_refresh_status sütununu da kontrol edebilirsiniz.
SELECT table_name, refresh_strategy, last_start_time, last_end_time
FROM mysql.view_materialized_info;
Maddileştirilmiş görünüm ne zaman güncellenir?
Yenilemeden önce görünümdeki veriler son yenileme zamanındaki durumunu yansıtır. Verileri güncellemek için REFRESH MATERIALIZED VIEW mv_name komutunu manuel olarak çalıştırmanız gerekir.
Yenileme sırasında temel tablo kilitlenir mi?
Hayır. Artımlı yenileme sırasında temel tabloda normal okuma ve yazma işlemlerine herhangi bir etki olmadan devam edebilirsiniz.
Artımlı yenileme için toplama destekleniyor mu?
Artımlı yenileme şu anda tek tablo toplaması için desteklenmektedir. Çok tablolu toplama ve UNION ALL şu anda desteklenmemektedir.
Minimum yenileme aralığı nedir?
Minimum yenileme aralığı şu anda 1 saniyedir.