MaxCompute:CREATE MATERIALIZED VIEW

Latar Belakang

Tampilan adalah tabel virtual yang didefinisikan oleh kueri. Sebaliknya, Tampilan yang di-materialisasi adalah tabel fisik yang menyimpan hasil kueri yang telah dihitung sebelumnya dan mengonsumsi sumber daya penyimpanan. Untuk detail penagihan, lihat Aturan Penagihan.

Tabel berikut membandingkan kueri tradisional dengan kueri Tampilan yang di-materialisasi.

SELECT empid, deptname  
FROM emps JOIN depts 
ON emps.deptno=depts.deptno 
WHERE hire_date >= '2018-01-01';

CREATE MATERIALIZED VIEW mv 
AS SELECT empid, deptname, hire_date  
FROM emps JOIN depts 
ON emps.deptno=depts.deptno 
WHERE hire_date >= '2016-01-01';

SELECT empid, deptname FROM mv 
WHERE hire_date >= '2018-01-01';

SELECT empid, deptname 
FROM emps JOIN depts 
ON emps.deptno=depts.deptno 
WHERE hire_date >= '2018-01-01';
-- Ini setara dengan pernyataan berikut.
SELECT empid, deptname FROM mv 
WHERE hire_date >= '2018-01-01';

Aturan Penagihan

Biaya Tampilan yang di-materialisasi terdiri dari dua komponen:

• Biaya penyimpanan

  Tampilan yang di-materialisasi mengonsumsi penyimpanan fisik, sehingga dikenai biaya penyimpanan berdasarkan model pay-as-you-go. Untuk informasi selengkapnya, lihat Harga Penyimpanan (pay-as-you-go).

• Biaya komputasi

  Membuat, memperbarui, dan mengkueri Tampilan yang di-materialisasi — termasuk query rewrite saat tampilan valid — mengonsumsi sumber daya komputasi dan dikenai biaya komputasi.

  • Jika Proyek MaxCompute Anda menggunakan paket langganan, tidak ada biaya tambahan yang dikenai.

  • Jika Proyek MaxCompute Anda menggunakan paket pay-as-you-go, MaxCompute menghitung biaya berdasarkan kompleksitas SQL dan volume data masukan. Untuk informasi selengkapnya, lihat Harga SQL Standar. Perhatikan hal berikut:

    • Pernyataan SQL yang digunakan untuk refresh Tampilan yang di-materialisasi sama dengan kueri pendefinisinya. Jika proyek terikat pada kelompok sumber daya komputasi langganan, operasi ini menggunakan sumber daya yang telah Anda beli tanpa biaya tambahan. Jika proyek menggunakan kelompok sumber daya pay-as-you-go, biaya bergantung pada volume data masukan dan kompleksitas SQL. Setelah refresh, biaya penyimpanan dikenai berdasarkan ukuran aktual Tampilan yang di-materialisasi.

    • Saat Tampilan yang di-materialisasi valid, query rewrite membaca data dari tampilan tersebut. Volume data masukan bergantung pada Tampilan yang di-materialisasi, bukan tabel sumber. Jika tampilan tidak valid, query rewrite tidak tersedia dan kueri membaca langsung dari tabel sumber. Untuk informasi selengkapnya, lihat Kueri status Tampilan yang di-materialisasi.

    • Saat Tampilan yang di-materialisasi dibuat dari join multi-tabel, dapat terjadi pembengkakan data (data bloat). Membaca dari Tampilan yang di-materialisasi tidak selalu mengurangi biaya dibandingkan membaca langsung dari tabel sumber.

Batasan

Fungsi window, user-defined table-valued function (UDTF), dan fungsi non-deterministik seperti user-defined scalar function (UDF) serta Fungsi agregat yang didefinisikan pengguna (UDAF) tidak didukung.

Tindakan Pencegahan

• Jika pernyataan kueri yang menjadi dasar pembuatan Tampilan yang di-materialisasi gagal dieksekusi, Anda tidak dapat membuat Tampilan yang di-materialisasi tersebut.

• Kolom kunci partisi dalam Tampilan yang di-materialisasi harus berasal dari tabel sumber. Urutan dan jumlah kolom dalam Tampilan yang di-materialisasi harus sama dengan urutan dan jumlah kolom dalam tabel sumber. Nama kolom boleh berbeda.

• Anda harus menentukan komentar untuk semua kolom, termasuk kolom kunci partisi. Jika Anda hanya menentukan komentar untuk sebagian kolom, sistem akan mengembalikan error.

• Anda dapat menentukan atribut partisi dan clustering untuk Tampilan yang di-materialisasi. Dalam kasus ini, data dalam setiap partisi memiliki atribut clustering yang ditentukan.

• Jika pernyataan kueri yang menjadi dasar pembuatan Tampilan yang di-materialisasi mengandung operator yang tidak didukung oleh Tampilan yang di-materialisasi, sistem akan mengembalikan error. Untuk informasi selengkapnya tentang operator yang didukung oleh Tampilan yang di-materialisasi, lihat Lakukan operasi query rewrite berdasarkan Tampilan yang di-materialisasi.

• Secara default, MaxCompute tidak mengizinkan Anda membuat Tampilan yang di-materialisasi menggunakan fungsi non-deterministik, seperti UDF atau UDAF. Jika Anda harus menggunakan fungsi non-deterministik berdasarkan kebutuhan bisnis, jalankan perintah set odps.sql.materialized.view.support.nondeterministic.function=true; pada tingkat sesi.

• Jika tabel sumber Tampilan yang di-materialisasi berisi partisi kosong, Anda dapat merefresh Tampilan yang di-materialisasi untuk menghasilkan partisi kosong dalam Tampilan yang di-materialisasi tersebut.

Sintaks

CREATE MATERIALIZED VIEW [IF NOT EXISTS] [project_name.]<mv_name>
[LIFECYCLE <days>]    --Menentukan siklus hidup.
[BUILD DEFERRED]    --Membuat skema tanpa mengisi data.
[(<col_name> [COMMENT <col_comment>], ...)]    --Komentar kolom.
[DISABLE REWRITE]    --Menentukan apakah Tampilan yang di-materialisasi dapat digunakan untuk query rewrite.
[COMMENT 'table comment']    --Komentar tabel.
[PARTITIONED BY (<col_name> [, <col_name>, ...])]    --Membuat Tampilan yang di-materialisasi sebagai tabel partisi.
[CLUSTERED BY | RANGE CLUSTERED BY (<col_name> [, <col_name>, ...])
  [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
    INTO <number_of_buckets> BUCKETS]    --Menetapkan properti shuffle dan sort untuk tabel terkluster.
[REFRESH EVERY <num> {MINUTES | HOURS | DAYS}] 
[TBLPROPERTIES("compressionstrategy"="{normal|high|extreme}",    --Menentukan strategi kompresi penyimpanan data untuk tabel.
                "enable_auto_substitute"="true",    --Menentukan apakah akan mengaktifkan query passthrough ke tabel sumber saat partisi tidak ada.
                "enable_auto_refresh"="true",    --Menentukan apakah akan mengaktifkan refresh otomatis.
                "refresh_interval_minutes"="120",    --Menentukan interval refresh.
                "only_refresh_max_pt"="true"    --Untuk Tampilan yang di-materialisasi partisi, hanya merefresh partisi terbaru dari tabel sumber.
                )]
AS <select_statement>;

Parameter

Contoh

Lakukan operasi query rewrite berdasarkan Tampilan yang di-materialisasi

Fitur paling penting dari Tampilan yang di-materialisasi adalah melakukan operasi query rewrite pada pernyataan kueri. Untuk melakukan operasi query rewrite pada pernyataan kueri berdasarkan Tampilan yang di-materialisasi, Anda harus menambahkan set odps.sql.materialized.view.enable.auto.rewriting=true; sebelum pernyataan kueri. Jika Tampilan yang di-materialisasi tidak valid, Tampilan yang di-materialisasi tidak dapat digunakan untuk operasi query rewrite. Dalam kasus ini, data dikueri dari tabel sumber, dan kecepatan kueri tidak dipercepat.

Tabel berikut membandingkan jenis operator query rewrite yang didukung oleh MaxCompute dengan produk lain.

Operasi query rewrite berdasarkan Tampilan yang di-materialisasi mengharuskan data dalam pernyataan kueri diperoleh dari Tampilan yang di-materialisasi. Data tersebut mencakup kolom output, kolom yang diperlukan oleh operasi filter, kolom yang diperlukan oleh fungsi agregat, dan kolom yang diperlukan oleh operasi JOIN. Jika kolom yang diperlukan dalam pernyataan kueri tidak termasuk dalam Tampilan yang di-materialisasi atau tidak didukung oleh fungsi agregat, Anda tidak dapat melakukan operasi query rewrite berdasarkan Tampilan yang di-materialisasi tersebut.

Penetrasi kueri Tampilan yang di-materialisasi

Tampilan yang di-materialisasi partisi mungkin tidak berisi data untuk semua partisi — misalnya, jika Anda hanya merefresh partisi terbaru. Saat kueri menargetkan partisi yang tidak memiliki data dalam Tampilan yang di-materialisasi, sistem secara otomatis kembali ke tabel partisi sumber. Gambar berikut mengilustrasikan proses ini.

Contoh berikut menunjukkan cara menggunakan Tampilan yang di-materialisasi yang mendukung kueri penetrasi.

1. Buat Tampilan yang di-materialisasi partisi yang mendukung kueri penetrasi.

   -- Buat tabel sumber bernama src.
   CREATE TABLE src(id bigint,name string) PARTITIONED BY (dt string);
   -- Masukkan data.
   INSERT INTO src PARTITION(dt='20210101') VALUES(1,'Alex');
   INSERT INTO src PARTITION(dt='20210102') VALUES(2,'Flink');
   
   -- Buat Tampilan yang di-materialisasi partisi yang mendukung kueri penetrasi.
   CREATE MATERIALIZED VIEW IF NOT EXISTS mv LIFECYCLE 7 
   PARTITIONED BY (dt) 
   tblproperties("enable_auto_substitute"="true") 
   AS SELECT id, name, dt FROM src;

2. Kueri data dari partisi 20210101 dalam Tampilan yang di-materialisasi mv.

   SELECT * FROM mv WHERE dt='20210101';

3. Kueri data dari partisi 20210102 dalam Tampilan yang di-materialisasi mv. Sistem secara otomatis melakukan kueri penetrasi pada tabel sumber karena partisi ini belum dimaterialisasi.

   SELECT * FROM mv WHERE dt = '20210102';
   -- Karena data untuk partisi 20210102 belum dimaterialisasi, kueri ditulis ulang untuk mengakses tabel sumber. Ini setara dengan:
   SELECT * FROM (SELECT id, name, dt FROM src WHERE dt='20210102') t;

4. Kueri data dari rentang partisi dalam Tampilan yang di-materialisasi mv. Sistem secara otomatis melakukan kueri penetrasi pada tabel sumber untuk data yang belum dimaterialisasi dan menggabungkannya dengan data yang telah dimaterialisasi menggunakan operasi UNION sebelum mengembalikan hasil.

   SELECT * FROM mv WHERE dt >= '20201230' AND dt<='20210102' AND id=5; 
   -- Karena data untuk partisi 20201230 dan 20210102 belum dimaterialisasi, kueri ditulis ulang untuk mengakses tabel sumber. Ini setara dengan:
   SELECT * FROM
   (SELECT id, name, dt FROM src WHERE dt='20201230' OR dt='20210102'
    UNION ALL  
    SELECT * FROM mv WHERE dt='20210101'
   ) t WHERE id = 5;

Pernyataan Terkait

• ALTER MATERIALIZED VIEW: memperbarui Tampilan yang di-materialisasi, mengubah siklus hidup Tampilan yang di-materialisasi, mengaktifkan atau menonaktifkan fitur siklus hidup untuk Tampilan yang di-materialisasi, atau menghapus partisi dari Tampilan yang di-materialisasi.

• DESC TABLE/VIEW: melihat informasi tentang Tampilan yang di-materialisasi dalam proyek MaxCompute.

• SELECT MATERIALIZED VIEW: mengkueri status Tampilan yang di-materialisasi.

• DROP MATERIALIZED VIEW: menghapus Tampilan yang di-materialisasi yang ada.