DataWorks:Tampilan yang di-materialisasi

Kapan menggunakan rekomendasi tampilan yang di-materialisasi

Rekomendasi tampilan yang di-materialisasi cocok digunakan ketika beban kerja MaxCompute Anda memiliki satu atau lebih karakteristik berikut:

• Subkueri mahal yang berulang: Beberapa task yang dipicu secara otomatis berbagi subkueri join atau agregasi yang sama, dan menghitung ulang subkueri tersebut setiap hari merupakan pemborosan sumber daya komputasi.

• Data masukan ber-volume tinggi: Subkueri bersama memproses lebih dari 1.000.000 baris data masukan per eksekusi, dan hasilnya tidak berubah antar pekerjaan downstream.

• Pipeline BI atau pelaporan: Node downstream bercabang dari langkah persiapan data umum, dan menjadwalkan semuanya untuk menghitung ulang langkah tersebut merupakan hal yang redundan.

Cara kerja

Ketika DataWorks membuat tampilan yang di-materialisasi, sistem secara sinkron membuat node yang menghasilkan data tampilan dan men-deploy-nya ke lingkungan produksi. Node yang memiliki subkueri serupa menjadi node turunan dari node refresh tampilan yang di-materialisasi. DataWorks menjadwalkan node refresh terlebih dahulu berdasarkan dependensi penjadwalan. Saat node turunan membutuhkan hasil subkueri bersama, mereka membaca dari tampilan yang di-materialisasi yang telah direfresh alih-alih menghitung ulang, sehingga mengurangi frekuensi komputasi.

Fitur ini bergantung pada kemampuan rekomendasi dan manajemen tampilan yang di-materialisasi dari MaxCompute. Untuk informasi selengkapnya, lihat Rekomendasi dan manajemen tampilan yang di-materialisasi.

Wilayah yang tersedia: Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Shenzhen), Tiongkok (Beijing), dan Tiongkok (Chengdu).

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Menambahkan sumber data MaxCompute ke DataWorks. Lihat Mengaitkan resource komputasi MaxCompute

• Mengaktifkan fitur analisis cerdas tampilan yang di-materialisasi di MaxCompute. Lihat Rekomendasi dan manajemen tampilan yang di-materialisasi

Langkah 1: Aktifkan rekomendasi cerdas tampilan yang di-materialisasi

Hanya pengguna yang diberi peran Workspace Administrator yang dapat mengaktifkan atau menonaktifkan rekomendasi cerdas tampilan yang di-materialisasi.

1. Buka halaman Data Asset Governance. Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Governance > Data Asset Governance, lalu klik Go to Data Asset Governance.

2. Di panel navigasi kiri, pilih Governance > Automation > MV.

3. Di halaman MV, pilih ruang kerja dari daftar drop-down Workspace dan klik Materialized View Recommendation. Di kotak dialog, aktifkan sakelar di kolom Materialized View Recommendation untuk proyek yang ingin Anda aktifkan.

   

Setelah Anda mengaktifkan fitur ini untuk proyek MaxCompute yang dikaitkan dengan DataStudio DataWorks, sistem mulai menganalisis riwayat penjadwalan. Rekomendasi muncul di tab Materialized View Recommendation hanya jika ketiga kondisi berikut terpenuhi:

• Task yang dipicu secara otomatis telah berjalan lebih dari tiga hari berturut-turut

• Jumlah baris data masukan dalam subkueri bersama melebihi 1.000.000

• Subkueri bersama berisi operator reorganisasi data, seperti operator join atau agregasi

Langkah 2: Tinjau rekomendasi tampilan yang di-materialisasi

1. Pilih ruang kerja dari daftar drop-down Workspace dan klik tab Materialized View Recommendation.

2. Tetapkan kondisi filter seperti Project dan Analysis Time Interval untuk menemukan rekomendasi. Setiap baris rekomendasi mencakup bidang-bidang berikut:

   Field	Description
   Materialized View Recommendation	Mengidentifikasi rekomendasi. Format: Aggregate: xx; Inputs: xx, xx;. Aggregate menunjukkan apakah subkueri bersama berisi agregasi. Inputs mencantumkan semua tabel sumber yang dibaca oleh subkueri.
   Number of possibly affected SQL statements	Jumlah pekerjaan yang menggunakan subkueri bersama
   Possibly affected node	Jumlah node penjadwalan yang menggunakan subkueri bersama
   Recommendation rating	Diperoleh dari pengulangan subkueri, kompleksitas, dan volume data masukan. Rating yang lebih tinggi menunjukkan potensi manfaat yang lebih besar.

   

3. Klik pengenal di kolom Materialized View Recommendation untuk melihat detail lengkap subkueri bersama, termasuk informasi tabel sumber, SQL subkueri bersama, pekerjaan terkait, dan task penjadwalan.

   

Menilai rekomendasi: Sebelum membuat tampilan, periksa apakah rating rekomendasi dan jumlah node yang terpengaruh membenarkan overhead refresh. Rating tinggi dengan banyak node yang terpengaruh biasanya menunjukkan penghematan terbesar. Jika rekomendasi mencakup subkueri yang jarang dijalankan atau data sumbernya jarang berubah, biaya refresh mungkin melebihi manfaatnya.

Langkah 3: Buat tampilan yang di-materialisasi

1. Di tab Materialized View Recommendation, temukan rekomendasi yang ingin Anda tindaklanjuti dan klik Create Materialized View di kolom Actions.

2. Di halaman Create Materialized View, konfigurasikan parameter. Bagian Create Materialized View — definisikan tampilan itu sendiri. Bagian (Optional) Create materialized view refresh node — buat node penjadwalan untuk menjaga tampilan tetap mutakhir: Konfigurasikan Materialized View Refresh Node Name dan Node Running Timeout Period. Ketika node yang menghasilkan tabel sumber menghasilkan output baru, node refresh ini secara dinamis memperbarui tampilan yang di-materialisasi. Bagian (Optional) Add materialized view refresh node as ancestor node — hubungkan node refresh ke graf penjadwalan yang ada: Menambahkan node refresh sebagai node leluhur dari node dengan logika komputasi serupa meningkatkan tingkat hit kueri untuk data inkremental. Daftar ini mencakup task dari ruang kerja saat ini dan ruang kerja lainnya. Klik View Details untuk memeriksa task individual sebelum menambahkannya.

   Parameter	Description
   Input table	Diperoleh secara otomatis dari rekomendasi. Tidak perlu dimodifikasi.
   Create materialized view or not	Default-nya adalah Create Materialized View. Jika tampilan dengan tabel masukan yang sama sudah ada, atur opsi ini ke Select Existing Materialized View.
   Materialized view name	Tentukan nama sesuai kebutuhan bisnis Anda.
   Lifecycle	Lama data tampilan disimpan. Opsi: 1 Day, 7 Days, Custom Days.
   Refresh type	Mengontrol kapan data tampilan diperbarui. Lihat tabel di bawah.
   Preview statement	Pernyataan SQL yang mendefinisikan tampilan yang di-materialisasi.

   Memilih jenis refresh:

   Refresh type	When DataWorks selects it	When to use it
   Time Management Cron Mode	Default ketika tabel sumber merupakan output dari task DataWorks	Gunakan ketika node downstream bergantung pada output terbaru dari tabel leluhur. Tampilan direfresh pada waktu output terbaru dari node leluhur.
   Refresh at Fixed Interval	Default ketika tabel sumber bukan output task DataWorks	Gunakan untuk tabel yang diperbarui sesuai jadwal eksternal.
   Do Not Refresh	Tidak pernah dipilih secara otomatis	Gunakan ketika data sumber bersifat statis.

   

   

   

3. Klik Create and Execute. DataWorks mulai membuat tampilan yang di-materialisasi. Lacak progres di kolom Operation Status pada tab Materialized View Recommendation, atau klik View Details di kolom Actions.

   Status	Meaning
   To be created	Tampilan yang di-materialisasi belum dibuat oleh DataWorks
   Creating	Pembuatan sedang berlangsung
   Created	Pembuatan berhasil
   Create failed	Pembuatan telah dimulai tetapi gagal

   

Setelah pembuatan selesai, jika Anda mengonfigurasi bagian Create Materialized View Refresh Node dan Add Materialized View Refresh Node as Ancestor Node, node refresh secara otomatis ditetapkan sebagai node leluhur dari node dengan logika komputasi serupa. Pemilik node refresh adalah akun yang digunakan untuk membuat tampilan yang di-materialisasi.

Langkah 4: Kelola tampilan yang di-materialisasi

1. Pilih ruang kerja dari daftar drop-down Workspace dan klik tab Materialized View Management.

2. Tetapkan kondisi filter seperti Project untuk menampilkan tampilan yang di-materialisasi yang dibuat dari rekomendasi.

   Penting

   Untuk proyek MaxCompute pay-as-you-go, kapasitas komputasi yang dihemat = jumlah data masukan × kompleksitas SQL; biaya = kapasitas komputasi × harga satuan. Untuk detail harga, lihat Harga komputasi (pay-as-you-go).

   

3. Klik nama tampilan yang di-materialisasi di kolom MV untuk melihat detailnya.

   

4. Untuk menghapus tampilan yang di-materialisasi yang output-nya tidak lagi memenuhi kebutuhan Anda, temukan di daftar dan klik Delete di kolom Actions.