Komputasi inkremental MaxCompute memanfaatkan kemampuan penyimpanan serta operasi baca/tulis Delta Tables untuk melakukan perhitungan kompleks pada data inkremental dan secara dinamis menangkap perubahan data.
Latar Belakang
Sebagai inti dari komputasi inkremental, Dynamic Materialized View (Delta Live MV) memungkinkan perhitungan kompleks pada data inkremental. Dynamic Materialized View menggunakan teknologi komputasi inkremental untuk mendukung logika SQL terpadu dalam pemrosesan streaming maupun batch. Fitur ini secara otomatis menangkap perubahan dari tabel sumber dan terus-menerus menjalankan perhitungan inkremental yang efisien dan berbiaya rendah, sehingga menyatukan pipa data streaming dan batch Anda. Anda dapat menyesuaikan frekuensi refresh otomatis Dynamic Materialized View (Delta Live MV) guna mencapai keseimbangan optimal antara tingkat kesegaran data dan biaya komputasi sesuai berbagai skenario.
Jika Anda telah menggunakan MaxCompute untuk gudang data offline, Anda dapat dengan mudah mengubah layanan batch yang ada menjadi operasi near-real-time dengan perubahan minimal. Hal ini memungkinkan Anda secara bertahap meningkatkan sistem MaxCompute dari platform berbasis batch saja menjadi arsitektur gudang data terpadu yang mendukung stream dan batch. Bagi pengguna MaxCompute baru, gunakan Dynamic Materialized View sejak awal. Pendekatan ini membantu Anda membangun arsitektur gudang data terpadu yang mampu menangani data inkremental maupun penuh serta pemrosesan streaming dan batch sesuai kebutuhan real-time bisnis Anda.
Anda juga dapat secara dinamis menangkap perubahan data hulu menggunakan Stream dan task periodik.
Kasus Penggunaan
Gunakan Dynamic Materialized View (Delta Live MV) untuk membangun pipa data otomatis baik untuk data inkremental maupun penuh.
Gunakan Stream dan task periodik (pratinjau hanya berdasarkan undangan) untuk secara dinamis menangkap perubahan data.
Penggunaan
Fitur Stream dan Dynamic Materialized View (Delta Live MV) kini telah tersedia secara umum. Fitur task periodik saat ini berada dalam tahap pratinjau hanya berdasarkan undangan. Untuk meminta akses, silakan submit a ticket.