Untuk integrasi yang mulus dengan data lake Anda, Hologres V3.0 dan versi yang lebih baru memungkinkan pembuatan tabel eksternal untuk sumber data Paimon di Data Lake Formation (DLF). Hologres V4.0 lebih lanjut meningkatkan kemampuan ini dengan memperkenalkan tabel dinamis eksternal. Fitur ini menggabungkan keunggulan tabel eksternal dan tabel dinamis: secara otomatis membuat tabel eksternal Paimon, memproses data secara bertahap, dan menuliskan hasilnya kembali ke data lake, sehingga memungkinkan pembangunan danau data terpadu (data lakehouse) yang efisien.
Arsitektur
Manfaat
Manfaat tabel dinamis eksternal adalah sebagai berikut:
Pipa data terpadu: Mengonsolidasikan transformasi data, pembuatan tabel target di data lake, dan penulisan kembali data yang telah diproses ke dalam satu tabel dinamis eksternal. Hal ini menyederhanakan alur kerja dengan menghilangkan kebutuhan akan beberapa pekerjaan terpisah.
Penulisan bertahap yang efisien: Memanfaatkan mode pembaruan bertahap untuk secara otomatis memproses dan menuliskan hanya data baru atau yang berubah ke data lake. Pendekatan ini mengurangi volume data yang diproses serta sumber daya komputasi yang dikonsumsi per siklus pembaruan, sehingga menghasilkan waktu respons lebih cepat dibandingkan pembaruan penuh.
Pengurangan biaya dengan arsitektur tanpa server: Memanfaatkan sumber daya arsitektur tanpa server untuk komputasi bayar sesuai penggunaan. Sumber daya dialokasikan hanya selama siklus pembaruan dan segera dilepas setelahnya, sehingga menghilangkan biaya sumber daya menganggur. Untuk informasi selengkapnya, lihat Apa itu instans Hologres serverless?.
Kasus penggunaan
Tabel dinamis eksternal sangat ideal untuk kasus penggunaan berikut.
Kueri data lake hemat biaya dengan latensi hampir real-time
Gunakan tabel Paimon di data lake Anda sebagai sumber untuk tabel dinamis eksternal. Tabel tersebut melakukan transformasi data Paimon secara bertahap dan menuliskannya kembali ke Paimon tanpa data pernah meninggalkan data lake. Lakukan kueri terhadap data yang telah diproses secara langsung melalui tabel eksternal Hologres untuk mendapatkan wawasan hampir real-time dari data lake Anda.
Membangun danau data terpadu (data lakehouse)
Gunakan tabel Hologres atau MaxCompute sebagai sumber untuk tabel dinamis eksternal. Tabel tersebut mentransformasikan data dan secara otomatis menuliskan hasilnya ke data lake Anda untuk penyimpanan terpusat. Hal ini mengurangi biaya penyimpanan, memfasilitasi pemrosesan data, serta mengintegrasikan data lake dan gudang data Anda.