Data Lake Formation (DLF) menawarkan platform terpadu yang sepenuhnya dikelola untuk manajemen data, metadata, dan penyimpanan. Selain itu, DLF menyediakan kontrol akses data, analisis, serta optimalisasi penyimpanan. DLF terintegrasi secara mulus dengan berbagai mesin analitik data besar Alibaba Cloud untuk menghilangkan silodata. Dengan DLF, Anda dapat dengan cepat membangun dan mengelola data lake cloud-native serta solusi OpenLake. Dengan menyatukan metadata, format tabel lake, dan manajemen penyimpanan, DLF secara signifikan menyederhanakan operasi dan pemeliharaan (O&M) dalam membangun serta mengelola data lake, sehingga bisnis dapat fokus pada inovasi dan wawasan data.
Fitur
Metadata dan penyimpanan terpadu
Menyediakan satu set metadata dan penyimpanan lakehouse yang dibagikan di antara berbagai mesin komputasi, memungkinkan aliran data yang mulus antar produk terintegrasi.
Pengelolaan izin terpadu
Menawarkan satu set konfigurasi izin terpadu untuk tabel lakehouse, sehingga Anda cukup menetapkan izin sekali dan menerapkannya di seluruh layanan.
Optimalisasi penyimpanan
Meningkatkan efisiensi penyimpanan melalui strategi seperti file compaction, pembersihan snapshot kedaluwarsa, pembersihan partisi kedaluwarsa, dan pembersihan file yang tidak terpakai.
Ekosistem komprehensif
Terintegrasi secara mendalam dengan produk-produk Alibaba Cloud, termasuk mesin pemrosesan stream dan batch, untuk pengalaman siap pakai yang meningkatkan kegunaan dan menyederhanakan operasi.
Arsitektur
Manajemen metadata: Gunakan Konsol untuk melihat dan mengelola metadatabase di data lake Anda, serta membuat metadatabase baru guna mengelola metadata dan mengintegrasikannya dengan aplikasi pihak ketiga.
Pengelolaan izin: Perkuat kontrol akses terhadap data lakehouse Anda untuk memastikan keamanannya. DLF mendukung Pengelolaan izin pada tiga tingkat: Catalog, database, dan table.
Optimalisasi penyimpanan: Mendukung strategi optimalisasi tabel lakehouse seperti file compaction, pembersihan snapshot kedaluwarsa, pembersihan partisi kedaluwarsa, dan pembersihan file yang tidak terpakai. Strategi-strategi ini mengurangi biaya penyimpanan dan meningkatkan efisiensi kueri.
Manfaat
Layanan yang sepenuhnya dikelola: Sebagai layanan yang sepenuhnya dikelola, DLF menawarkan manajemen metadata dan penyimpanan Paimon terpadu. Layanan ini siap pakai, bebas O&M, dan mendukung seluruh siklus hidup data.
Keamanan tingkat enterprise: DLF menyediakan kontrol ganda atas API dan izin data di berbagai tingkat abstraksi, memastikan data Anda aman dan sesuai regulasi.
Strategi optimalisasi fleksibel: Mendukung strategi optimalisasi tabel lakehouse yang fleksibel, termasuk file compaction dan pembersihan data, untuk secara signifikan meningkatkan kinerja akses dan menurunkan biaya penyimpanan.
Ekosistem yang kaya: Dibangun di atas integrasi mendalam dengan Paimon, DLF menyediakan layanan yang sepenuhnya dikelola untuk mengelola metadata dan penyimpanan. Layanan ini terhubung secara mulus dengan mesin komputasi dan produk AI Alibaba Cloud, membentuk ekosistem yang kuat.
Kasus penggunaan
Data lakehouse
Data lakehouse menggabungkan keunggulan gudang data dan data lake. Arsitektur ini menangani berbagai tipe data sekaligus memberikan analitik berkinerja tinggi. Anda dapat menggunakan data lakehouse untuk memproses volume besar data historis dan real-time. Data yang telah diproses kemudian dapat berfungsi sebagai sumber daya bersama, memungkinkan tim yang berbeda mengaksesnya sesuai kebutuhan sambil tetap menjaga keamanan data yang kuat.
Kasus penggunaan data besar tradisional
DLF sangat ideal untuk kasus penggunaan data besar tradisional, termasuk komputasi dan analitik data lake. Aplikasi umum meliputi analisis data besar offline, analisis real-time, pembelajaran mesin, dan analisis file log. Dengan menyediakan layanan metadata dan penyimpanan terpadu, DLF menyederhanakan dan mempercepat pembangunan data lake serta tata kelola data Anda.