Data Lake Formation (DLF) adalah platform terpadu yang sepenuhnya dikelola untuk manajemen metadata, penyimpanan, serta kontrol akses data. Platform ini juga menyediakan analitik dan optimasi penyimpanan. DLF berintegrasi dengan mulus bersama mesin analitik big data dari Alibaba Cloud untuk menghilangkan silodata. Dengan DLF, Anda dapat membangun dan mengelola danau data berbasis cloud-native dan solusi OpenLake secara cepat. DLF menyederhanakan operasi dan pemeliharaan (O&M) dalam membangun dan mengelola danau data melalui penggabungan metadata, format tabel danau, dan manajemen penyimpanan, sehingga memungkinkan bisnis fokus pada inovasi dan wawasan data.
Fitur
Metadata dan Penyimpanan Terpadu
Menyediakan satu set metadata dan penyimpanan danau data yang dibagikan di antara mesin komputasi, memungkinkan aliran data tanpa hambatan di antara produk-produk terintegrasi.
Pengelolaan Izin Terpadu
Menawarkan satu set konfigurasi izin untuk tabel danau data, memungkinkan Anda mendefinisikan izin sekali dan menerapkannya di semua layanan.
Optimasi Penyimpanan
Meningkatkan efisiensi penyimpanan melalui strategi seperti penggabungan file, pembersihan snapshot kadaluarsa, pembersihan partisi kadaluarsa, dan pembersihan file yatim piatu.
Ekosistem Komprehensif
Berintegrasi mendalam dengan produk-produk Alibaba Cloud, termasuk mesin pemrosesan aliran dan batch, untuk pengalaman siap pakai yang meningkatkan kegunaan dan menyederhanakan operasi.
Arsitektur
Manajemen Metadata: Gunakan Konsol untuk melihat dan mengelola metadatabase di danau data Anda, membuat metadatabase baru, mengelola metadata, dan berintegrasi dengan aplikasi pihak ketiga.
Pengelolaan Izin: Perkuat kontrol akses atas data danau Anda untuk memastikan keamanannya. DLF mendukung pengelolaan izin di tiga tingkat: Katalog, database, dan tabel.
Optimasi Penyimpanan: Mendukung strategi optimasi tabel danau seperti penggabungan file, pembersihan snapshot kadaluarsa, pembersihan partisi kadaluarsa, dan pembersihan file yatim piatu. Strategi ini mengurangi biaya penyimpanan dan meningkatkan efisiensi kueri.
Manfaat
Layanan Tergelola Sepenuhnya: Sebagai layanan terkelola sepenuhnya, DLF menawarkan manajemen metadata dan penyimpanan Paimon yang terpadu. Tersedia langsung dari kotak, bebas O&M, dan mendukung siklus hidup data penuh.
Keamanan Tingkat Perusahaan: DLF memberikan kontrol ganda atas API dan izin data di beberapa tingkat abstraksi, memastikan data Anda aman dan sesuai.
Strategi Optimasi Fleksibel: Mendukung strategi optimasi tabel danau yang fleksibel, termasuk penggabungan file dan pembersihan data, untuk meningkatkan kinerja akses secara signifikan dan menurunkan biaya penyimpanan.
Ekosistem Kaya: Dibangun di atas integrasi mendalam dengan Paimon, DLF menyediakan layanan terkelola sepenuhnya untuk mengelola metadata dan penyimpanan. Ini terhubung mulus dengan mesin komputasi dan produk AI Alibaba Cloud, membentuk ekosistem yang kuat.
Kasus penggunaan
Data lakehouse
Danau data terpadu menggabungkan manfaat gudang data dan danau data. Arsitektur ini menangani berbagai jenis data sambil memberikan analitik berkinerja tinggi. Anda dapat menggunakan danau data terpadu untuk memproses volume besar data historis dan real-time. Data yang diproses kemudian dapat berfungsi sebagai resource yang dibagikan, memungkinkan tim yang berbeda mengaksesnya sesuai permintaan sambil menjaga keamanan data yang kuat.
Casus penggunaan big data tradisional
DLF sangat ideal untuk casus penggunaan big data tradisional, termasuk komputasi dan analitik danau data. Aplikasi umum mencakup analisis big data offline, analisis real-time, pembelajaran mesin, dan analisis file log. Dengan menyediakan layanan metadata dan penyimpanan terpadu, DLF menyederhanakan dan mempercepat pembangunan danau data serta pengelolaan data Anda.