Data Lake Formation (DLF) adalah layanan data lake yang sepenuhnya dikelola, menyediakan manajemen metadata, izin, dan penyimpanan terpadu serta terintegrasi dengan mesin komputasi data besar Alibaba Cloud.
Pilih dokumen berdasarkan tujuan Anda
Jika Anda sudah mengetahui tujuan yang ingin dicapai, langsung buka dokumen yang relevan.
| Tujuan | Dokumen yang direkomendasikan |
|---|---|
| Aktifkan dan mulai menggunakan DLF | Set up DLF dan Get started with DLF |
| Buat dan kelola katalog, database, atau tabel | Manage catalogs dan Manage tables |
| Berikan izin data kepada pengguna atau peran | Manage data permissions |
| Akses DLF dari mesin komputasi | Compute engine integration |
| Optimalkan file dan penyimpanan tabel lake | Storage optimization |
| Kelola dan ambil data multimodal | Multimodal data lake |
| Kelola DLF menggunakan API atau CLI | API user guide dan CLI reference |
Jika Anda baru mengenal DLF, aktifkan layanan terlebih dahulu, lalu ikuti panduan memulai untuk menyelesaikan tugas pertama Anda.
Kemampuan inti
Metadata dan penyimpanan terpadu
DLF menyediakan satu set metadata dan penyimpanan lakehouse yang digunakan bersama oleh semua mesin komputasi terintegrasi. Data mengalir antar produk tanpa perlu sinkronisasi manual atau duplikasi skema.
Pengelolaan izin terpadu
Tentukan kontrol akses sekali saja di tingkat Catalog, database, atau tabel. Setiap layanan terintegrasi menerapkan izin yang sama, sehingga tidak perlu konfigurasi izin terpisah untuk setiap mesin.
Optimasi penyimpanan
DLF mengotomatiskan pemeliharaan tabel lakehouse melalui strategi yang dapat dikonfigurasi:
| Strategi | Efek |
|---|---|
| File compaction | Menggabungkan file kecil untuk meningkatkan performa pemindaian |
| Expired snapshot cleanup | Menghapus snapshot lama untuk membebaskan ruang penyimpanan |
| Expired partition cleanup | Menghapus data dari partisi yang telah kedaluwarsa |
| Orphaned file cleanup | Menghapus file yang tidak lagi dirujuk oleh versi tabel mana pun |
Manajemen dan pengambilan data multimodal
DLF mengelola data multimodal yang mencakup gambar, vektor, dan dokumen, serta mendukung image search, pencarian teks lengkap, dan eksplorasi visual.
Integrasi mesin komputasi
Mesin komputasi stream dan batch Alibaba Cloud dapat mengakses serta menggunakan data yang dikelola di DLF.
Arsitektur
Arsitektur DLF terdiri dari tiga lapisan:
| Lapisan | Kemampuan |
|---|---|
| Manajemen metadata | Mengelola katalog, database, tabel, dan metadata-nya. |
| Pengelolaan izin | Mengelola izin data di tingkat katalog, database, dan tabel. |
| Optimasi penyimpanan | Mengelola strategi file compaction, expired snapshot cleanup, expired partition cleanup, dan orphaned file cleanup. |
Kasus penggunaan
Data lakehouse
DLF menyediakan manajemen metadata, penyimpanan, dan izin terpadu untuk data historis, real-time, dan multimodal, serta memungkinkan mesin komputasi mengakses data yang telah dikelola.
Data besar tradisional
DLF mendukung analitik offline, analitik real-time, pembelajaran mesin, dan analitik log. Manajemen metadata dan penyimpanan terpadu menyederhanakan pembangunan dan tata kelola data lake.
Langkah selanjutnya
| Tujuan | Langkah selanjutnya |
|---|---|
| Memahami biaya | Lihat Billing. |
| Mulai menggunakan DLF | Lihat Get started with DLF. |
| Coba pengambilan multimodal | Lihat Get started with DLF multimodal retrieval. |
| Ikuti implementasi end-to-end | Lihat Build a streaming lakehouse by using DLF and Flink. |