All Products
Search

This Product

    Data Lake Formation:DLF vs. FileSystem Catalog yang Dikelola Sendiri

    Document Center

    Data Lake Formation:DLF vs. FileSystem Catalog yang Dikelola Sendiri

    Last Updated:May 16, 2026

    Pelajari keunggulan DLF sebagai fondasi yang sepenuhnya dikelola, sangat konsisten, dan skalabel untuk danau data terpadu (data lakehouse) tingkat perusahaan Anda.

    FileSystem Catalog: Ringan tetapi tidak cocok untuk lingkungan produksi

    FileSystem Catalog mengelola metadata tabel menggunakan struktur direktori, seperti warehouse/dbName.db/tableName. Catalog ini beroperasi tanpa bergantung pada layanan eksternal, sehingga menjadi tipe catalog default.

    Namun, ia memiliki keterbatasan kunci berikut:

    • Penulisan konkuren tidak aman: Catalog ini mengandalkan operasi rename pada object storage untuk mensimulasikan komit. Operasi tersebut tidak atomik, sehingga berisiko tinggi menyebabkan kehilangan data selama penulisan konkuren.

    • Kompaksi tidak dapat diuraikan keterkaitannya: Karena kurangnya koordinasi metadata terpusat, kompaksi harus disematkan dalam pekerjaan penulisan (write jobs), mengonsumsi sumber daya penulisan dan memengaruhi stabilitas.

    • Operasi siklus hidup tabel tidak efisien: Membuat, menghapus, atau mengganti nama tabel memerlukan traversal sejumlah besar file, yang memakan waktu lama dan rentan gagal.

    • Kinerja pengambilan metadata buruk: Semua pengambilan metadata bergantung pada operasi list object storage, yang menyebabkan latensi tinggi dan biaya tinggi untuk tabel besar.

    • Tidak memiliki kemampuan UI atau tata kelola: Catalog ini tidak memiliki fitur tingkat produksi seperti Pemantauan, ikhtisar penyimpanan, Kontrol akses, dan tiering data panas/dingin.

    DLF REST Catalog: Mesin metadata yang sepenuhnya dikelola

    Dibuat oleh tim Apache Paimon asli, DLF REST Catalog memusatkan manajemen metadata melalui layanan REST independen. Catalog ini memisahkan komputasi dari penyimpanan dan dirancang khusus untuk lingkungan produksi berskala besar dengan keandalan tinggi.

    Manfaat utamanya meliputi:

    Kemampuan

    FileSystem Catalog (dikelola sendiri)

    DLF REST Catalog (sepenuhnya dikelola)

    Penulisan konkuren aman dengan tingkat konkurensi tinggi

    Object storage tidak mendukung atomic commit, sehingga berisiko tinggi kehilangan data selama penulisan konkuren.

    Kompaksi harus disematkan, yang berdampak pada stabilitas penulisan.

    Metadata berperan sebagai satu-satunya sumber kebenaran, dan komit berbasis REST menjamin keamanan penulisan konkuren.

    Kompaksi dikelola sepenuhnya dan diuraikan keterkaitannya dari pekerjaan penulisan.

    Optimalisasi penyimpanan sepenuhnya otomatis

    Kompaksi dan Pengelompokan disematkan dalam pekerjaan penulisan, sehingga memerlukan alokasi sumber daya berlebih. Hanya bucketing tetap yang didukung, sehingga sulit menyeimbangkan kinerja dan masalah file kecil.

    Menyediakan fitur delayed bucketing dan merging, eksekusi otomatis kompaksi, Pengelompokan, serta pembersihan kedaluwarsa, dengan penjadwalan sumber daya adaptif.

    Penguraian keterkaitan antara metadata dan path

    Operasi DROP/RENAME memerlukan traversal dan penghapusan semua file, yang lambat dan rentan error.

    Metadata dikelola secara independen. Operasi DROP/RENAME selesai dalam hitungan milidetik, sehingga ringan dan andal.

    Protokol REST standar

    Pengambilan metadata bergantung pada operasi list object storage, yang menyebabkan latensi tinggi, biaya tinggi, dan skalabilitas buruk.

    API REST terbuka dan standar dengan SDK Java dan Python memungkinkan integrasi multi-bahasa yang sederhana dan efisien.

    Visualisasi dan observabilitas

    Tidak ada UI. Anda harus memperoleh metrik dengan mengurai sistem file secara manual, sehingga Pemantauan waktu nyata tidak mungkin dilakukan.

    Konsol menyediakan tampilan waktu nyata jumlah baris, jumlah file, dan ukuran penyimpanan. Ikhtisar penyimpanan komprehensif dihasilkan secara otomatis untuk membantu mengidentifikasi masalah dengan cepat.

    Kontrol akses tingkat perusahaan

    Hanya mendukung izin Access Control List (ACL) sistem file dan tidak memiliki izin tingkat tabel maupun kolom, sehingga sulit memenuhi persyaratan kepatuhan (compliance).

    Mendukung otorisasi detail halus pada tingkat tabel dan kolom, serta berbagi lintas-Proyek yang aman, untuk memenuhi persyaratan tata kelola dan audit perusahaan.

    Penjenjangan data panas/dingin

    Mengandalkan waktu modifikasi file untuk tiering, yang tidak dapat diselaraskan dengan logika bisnis dan berisiko menyebabkan operasi salah.

    Mendukung kebijakan tiering tingkat tabel dan partisi, yang secara tepat mencerminkan semantik bisnis untuk menyeimbangkan kinerja dan biaya.

    Penulisan konkuren aman dengan tingkat konkurensi tinggi

    • FileSystem Catalog
      Object storage tidak mendukung atomic commit. Ketika beberapa pekerjaan penulisan beroperasi pada tabel yang sama secara bersamaan, konflik penggantian nama file dapat menyebabkan kehilangan data.
      Keterbatasan ini memaksa kompaksi disematkan dalam pekerjaan penulisan, sehingga tidak mungkin diuraikan keterkaitannya dan berdampak signifikan pada stabilitas penulisan serta perencanaan sumber daya.

    • DLF REST Catalog
      Semua penulisan dikirim melalui antarmuka REST, di mana metadata berperan sebagai satu-satunya sumber kebenaran, sehingga secara inheren menjamin keamanan penulisan konkuren.
      Tugas pemeliharaan seperti kompaksi dieksekusi secara otomatis oleh layanan DLF yang sepenuhnya dikelola di latar belakang. Tugas ini diuraikan keterkaitannya dari pekerjaan penulisan secara default, sehingga menjamin operasi penulisan yang stabil dan efisien.

    Optimalisasi penyimpanan sepenuhnya otomatis

    • FileSystem Catalog
      Kompaksi dan Pengelompokan harus disematkan dalam pekerjaan penulisan.

      • Setiap penyesuaian kebijakan secara langsung memengaruhi stabilitas pekerjaan penulisan.

      • Untuk menghindari kegagalan berulang, Anda sering kali perlu mengalokasikan sumber daya berlebih, yang menyebabkan pemborosan.

      • Hanya bucketing tetap yang didukung. Terlalu sedikit bucket dapat menyebabkan bottleneck penulisan, sedangkan terlalu banyak bucket menghasilkan banyak file kecil, sehingga sulit menyeimbangkan kinerja dan biaya.

    • DLF REST Catalog
      Layanan DLF yang sepenuhnya dikelola menangani optimalisasi penyimpanan, sehingga benar-benar diuraikan keterkaitannya dari pekerjaan penulisan.

      • Secara otomatis mengelola tugas kompleks seperti kompaksi, Pengelompokan, kedaluwarsa partisi, dan kedaluwarsa Snapshot.

      • Menyediakan delayed bucketing dan adaptive merging, sehingga pengguna tidak perlu menyetel parameter atau mengalokasikan sumber daya terlebih dahulu.

      • Merging latar belakang mendukung penjadwalan multi-mode dan dipercepat dengan teknologi native.

    Metadata dan path yang diuraikan keterkaitannya

    • FileSystem Catalog
      Path tabel dan metadata saling terikat erat. Saat Anda menjalankan DROP TABLE atau RENAME, sistem harus melakukan traversal dan menghapus atau memindahkan semua file data satu per satu. Proses ini lambat dan rentan gagal, terutama untuk tabel besar.

    • DLF REST Catalog
      Metadata diuraikan keterkaitannya dari path fisik. Operasi DROP TABLE dan RENAME hanya memperbarui catatan metadata dan selesai dalam hitungan milidetik. Hal ini ringan, andal, dan secara efektif mencegah file sisa dari tabel lama mengganggu struktur tabel baru.

    Protokol REST standar

    • FileSystem Catalog
      Metadata disimpan dalam struktur direktori sistem file. Pengambilan metadata memerlukan pemanggilan operasi list object storage untuk melakukan traversal file. Proses ini memiliki latensi tinggi dan biaya tinggi, serta ketergantungan kuat pada penyimpanan dasar yang membatasi skalabilitas.

    • DLF REST Catalog
      Menyediakan layanan baca-tulis metadata melalui protokol REST terbuka dan standar, yang menawarkan antarmuka ringan dan cepat. Layanan ini mendukung SDK Java dan Python open-source untuk memudahkan integrasi multi-bahasa, sehingga mengurangi kompleksitas bisnis.

    Visualisasi dan observabilitas

    • FileSystem Catalog
      Tidak memiliki antarmuka grafis. Semua informasi tabel (seperti jumlah baris, jumlah file, dan ukuran penyimpanan) serta ikhtisar penyimpanan harus diperoleh dengan melakukan traversal sistem file secara manual. Proses ini membosankan dan lambat, sehingga sulit memperoleh tampilan waktu nyata mengenai status tabel.

    • DLF REST Catalog
      Menyediakan Konsol terpadu yang menampilkan metrik inti untuk tabel dan partisi secara waktu nyata, seperti jumlah baris, jumlah file, dan ukuran total penyimpanan. Ikhtisar penyimpanan komprehensif juga dihasilkan secara otomatis.

      • Ikhtisar tersebut berisi data penyimpanan fisik untuk semua versi tabel saat ini.

      • Hal ini membantu Anda mengidentifikasi potensi masalah, seperti file kecil dan Snapshot redundan, untuk membuat keputusan optimalisasi yang efisien.

    Kontrol akses tingkat perusahaan

    • FileSystem Catalog

      Kontrol akses bergantung pada Access Control Lists (ACLs) sistem file dasar, yang hanya dapat mengontrol akses baca-tulis ke direktori atau file. Catalog ini tidak mendukung izin tingkat tabel maupun kolom, sehingga sulit memenuhi persyaratan keamanan data dan kepatuhan perusahaan.

    • DLF REST Catalog

      Menyediakan kontrol akses detail halus berbasis metadata. Catalog ini mendukung otorisasi tingkat tabel dan kolom serta memungkinkan berbagi tabel yang aman lintas-Proyek dan tim, sehingga memenuhi kebutuhan tata kelola perusahaan.

    Tiering data panas/dingin

    • FileSystem Catalog

      Kebijakan tiering beroperasi pada tingkat file dan mengandalkan waktu modifikasi file. Hal ini tidak dapat diselaraskan dengan logika bisnis dan berisiko menyebabkan tiering data salah atau kelalaian data kritis.

    • DLF REST Catalog

      Mendukung kebijakan tiering tingkat tabel dan partisi untuk mengontrol siklus hidup data secara tepat sesuai semantik bisnis. Hal ini menjamin kinerja tinggi untuk data panas dan biaya rendah untuk data dingin, sehingga menyeimbangkan efisiensi dan keamanan.