Ikhtisar
Klien Paimon mendukung PVFS (Paimon Virtual Storage) yang memungkinkan pengguna mengakses tabel dalam katalog Data Lake Formation (DLF) menggunakan jalur file standar, mirip dengan sistem file biasa.
Cara kerjanya
PVFS mengabstraksi metadata dan struktur penyimpanan tabel Paimon ke dalam format jalur file terpadu, seperti pvfs://<catalog_name>/<database_name>/<table_name>/.... Jalur ini dapat digunakan untuk langsung membaca konten dasar dari sebuah tabel, termasuk Snapshot, file data, dan metadata, tanpa memerlukan Mesin komputasi seperti Flink atau Spark.
Dukungan SDK
PVFS mendukung dua SDK berikut:
Java SDK: Mengimplementasikan antarmuka HDFS dan terintegrasi mulus dengan ekosistem Hadoop, seperti Hive, Spark, dan Presto.
Python SDK: Berbasis Filesystem Spec (fsspec) dan kompatibel dengan alat data Python utama, seperti Dask, Pandas, dan PyArrow.
PVFS memungkinkan pengembang dan insinyur data untuk mengeksplorasi, menguji, dan mengelola tabel Paimon di lingkungan lokal atau skrip dengan mudah. Hal ini secara signifikan meningkatkan efisiensi Pengembangan dan Operasi (O&M) serta pemeliharaan data lake.
Kontrol akses
PVFS menggunakan kebijakan kontrol akses terpadu dari DLF untuk mengelola izin baca dan tulis file pada tingkat tabel. Untuk informasi lebih lanjut, lihat Konfigurasikan izin.