全部產品
Search
文件中心

Data Lake Formation:檔案訪問

更新時間:Oct 21, 2025

概述

Paimon 用戶端提供了 Paimon 虛擬檔案系統(PVFS: Paimon Virtual Storage 支援,使使用者能夠像操作普通檔案系統一樣,通過標準檔案路徑訪問 DLF(Data Lake Formation)Catalog 中的表資料。

實現原理

PVFS 將 Paimon 表的中繼資料與儲存結構抽象為統一的檔案路徑格式,例如:pvfs://<catalog_name>/<database_name>/<table_name>/...。通過該路徑,您可以直接讀取表的快照、資料檔案、中繼資料等底層內容,而無需依賴完整的計算引擎(如 Flink 或 Spark)。

SDK支援

目前,PVFS 已提供以下兩種 SDK 支援:

  • Java SDK:實現了 Hadoop FileSystem 介面,可無縫整合到 Hadoop 生態(如 Hive、Spark、Presto)中;

  • Python SDK:基於 fsspec(File System Specification)標準,相容 Dask、Pandas、PyArrow 等主流 Python 資料工具。

通過 PVFS,開發人員和資料工程師可以在本地或指令碼環境中便捷地探索、調試和操作 Paimon 表,顯著提升資料湖開發與營運效率。

許可權控制

PVFS檔案系統使用DLF統一的許可權控制策略,以表粒度控制檔案的讀寫權限,詳情請參見快速配置許可權