概要
Paimon クライアントは PVFS (Paimon Virtual Storage) をサポートしています。これにより、ユーザーは通常のファイルシステムと同様に、標準のファイルパスを使用して Data Lake Formation (DLF) カタログ内のテーブルにアクセスできます。
仕組み
PVFS は、Paimon テーブルのメタデータとストレージ構造を、pvfs://<catalog_name>/<database_name>/<table_name>/... のような統一されたファイルパス形式に抽象化します。このパスを使用して、Flink や Spark などのコンピュートエンジンを必要とせずに、スナップショット、データファイル、メタデータなど、テーブルの基盤となるコンテンツを直接読み取ることができます。
SDK サポート
PVFS は、次の 2 つの SDK をサポートしています。
Java SDK: HDFS インターフェイスを実装し、Hive、Spark、Presto などの Hadoop エコシステムとシームレスに統合します。
Python SDK: Filesystem Spec (fsspec) に基づいており、Dask、Pandas、PyArrow などの主流の Python データツールと互換性があります。
PVFS を使用すると、開発者やデータエンジニアは、ローカル環境やスクリプト環境で Paimon テーブルを簡単に探索、テスト、管理できます。これにより、データレイクの開発および運用とメンテナンス (O&M) の効率が大幅に向上します。
アクセスの制御
PVFS は、DLF の統一されたアクセスの制御ポリシーを使用して、テーブルレベルでファイルの読み取りおよび書き込み権限を管理します。詳細については、「権限を設定する」をご参照ください。