Data Lake Formation (DLF) は、Apache Paimon の REST Catalog と互換性のあるテーブル管理 API を提供します。完全に Paimon と互換性のあるファイルストレージ構造により、Paimon 対応のエンジンやアプリケーションは、DLF が管理するテーブルを簡単に作成、更新、クエリ、削除できます。
カタログ内の主なデータ階層は次のとおりです。
カタログ: メタデータ編成の最上位の論理エンティティです。カタログはメタデータリソースを階層的に構造化し、サービスやユーザー間での隔離と権限の制御を可能にします。また、データレイクストレージとレイクテーブルの操作も管理します。
データベース: カタログ内のメタデータの論理的なグループ化であり、カタログよりもきめ細かい編成とアクセスの制御を提供します。
テーブル: DLF は、統一された管理とさまざまなコンピュートエンジンやフォーマットとのシームレスな互換性のために、多様なテーブルタイプをサポートしています。保存データの暗号化は、チケットを送信することでリクエストに応じて利用できます。
ビュー: DLF に永続化されたビューは、複数の SQL ダイアレクトをサポートしており、さまざまなコンピュートエンジン向けに構成できます。
関数: DLF に永続化された関数は、現在、Flink JARs (Java および Python) と、Spark エンジンで実行される Java Lambda 関数をサポートしています。