Data Lake Formation (DLF) は、Apache Paimon REST Catalog と互換性のあるテーブル管理 API を提供します。ファイルストレージ構造は Paimon と完全に互換性があるため、Paimon 互換の任意のエンジンまたはアプリケーションで、DLF が管理するテーブルを作成、更新、クエリ、および削除できます。
カタログ内の主なデータ階層は、以下のとおりです。
カタログ：メタデータの最上位コンテナです。カタログはリソースを階層構造で整理し、サービスおよびユーザー間の分離と権限の境界を適用します。また、データレイクのストレージとテーブル操作も管理します。
データベース：カタログ内の論理的なグループで、より細かな整理とアクセス制御を提供します。
テーブル：DLF は、統合管理と、さまざまなコンピューティングエンジンおよびフォーマットとのシームレスな互換性を実現するために、複数のテーブルタイプをサポートします。保管時の暗号化を有効にするには、チケットを送信してください。
ビュー：ビューは DLF に永続化され、複数の SQL 方言をサポートします。これにより、異なるコンピューティングエンジン間で設定できます。
関数：関数は DLF に永続化されます。現在は、Flink JAR (Java および Python) と、Spark エンジン上で実行する Java Lambda 関数をサポートしています。
統合メタデータサービス
DLF は、統合メタデータ管理サービスを提供します。単一のカタログでテーブル、ビュー、関数のメタデータを一元管理し、コンピューティングエンジン間のサイロを解消します。これにより、Alibaba Cloud のビッグデータおよび AI エンジンは、エンジンごとの設定なしでオムニモーダルデータにアクセスできます。
マルチモーダルデータのサポート
DLF は単一のカタログで構造化データと非構造化データの両方を管理し、主要なオープンテーブルフォーマットおよび AI データタイプをネイティブにサポートします：
データレイクフォーマット：Apache Paimon、Apache Iceberg、およびそれらのエコシステムコンポーネントをフルサポートします。
AI およびベクトルデータ：高性能な AI 検索およびトレーニング向けに、Lance フォーマットをサポートします。
非構造化データ：オブジェクトテーブルを使用して画像や動画などの非表形式のデータセットを管理し、ストレージとコンピュート間の相互運用性を提供します。
標準ファイルフォーマット：Parquet、CSV、ORC など、Hive 互換フォーマットのテーブルをサポートします。
統合アクセス制御
DLF はセキュリティ管理を一元化します。一度付与した権限は、エンジンごとの設定なしで、接続されているすべてのコンピューティングエンジンに自動的に適用されます。
きめ細かな認可：カタログ、データベース、テーブル、カラムの 4 レベルでアクセスを制御します。
マルチエンジン同期：操作を一度認可すれば、ポリシーは接続されているすべてのコンピューティングエンジンで有効になります。
これにより、一貫したデータアクセス、より強固なセキュリティを確保し、エンジンをまたぐ運用保守 (O&M) プロセスを大幅に簡素化します。