Data Lake Formation (DLF) は、リアルタイムおよびオフラインのレイクハウスワークロードとオンライン分析処理 (OLAP) のため、主要なビッグデータコンピューティングエンジンと統合されており、Flink、EMR Serverless Spark、EMR Serverless StarRocks、および EMR on ECS をネイティブにサポートします。
サポートされるエンジンと接続方法
次の表は、各統合方法でサポートされるエンジンとツールの一覧です。
統合方法 | サポートされるエンジン/ツール |
Paimon REST | |
Iceberg REST | |
ファイルアクセス | |
Lance |
セルフマネージド Spark クラスターはサポートされていません。DLF で Spark を使用するには、Alibaba Cloud の EMR Serverless Spark または EMR on ECS を選択してください。
統合方法
DLF は 4 つの統合方法を提供しており、それぞれ異なるエンジンタイプとアクセスパターンに対応しています。
Paimon REST：Apache Paimon コミュニティ標準に準拠した RESTful メタデータサービスインターフェイスです。コンピューティングエンジンが Apache Paimon をベースにしている場合は、この方法を選択してください。テーブルスキーマ管理とスナップショットクエリを処理します。
Iceberg REST：Apache Iceberg コミュニティ標準に準拠した RESTful メタデータサービスインターフェイスです。コンピューティングエンジンが Apache Iceberg をベースにしている場合は、この方法を選択してください。テーブルスキーマ管理とスナップショットクエリを処理します。
ファイルアクセス：Paimon 仮想ファイルシステム (PVFS) を介してテーブルデータを標準ファイルパスとして公開することで、基になるデータファイルとメタデータに直接アクセスできます。この方法は、スクリプトによる探索、デバッグ、軽量データ処理に適しています。
Lance：Python SDK (lance-dlf) を介して DLF Catalog に接続し、Lance テーブルの読み取りと書き込みを行います。Daft DataFrame エンジンによるクエリフィルタリングとバッチ処理をサポートします。