Data Lake Formation とは - Data Lake Formation - Alibaba Cloud ドキュメントセンター

Data Lake Formation (DLF) は、Alibaba Cloud のビッグデータコンピューティングエンジンと統合されたフルマネージドのデータレイクサービスで、メタデータ、権限、ストレージを統合管理します。

目的に応じたドキュメントの選択

達成したいことがすでにわかっている場合は、関連するドキュメントに直接お進みください。

目的	推奨ドキュメント
DLF の有効化と使用開始	DLF のセットアップ、DLF の使用開始
カタログ、データベース、またはテーブルの作成と管理	カタログの管理、テーブルの管理
ユーザーまたはロールへのデータ権限の付与	データ権限の管理
コンピューティングエンジンからの DLF へのアクセス	コンピューティングエンジンとの統合
レイクテーブルのファイルとストレージの最適化	ストレージの最適化
マルチモーダルデータの管理と取得	マルチモーダルデータレイク
API または CLI を使用した DLF の管理	API ユーザーガイド、CLI リファレンス

説明

DLF を初めて使用する場合は、まずサービスをセットアップし、使用開始ガイドに従って最初のタスクを完了してください。

DLF は、統合されたすべてのコンピューティングエンジンで共有されるレイクハウスのメタデータとストレージの単一セットを提供します。手動での同期やスキーマの複製を行うことなく、プロダクト間でデータが流れます。

カタログ、データベース、またはテーブルレベルで一度アクセス制御を定義します。統合されたすべてのサービスが同じ権限を適用するため、エンジンごとに個別の権限設定を行う必要がなくなります。

DLF は、設定可能な戦略を通じて、レイクハウスのテーブルメンテナンスを自動化します：

戦略	効果
ファイルのコンパクション	小さなファイルをマージしてスキャン性能を向上させます。
期限切れスナップショットのクリーンアップ	古いスナップショットを削除してストレージを再利用します。
期限切れパーティションのクリーンアップ	期限切れのパーティションからデータを削除します。
孤立したファイルのクリーンアップ	どのテーブルバージョンからも参照されなくなったファイルを削除します。

DLF は、画像、ベクトル、ドキュメントを含むマルチモーダルデータを管理し、画像検索、全文検索、視覚的な探索をサポートします。

Alibaba Cloud のストリームおよびバッチコンピューティングエンジンは、DLF で管理されているデータにアクセスして利用できます。

DLF のアーキテクチャは 3 つのレイヤーで構成されています：

レイヤー	機能
メタデータ管理	カタログ、データベース、テーブル、およびそれらのメタデータを管理します。
権限管理	カタログ、データベース、テーブルの各レベルでデータ権限を管理します。
ストレージの最適化	ファイルのコンパクション、期限切れスナップショットのクリーンアップ、期限切れパーティションのクリーンアップ、孤立したファイルのクリーンアップといった戦略を管理します。

DLF は、履歴データ、リアルタイムデータ、マルチモーダルデータに対して、メタデータ、ストレージ、権限の統合管理を提供し、コンピューティングエンジンがガバナンスの効いたデータにアクセスできるようにします。

DLF は、オフライン分析、リアルタイム分析、機械学習、ログ分析をサポートします。メタデータとストレージの統合管理により、データレイクの構築とガバナンスが簡素化されます。

目的	次のステップ
コストの把握	「課金」をご参照ください。
DLF の使用開始	「DLF の使用開始」をご参照ください。
マルチモーダル検索の試用	「DLF マルチモーダル検索の使用開始」をご参照ください。
エンドツーエンド実装の実行	「DLF と Flink を使用したストリーミングレイクハウスの構築」をご参照ください。