Data Lake Formation (DLF) では、カタログはメタデータを整理するための最上位のコンテナーです。データベースとテーブルに階層構造を提供します。カタログを使用すると、チームごとにメタデータを分離し、データストレージを管理し、管理を簡素化できます。このトピックでは、カタログの作成、変更、削除について説明します。
前提条件
DLF のセットアップが完了していること。
説明DLF 環境を初めてセットアップする際、アクティベーションと権限付与は一度だけ実行されます。
RAM ユーザーとしてカタログを管理するには、次の権限が必要です。
API 権限:
AliyunDLFFullAccess権限ポリシー、またはカタログ関連の権限付与アクションを含むポリシーが割り当てられていること。詳細については、「RAM 権限付与アクションリファレンス」をご参照ください。データ権限:
super_administratorまたはadminシステムロール、あるいはカタログ関連の権限を持つカスタムロールが付与されていること。詳細については、「データ権限の設定」をご参照ください。
制限事項
各リージョンでアカウントごとに最大 10 個のカタログを作成できます。この上限の引き上げをリクエストするには、チケットを送信してください。
カタログの作成
DLF コンソールにログインします。
[Catalogs] ページで、[Create Catalog] をクリックし、次のパラメーターを設定します。
設定項目
説明
カタログ名
カタログの一意の名前を入力します。
説明
カタログの説明を入力します。
ストレージタイプ
[標準ストレージ] に固定されています。
ストレージ冗長タイプ
データの冗長ポリシーを選択します。
LRS（ローカル冗長ストレージ）：（デフォルト）単一ゾーンにデータを保存します。ゾーンが使用できない場合、データにアクセスできなくなります。
ZRS（ゾーン冗長ストレージ）：可用性を高めるために、リージョン内の複数のゾーンにデータを複製します。
説明カタログの作成後、冗長タイプを ZRS から LRS に変更することはできません。
ZRS はデータの可用性を高めますが、コストも高くなります。
[利用規約] を読んで選択し、[カタログの作成] をクリックします。
カタログの表示
左側のナビゲーションウィンドウで [Catalogs] をクリックし、目的のカタログの名前をクリックします。
[詳細] タブで、カタログの基本情報を表示します。
[権限] タブをクリックして、DLF ユーザーまたはロールにカタログレベルの権限を付与します。詳細については、「データ権限の管理」をご参照ください。
[ストレージの最適化] タブをクリックして、ストレージ階層化を設定します。詳細については、「ストレージの最適化」をご参照ください。
[カタログ構成] タをクリックして、ファイル断片化のライフサイクルポリシーを設定し、Paimon テーブルを作成するためのデフォルトプロパティを上書きします。詳細については、「カタログ構成」をご参照ください。
ストレージの最適化
設定項目 | 説明 |
インテリジェント階層化 |
説明
|
階層化戦略 |
|
階層化ルール | 最小ストレージ期間はストレージタイプによって異なります。 階層化ルールを次のように設定します。
|
この機能を有効にすると、DLF は設定されたライフサイクルルールに従って、カタログ内のすべてのテーブルにわたってホットデータとコールドデータのストレージを自動的に階層化します。必要に応じて、階層化ポリシーとルールを指定できます。カタログ構成
ファイル断片のライフサイクル
ファイル断片の有効期限を指定します。最小値は 1 日です。有効期限が切れた断片は自動的に削除され、回復できません。
詳細設定
Paimon テーブルを作成するためのデフォルトプロパティを上書きします。詳細については、「Paimon テーブル」をご参照ください。
カタログの削除
カタログを削除する前に、カタログ内の default データベースとその他すべてのユーザー作成データベースからすべてのテーブルを削除する必要があります。
[Catalog] リストで、[Actions] 列の [Delete] をクリックします。
ダイアログボックスで、[OK] をクリックします。