カタログは、Data Lake Formation (DLF) でメタデータを整理するための最上位のコンテナーです。カタログはデータベースとテーブルを階層構造にグループ化し、チーム間でメタデータを分離し、データストレージを管理し、ガバナンスを簡素化できます。
前提条件
開始する前に、以下を確認してください。
-
DLF のセットアップ (初回アクティベーションと権限付与)
-
(RAM ユーザー)
AliyunDLFFullAccess権限ポリシー、またはカタログ関連の権限付与アクションを含むカスタムポリシー。詳細については、「RAM 権限付与アクションのリファレンス」をご参照ください。 -
(RAM ユーザー)
super_administratorまたはadminシステムロール、またはカタログ関連のデータ権限を持つカスタムロール。詳細については、「データ権限の構成」をご参照ください。
RAM ユーザーがカタログを管理するには、API 権限とデータ権限の両方が必要です。
制限事項
各リージョンでアカウントごとに最大 10 個のカタログを作成できます。上限の引き上げをリクエストするには、チケットを送信してください。
カタログの作成
-
Data Lake Formation console にログインします。
-
[カタログ] ページで、[カタログの作成] をクリックします。
-
次のパラメーターを設定します。
パラメーター
必須
デフォルト
説明
カタログ名
はい
--
カタログの一意の名前。
説明
いいえ
--
カタログのテキスト説明。
ストレージタイプ
はい
標準ストレージ
[標準ストレージ] に固定されています。
ストレージ冗長タイプ
はい
LRS
データストレージの冗長ポリシー。有効な値: [LRS] と [ZRS]。
[ストレージ冗長性タイプ] オプション:
-
[LRS] (ローカル冗長ストレージ): データをシングルゾーン内に保存します。ゾーンが利用不可になった場合、データにはアクセスできません。これはデフォルトオプションです。
-
[ZRS] (ゾーン冗長ストレージ): リージョン内の複数のゾーンにデータをレプリケートし、高い可用性を提供します。
重要-
カタログ作成後、冗長タイプを ZRS から LRS に変更することはできません。
-
ZRS は高いデータ可用性を提供しますが、LRS よりも高いコストがかかります。
-
-
[利用規約]を読んで選択し、[カタログの作成]をクリックします。
カタログの表示
-
左側のナビゲーションウィンドウで、[カタログ] をクリックします。
-
カタログ名をクリックして、その詳細ページを開きます。
-
[詳細] タブで、カタログの基本情報を表示します。
-
「[権限]」タブをクリックして、DLF ユーザーまたはロールにカタログレベルの権限を付与します。詳細については、「データの権限付与を管理する」をご参照ください。
-
ストレージ階層化を設定するには、[ストレージ最適化] タブをクリックします。詳細については、「ストレージ最適化を設定する」をご参照ください。
-
[カタログ設定] タブをクリックして、ファイルフラグメントのライフサイクルポリシーを設定し、Paimon テーブル作成時のデフォルトプロパティを上書きします。 詳細については、「カタログ設定を構成する」をご参照ください。
カタログの削除
カタログを削除する前に、default データベースおよびカタログ内の他のすべてのユーザー作成データベースからすべてのテーブルを削除してください。
-
「[カタログ]」ページで、対象のカタログを見つけ、[操作] 列の [削除] をクリックします。
-
ダイアログボックスで、[OK] をクリックします。
ストレージ最適化の構成
[ストレージの最適化] タブで、ライフサイクルルールに基づいてカタログ内のすべてのテーブルのホットデータとコールドデータを自動的に階層化するように、[インテリジェント階層化] を設定します。
カタログレベルとテーブルレベルの動作
-
カタログレベル: カタログレベルで有効化すると、[インテリジェント・ティアリング] がカタログ内のすべてのテーブルに自動的に適用され、カタログ設定を継承します。テーブルレベルの設定はカタログレベルの設定をオーバーライドできますが、これを行うと、そのテーブルの「カタログから継承」ステータスが解除されます。
-
テーブルレベル: カタログレベルの [インテリジェントティアリング] が無効化されていても、個々のテーブルに対して個別に有効化および設定できます。
階層化戦略
|
戦略 |
説明 |
|
[最終アクセス時間] |
テーブルまたはパーティションデータの最終アクセス時間に基づいてルールがトリガーされます。 |
|
[最終更新時間] |
テーブルまたはパーティションデータの最終更新時間に基づいてルールがトリガーされます。 |
階層化ルール
ストレージクラス間でデータを自動的にトランジションするルールを構成します。最小ストレージ期間はストレージクラスによって異なります。
|
ルール |
デフォルト (日数) |
説明 |
|
[低頻度アクセスへのトランジション] |
30 |
指定された日数後にデータを低頻度アクセス (IA) ストレージクラスに移動します。IA ストレージのデータはコンピュートエンジンからアクセス可能のままですが、パフォーマンスが低下します。 |
|
[アーカイブへのトランジション] |
60 |
指定された日数後にデータをアーカイブストレージクラスに移動します。アーカイブストレージのデータはコンピュートエンジンからアクセスできません。 |
|
[コールドアーカイブへのトランジション] |
180 |
指定された日数後にデータをコールドアーカイブストレージクラスに移動します。コールドアーカイブストレージのデータはコンピュートエンジンからアクセスできません。 |
[低頻度アクセスへのトランジション] と [アーカイブへのトランジション] には、追加オプションが利用可能です。
-
[アクセス時に標準ストレージに変換]: アクセス時に、DLF はパーティションまたは非パーティションテーブルを自動的に標準ストレージクラスに変換し直します。
「アクセス時に標準ストレージに変換」オプションは、[ティアリング戦略] が 「Last Access Time」に設定されている場合にのみ使用できます。
カタログ設定の構成
「[カタログ設定]」タブで、以下のカタログレベルの設定を構成します。
ファイルフラグメントのライフサイクル
ファイルフラグメントの有効期限を指定します。最小値は 1 日です。期限切れのフラグメントは自動的に削除され、回復できません。
詳細設定
Paimon テーブル作成のデフォルトプロパティを上書きします。詳細については、「Paimon Table」をご参照ください。
次のステップ
-
データ権限の管理: ユーザーとロールにカタログレベルの権限を付与します。
-
Paimon Table: カタログ内で Paimon テーブルを作成および管理します。