カタログは DLF における最上位のメタデータコンテナです。このトピックでは、カタログの作成、表示、構成、および削除方法について説明します。
前提条件
作業を開始する前に、以下の要件を満たしていることを確認してください。
-
DLF のセットアップ（初回の有効化および権限付与）が完了していること
-
（RAM ユーザーの場合）
AliyunDLFFullAccess権限ポリシー、またはカタログ関連の操作を含むカスタムポリシーが付与されていること。詳細については、「API 権限の管理」をご参照ください。 -
（RAM ユーザーの場合）
super_administratorまたはadminシステムロール、またはカタログ関連のデータ権限を含むカスタムロールが付与されていること。詳細については、「ユーザーへのデータ権限の付与」をご参照ください。
RAM ユーザーがカタログを管理するには、API 権限とデータ権限の両方が必要です。
制限事項
各アカウントで作成できるカタログの上限は、リージョンあたり最大 10 個です。上限を引き上げる場合は、チケットを送信してください。
カタログの作成
-
DLF コンソールにログインします
-
Catalogs ページで、Create Catalog をクリックします。
-
以下のパラメーターを設定します。
パラメーター
必須
デフォルト
説明
Catalog Name
はい
--
カタログの一意な名前。
Description
いいえ
--
カタログの説明。
Storage Type
はい
標準ストレージ
Standard Storage に固定されています。
Storage Redundancy Type
はい
LRS
データ冗長性ポリシー。有効な値：LRS および ZRS。
Storage Redundancy Type のオプション：
-
LRS (Locally Redundant Storage)：データをシングルゾーンに保存します。ゾーンが利用不可になると、データにアクセスできなくなります。デフォルトのオプションです。
-
ZRS (Zone-Redundant Storage)：リージョン内の複数のゾーンにデータをレプリケートし、より高い可用性を実現します。
重要-
カタログ作成後、冗長性タイプを ZRS から LRS に変更することはできません。
-
ZRS は LRS よりも高いデータの可用性を提供しますが、コストも高くなります。
-
-
Terms of Service を読み、同意した上で、Create Catalog をクリックします。
カタログの表示
-
左側のナビゲーションウィンドウで、Catalogs をクリックします。
-
カタログ名をクリックして詳細を表示します。
-
Details タブで、カタログの基本情報を確認します。
-
Permissions タブをクリックして、DLF ユーザーまたはロールにカタログレベルの権限を付与します。「データ権限の管理」をご参照ください。
-
Storage Optimization タブをクリックして、ストレージ階層化を構成します。詳細については、「ストレージ階層化の構成」をご参照ください。
-
Catalog Configuration タブをクリックして、ファイルフラグメントのライフサイクルおよびデフォルトの Paimon テーブルプロパティを構成します。詳細については、「カタログの構成」をご参照ください。
カタログの構成
ストレージ階層化の構成
Storage Optimization タブで、Intelligent Tiering を使用して、ライフサイクルルールに基づき、カタログ内のテーブル間でホットデータとコールドデータを自動的に階層化します。
カタログレベルとテーブルレベルの動作
-
カタログレベル：Intelligent Tiering を有効にすると、すべてのテーブルに適用され、カタログの設定を継承します。テーブルレベルでオーバーライドを行うと、「Inherited from Catalog」ステータスが解除されます。
-
テーブルレベル：カタログレベルの階層化が無効であっても、個々のテーブルに対して Intelligent Tiering を有効にできます。
階層化戦略
|
戦略 |
説明 |
|
Last Access Time |
テーブルまたはパーティションのデータが最後にアクセスされた時刻に基づいてルールをトリガーします。 |
|
Last Update Time |
テーブルまたはパーティションのデータが最後に更新された時刻に基づいてルールをトリガーします。 |
階層化ルール
ストレージクラス間でデータを移行するルールを構成します。最小保存期間はストレージクラスによって異なります。
|
ルール |
デフォルト (日) |
説明 |
|
Transition to Infrequent Access |
30 |
指定された日数経過後に、データを低頻度アクセス (IA) ストレージに移行します。IA ストレージのデータはコンピュートエンジンからアクセス可能ですが、パフォーマンスが低下します。 |
|
Transition to Archive |
60 |
指定された日数経過後に、データをアーカイブストレージに移行します。アーカイブされたデータはコンピュートエンジンからアクセスできません。 |
|
Transition to Cold Archive |
180 |
指定された日数経過後に、データをコールドアーカイブストレージに移行します。コールドアーカイブされたデータはコンピュートエンジンからアクセスできません。 |
Transition to Infrequent Access および Transition to Archive ルールでは、以下の追加オプションがサポートされています。
-
Convert to Standard Storage Upon Access：アクセス時に、パーティションまたは非パーティション化テーブルを自動的に標準ストレージに復元します。
Convert to Standard Storage Upon Access は、Tiering Strategy が Last Access Time に設定されている場合にのみ利用可能です。
ファイルフラグメントのライフサイクルの構成
Catalog Configuration タブで、以下のカタログレベルの設定を行います。
File Fragment Lifecycle
ファイルフラグメントの有効期限（最小値：1 日）を設定します。有効期限が切れたフラグメントは自動的に削除され、回復できません。
デフォルトの Paimon テーブルプロパティの構成
Advanced Settings
新しく作成される Paimon テーブルのデフォルトプロパティを設定します。設定キーのフォーマット：table-default.<Paimon table property>。プロパティの詳細については、「Apache Paimon configuration documentation」をご参照ください。
たとえば、デフォルトで Deletion Vectors を有効にするには、table-default.deletion-vectors.enabled=true を設定します。テーブル作成時に、システムは table-default. プレフィックスを削除し、deletion-vectors.enabled=true をテーブルプロパティとして適用します。
テーブル作成時に明示的に指定されたプロパティは、この設定よりも優先され、上書きされません。
カタログの削除
カタログを削除する前に、以下の条件を満たしていることを確認してください。条件を満たしていない場合、削除は失敗します。
-
カタログ内のすべてのテーブルと、
default以外のすべてのデータベースを削除します。 -
すべてのテーブルが削除されてから 24 時間待ってから、カタログを削除してください。
-
Catalogs ページで対象のカタログを見つけ、Actions 列の Delete をクリックします。
-
ダイアログボックスで、OK をクリックします。
次のステップ
-
データ権限の管理：ユーザーおよびロールにカタログレベルの権限を付与します。
-
Paimon Table：カタログ内で Paimon テーブルを作成および管理します。