カタログとは、DLF における最上位のメタデータコンテナです。カタログを使用して、データベースとテーブルを階層的に整理し、チーム間でメタデータを分離し、データストレージを管理し、ガバナンスを簡素化します。
前提条件
開始する前に、以下の要件を満たしていることを確認してください。
-
DLF の設定 (ワンタイムアクティベーションと権限付与)
-
(RAM ユーザー)
AliyunDLFFullAccess権限ポリシー、またはカタログ関連のアクションを含むカスタムポリシー。詳細については、「API 権限の管理」をご参照ください。 -
(RAM ユーザー)
super_administratorまたはadminのシステムロール、あるいはカタログ関連のデータ権限を持つカスタムロール。詳細については、「ユーザーへのデータ権限の付与」をご参照ください。
RAM ユーザーがカタログを管理するには、API 権限とデータ権限の両方が必要です。
制限事項
各リージョンでアカウントごとに作成できるカタログは最大 10 個です。上限の引き上げをリクエストするには、チケットを起票してください。
カタログの作成
-
DLF コンソールにログインします。
-
Catalogs ページで、Create Catalog をクリックします。
-
以下のパラメーターを設定します。
パラメーター
必須
デフォルト
説明
[Catalog Name]
はい
--
カタログの一意の名前。
[Description]
いいえ
--
カタログの説明。
[Storage Type]
はい
Standard Storage
Standard Storage に固定されています。
[Storage Redundancy Type]
はい
LRS
データ冗長ポリシー。有効な値: LRS および ZRS。
[Storage Redundancy Type]のオプション:
-
LRS (ローカル冗長ストレージ):データを単一のゾーンに保存します。ゾーンが利用できなくなると、データにアクセスできなくなります。デフォルトのオプションです。
-
ZRS (ゾーン冗長ストレージ):リージョン内の複数のゾーンにデータを複製し、可用性を高めます。
重要-
カタログの作成後、冗長タイプを ZRS から LRS に変更することはできません。
-
ZRS は LRS よりも高いデータ可用性を提供しますが、コストも高くなります。
-
-
Terms of Serviceを読んで選択し、[カタログの作成]をクリックします。
カタログの表示
-
左側のナビゲーションペインで、Catalogs をクリックします。
-
カタログ名をクリックして詳細を表示します。
-
Details タブでは、カタログの基本情報を確認できます。
-
Permissions タブをクリックして、DLF ユーザーまたはロールにカタログレベルの権限を付与します。データ権限の管理。
-
ストレージ階層化を構成するには、Storage Optimization タブをクリックします。 詳細については、「ストレージの最適化を構成する」をご参照ください。
-
Catalog Configuration タブをクリックして、ファイルフラグメントのライフサイクルとデフォルトの Paimon テーブルプロパティを設定します。詳細については、「カタログ設定の構成」をご参照ください。
カタログの削除
カタログを削除する前に、以下の条件が満たされていることを確認してください。そうでない場合、削除は失敗します。
-
カタログ内のすべてのテーブルと、
default以外のすべてのデータベースを削除してください。 -
カタログを削除する前に、すべてのテーブルが削除されてから 24 時間待つ必要があります。
-
[カタログ] ページで、対象のカタログを見つけ、[操作] 列の Delete をクリックします。
-
ダイアログボックスで、OKをクリックします。
ストレージの最適化の設定
Storage Optimization タブで Intelligent Tiering を使用すると、ライフサイクルルールに基づいてカタログテーブル間でホットデータとコールドデータが自動的に階層化されます。
カタログレベルとテーブルレベルの動作
-
カタログレベル:有効にすると、[Intelligent Tiering]がすべてのテーブルに適用され、カタログ設定を継承します。テーブルレベルで上書きすると、「Inherited from Catalog」というステータスが削除されます。
-
テーブルレベル:カタログレベルの階層化が無効になっている場合でも、個々のテーブルに対して [Intelligent Tiering]を有効にできます。
階層化戦略
|
戦略 |
説明 |
|
[Last Access Time] |
テーブルまたはパーティションデータに最後にアクセスした時刻に基づいてルールをトリガーします。 |
|
[Last Update Time] |
テーブルまたはパーティションデータが最後に更新された時刻に基づいてルールをトリガーします。 |
階層化ルール
ストレージクラス間でデータを移行するルールを設定します。最小ストレージ期間はクラスによって異なります。
|
ルール |
デフォルト (日数) |
説明 |
|
[Transition to Infrequent Access] |
30 |
指定された日数が経過すると、データを低頻度アクセス (IA) ストレージに移行します。IA データは、パフォーマンスが低下しますが、コンピューティングエンジン から引き続きアクセスできます。 |
|
[Transition to Archive] |
60 |
指定された日数が経過すると、データをアーカイブストレージに移行します。アーカイブされたデータは、コンピューティングエンジン からアクセスできません。 |
|
コールドアーカイブへの移行 |
180 |
指定された日数が経過すると、データをコールドアーカイブストレージに移行します。コールドアーカイブされたデータは、コンピューティングエンジン からアクセスできません。 |
[Transition to Infrequent Access]および[Transition to Archive]ルールは、追加オプションをサポートしています:
-
[Convert to Standard Storage Upon Access]:アクセス時に、パーティションまたはパーティション化されていないテーブルを自動的に標準ストレージに復元します。
[Convert to Standard Storage Upon Access]は、[Tiering Strategy]が[Last Access Time]に設定されている場合にのみ使用できます。
カタログ設定の構成
Catalog Configuration タブで、これらのカタログレベルの設定を構成します。
[File Fragment Lifecycle]
ファイルフラグメントの有効期限を設定します (最小:1 日)。有効期限が切れたフラグメントは自動的に削除され、復元することはできません。
[Advanced Settings]
Paimon テーブルのデフォルトプロパティを上書きします。詳細については、「Paimon テーブル」をご参照ください。
次のステップ
-
データ権限の管理:ユーザーとロールにカタログレベルの権限を付与します。
-
Paimon テーブル:カタログ内に Paimon テーブルを作成および管理します。