Data Lake Formation (DLF) は、データベース、テーブル、ファイルの誤った削除によるリスクを低減するためにごみ箱を提供します。データベースまたはテーブルを削除すると、関連するデータとメタデータは設定可能な保持期間、ごみ箱に保持され、この期間中にクエリや復元が可能です。Paimon カタログの場合、ごみ箱ではテーブル最適化のクリーンアップによって削除された孤立ファイルを表示することもできます。
シナリオ
-
誤って削除されたデータベースまたはテーブルを、メタデータの保持期間内である限り復元できます。
-
テーブル最適化中の孤立ファイルのクリーンアップによって削除された未参照のファイルは、ファイル用のごみ箱に移動され、トラブルシューティングのために確認できます。詳細については、「孤立ファイルのクリーンアップ」をご参照ください。
前提条件
-
アクセス許可： お使いのアカウントには、Data Lake Formation コンソールへのアクセス、ごみ箱の表示、リソースの復元を行うためのアクセス許可が必要です。RAM ユーザーには、必要な DLF API とデータアクセス許可も必要です。詳細については、「アクセス許可の設定」をご参照ください。
-
カタログのステータス： カタログにアクセスできる必要があります。カタログが存在しない、削除された、権限が不十分、または利用不可能な状態の場合、復元操作は失敗します。ごみ箱内のデータとメタデータは変更されません。
制限事項
-
ファイルリサイクルの範囲： ファイルリサイクルは、Paimon タイプのカタログでのみサポートされており、カタログのシステム初期化が完了している必要があります。他のカタログタイプはファイルリサイクルをサポートしていません。
-
保持期間：メタデータの保持期間が終了すると、データとメタデータは復元できなくなります。ページに一時的に Purging と表示されていても、復元操作を実行することはできません。
-
名前の競合： データベースまたはテーブルを復元する際に、同じ名前のデータベースまたはテーブルがターゲットの場所に正常な状態で既に存在する場合、復元は失敗します。復元を再試行する前に、名前の競合を解決してください。
-
親データベース： テーブルを復元するには、その親データベースが正常な状態であることが必要です。親データベースがごみ箱にある場合は、まず親データベースを復元してください。
-
クリーンアップステータス: ステータスが Purging の場合、復元操作は実行できません。バックグラウンドクリーンアップが完了してから再試行してください (通常約 30 分)。
操作手順
手順1：ごみ箱の保持期間の設定
-
DLF コンソールにログインします。
-
左側のナビゲーションペインで、Catalogsを選択します。
-
カタログリストで、対象の [catalog] をクリックします。
-
カタログ詳細ページで、Catalog Configuration をクリックします。
-
Advanced Settings セクションで、Modify をクリックします。
-
Catalog Properties セクションで、ごみ箱の設定項目を追加または変更します。
-
OK をクリックします。
次の表に、ごみ箱の設定項目を示します。
|
設定項目 |
タイプ |
デフォルト |
説明 |
|
|
Integer |
|
データベースとテーブルのメタデータがごみ箱に保持される日数です。 |
|
|
Integer |
|
孤立ファイルがシステムのごみ箱 ( |
手順2：ごみ箱ページへのアクセス
-
DLF コンソールにログインします。
-
左側のナビゲーションペインで、System & Security を選択します。
-
システム & セキュリティ ページで、Recycle Binをクリックします。
-
必要に応じて、Databases、Tables、またはFiles タブを選択します。
手順3：データベースまたはテーブルの復元
-
「ごみ箱」ページで、Databases または Tables タブをクリックします。
-
対象のカタログを選択し、必要に応じてデータベース名またはテーブル名を入力して結果を絞り込みます。
-
復元したいデータベースまたはテーブルを見つけます。
-
ステータスがDeletion Protected であることを確認します。
-
Actions 列で、Restore をクリックします。
手順4：リサイクルされたファイルの表示
-
「ごみ箱」ページで、Files タブをクリックします。
-
対象のカタログを選択し、必要に応じてファイル名またはパスのキーワードを入力して結果を絞り込みます。
-
削除されたファイルに関する情報を表示します。
Files タブには、システムのごみ箱 (system.trash) 内の孤立したファイルが表示されます。これらのファイルは表示のみ可能で、復元はサポートされていません。
注意事項
-
保持期間： メタデータの保持期間 (
dlf.trashed-meta-retained-days) とファイルの保持期間 (dlf.trashed-file-retained-days) は、独立した設定項目です。前者は、データベースとテーブルのメタデータとデータを復元できる期間を制御します。後者は、孤立ファイルがシステムごみ箱に保持される期間を制御します。 -
復元の動作：データベースを復元すると、データベースと一緒に削除されたすべてのテーブルも復元されます。個別に削除されたテーブルは、Tables タブから個別に復元する必要があります。
-
バックグラウンドクリーンアップ： データベースまたはテーブルを削除すると、関連するデータとメタデータは、まずごみ箱に移動されます。完全な削除は、バックグラウンドのクリーンアップタスクによって実行されます。正確な完了時間は、設定された保持期間とバックグラウンドのクリーンアップスケジュールによって異なります。