Data Lake Formation:ライフサイクル管理

前提条件

1. OSS が有効化されている必要があります。有効化するには、OSS コンソールに移動します。

2. ライフサイクル管理のためのデータベースとテーブルへのアクセスは、DLF のデータ権限によって制御されます。アクセス権限のあるデータベースとテーブルに対してのみ、ライフサイクルルールを設定できます。

ライフサイクルルールの作成

次の手順に従って、ライフサイクルルールを作成します。

1. Data Lake Formation コンソールにログインします。

2. 左側のナビゲーションペインで、Lake Management > Lifecycle Management を選択します。

3. Create Ruleをクリックしてルールを設定します。

   1. 基本情報として、Name、Description、Catalog List、およびResource Typeを指定します。

      Resource Type では、Database または Table を選択して、それぞれデータベースまたはテーブルのライフサイクルルールを設定できます。

   2. ルールタイプを選択します。 DLF は現在、次の 4 つのタイプをサポートしています。

      • データの最終アクセス時間：データの最終アクセス時間に基づいてライフサイクルを定義します。 パーティションテーブルの場合、最も細かい粒度のパーティションの最終アクセス時間が使用されます。 非パーティションテーブルの場合、テーブルの最終アクセス時間が使用されます。

      • 時間によるパーティション値：パーティション値に基づいてライフサイクルを定義します。このルールは、第 1 レベルのパーティションに時間形式が含まれるテーブルにのみ適用されます。

      • パーティション/テーブルの最終更新時間：パーティションまたはテーブルの最終更新時間に基づいてライフサイクルを定義します。 パーティションテーブルの場合、最も細かい粒度のパーティションの最終更新時間が使用されます。 非パーティションテーブルの場合、テーブルの最終更新時間が使用されます。

      • パーティション/テーブルの作成時間：パーティションまたはテーブルの作成時間に基づいてライフサイクルを定義します。 パーティションテーブルの場合、最も細かい粒度のパーティションの作成時間が使用されます。 非パーティションテーブルの場合、テーブルの作成時間が使用されます。

   3. データを低頻度アクセス、アーカイブ、またはコールドアーカイブに移行する時間間隔を選択します。

   4. ルール実行メカニズムを設定します。

      実行スケジューリングを有効にすると、ルールが毎日自動的に実行されます。 スケジューリングが無効な場合は、ルール作成後に手動で実行できます。 スケジュール実行は、毎日 08:00 までに完了します。

4. Next をクリックして、ルールを適用するデータベースまたはテーブルを選択します。

5. Add Database Resources をクリックし、バインドするリソースを選択して (検索およびページをまたいだ選択に対応しています)、Add をクリックします。

6. リソースを追加した後、OK をクリックすると、バインディング結果を確認できます。

   バインドが成功すると、正常にバインドされたリソースの数を示すメッセージが表示されます。 失敗した場合は、失敗の理由を示すメッセージが表示されます。

   説明

   • リソースタイプがデータベースの場合、データベースリソースをバインドできます。リソースタイプがテーブルの場合、テーブルリソースをバインドできます。

   • テーブルルールはデータベースルールよりも優先度が高くなります。テーブルが既にデータベースルールにバインドされている場合、この操作はそのテーブルの既存のルールを上書きします。

   • 各データベースまたはテーブルは、一度に 1 つのルールにのみバインドできます。

   • 各ルールは最大 1,000 個のリソースにバインドできます。

   • リソースをバインドせずにルールを作成し、後でバインドすることもできます。 その場合は、[Save] をクリックします。

ライフサイクルルールの編集

ライフサイクルルールを編集するには、リストでそのルールを見つけ、右側のEditをクリックします。

ルール詳細の表示

1. 左側のナビゲーションペインで、Lake Management > Lifecycle Management を選択します。

2. ルールを選択し、その ID をクリックして詳細を表示します。

   • 基本情報：ルールの詳細と実行メカニズムが表示されます。

   • リソース情報：ルールにバインドされているデータベースまたはテーブルが一覧表示されます。

   • 実行履歴：手動実行およびスケジュール実行が一覧表示されます。

ライフサイクルルールの削除

1. 左側のナビゲーションペインで、Lake Management > Lifecycle Managementを選択します。

2. 削除するライフサイクルルールを見つけ、右側のDeleteをクリックし、確認ダイアログボックスでOKをクリックします。

ルールの手動実行

1. 左側のナビゲーションペインで、Lake Management > Lifecycle Management を選択します。

2. 手動で実行したいライフサイクルルールを見つけ、右側のManual Executionをクリックし、プロンプトをよく確認してから、OKをクリックしてタスクを開始します。

実行記録の表示

1. 左側のナビゲーションペインで、Lake Management > Lifecycle Management を選択します。

2. Execution History タブをクリックすると、すべての過去のライフサイクルタスクとその実行ログを表示できます。

3. タスク名をクリックして、その実行情報とログを表示します。