メタデータ管理は、データレイク構築の重要な部分です。効果的な一元化されたメタデータ管理は、データ資産の価値を高めることができます。このトピックでは、Data Lake Formationにおけるデータベース、テーブル、および関数の関連操作について説明します。
データベース
データベースの作成
Data Lake Formation コンソールにログオンします。
左側のナビゲーションウィンドウで、 を選択します。
[データベース] タブをクリックし、ターゲットの [カタログリスト] を選択して、[データベースの作成] をクリックします。
次のデータベース情報を設定し、[OK] をクリックします。
パラメーター
説明
カタログ
データカタログを選択します。
データベース名
データベース名を入力します。
データベースの説明
オプションです。データベースの説明を入力します。
パスの選択
Object Storage Service (OSS) パスを指定します。メタデータを OSS に保存して、メタデータのセキュリティと信頼性を確保できます。これにより、メタデータを一元的に管理および維持できます。
説明標準ストレージタイプの OSS バケットのみがサポートされています。現在のリージョンに標準ストレージタイプの OSS バケットが作成されていない場合は、OSS コンソール で OSS バケットを作成します。
データベース詳細の表示
[データベース] タブをクリックします。
データベースリストで、ターゲットデータベース名をクリックして、データベースの [基本情報] を表示します。
対応するタブをクリックして、データベースの [テーブルリスト]、[関数]、[データ権限]、[データ概要]、および [ストレージルール] を表示します。
データベースの編集
[データベース] タブをクリックし、ターゲットの [カタログリスト] を選択します。
ターゲットデータベースを見つけ、[アクション] 列の [編集] をクリックします。
次の情報を変更し、[更新] をクリックします。
データベースの説明: データベースの説明を入力します。
パスの選択: データベースの場所を入力します。
データベースの削除
[データベース] タブをクリックし、ターゲットの [カタログリスト] を選択します。
ターゲットデータベースを見つけ、[アクション] 列の [削除] をクリックします。
ポップアップ ダイアログボックスで、[削除] をクリックします。
デフォルトデータベースは DLF でデフォルトで作成され、削除できません。本番環境では他のデータベースを使用することをお勧めします。
DLF ページでデータベースを削除しても、OSS に保存されているデータは削除されません。データを削除するには、E-MapReduce/MaxCompute 側から Drop Database 操作を実行します。
テーブル
テーブルの作成
データベースを作成した後、[テーブル] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択して、[テーブルの作成] をクリックします。
次のデータテーブル情報を設定し、[OK] をクリックします。
パラメーター
説明
テーブル名
テーブルの名前を入力します。
カタログ
データカタログを選択します。
データベース
データカタログの下のデータベースを選択します。
テーブルの説明
オプションです。テーブルの説明を入力します。
データストレージの場所
テーブル内のデータが格納される場所を選択します。
デフォルトのストレージ場所は
oss://[データベースストレージの場所]/[テーブル名]であることをお勧めします。形式とシリアル化
テーブルのデータ形式を選択します。Avro、CSV、JSON、Parquet、および ORC 形式がサポートされています。
区切り文字
オプションです。データ形式が CSV の場合、テーブルの区切り文字を選択します。
共通列
テーブルの共通列とパーティションキー列を手動で定義します。列名、データ型、説明などの列情報を指定します。
パーティションキー列
テーブル詳細の表示
[テーブル] タブをクリックします。
テーブルリストで、ターゲットテーブル名をクリックして、テーブルの [基本情報] を表示します。
対応するタブをクリックして、テーブルの [データ権限]、[データ概要]、[バージョン管理]、および [ストレージルール] を表示します。
テーブルの [データ概要] の詳細については、「データテーブルのデータ概要」をご参照ください。
テーブルの編集
[テーブル] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択します。
ターゲットデータテーブルを見つけ、[アクション] 列の [編集] をクリックします。
データテーブル情報を変更し、[更新] をクリックします。
テーブルの削除
[テーブル] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択します。
ターゲットデータテーブルを見つけ、[アクション] 列の [削除] をクリックします。
ポップアップ ダイアログボックスで、[削除] をクリックします。
DLF ページでテーブルを削除しても、OSS に保存されているデータは削除されません。データを削除するには、E-MapReduce/MaxCompute 側から Drop Table 操作を実行します。
関数
関数の作成
左側のナビゲーションウィンドウで、 を選択します。
[関数] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択して、[関数の作成] をクリックします。
次の関数情報を設定し、[OK] をクリックします。
パラメーター
説明
関数名
関数名を入力します。
関数タイプ
このパラメーターを JAVA に設定します。
カタログ
データカタログを選択します。
データベース
データカタログの下のデータベースを選択します。
クラス名
オプションです。クラス名を入力します。
リソース URI
オプションです。[列の追加] をクリックし、[タイプ] と [URI] を入力します。リソースタイプは JAR、FILE、および ARCHIVE をサポートしています。
関数詳細の表示
[関数] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択します。
関数リストで、ターゲット関数名をクリックして、関数の基本情報を表示します。
関数の編集
[関数] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択します。
ターゲット関数を見つけ、[アクション] 列の [編集] をクリックします。
[クラス名] 情報を設定し、[OK] をクリックします。
関数の削除
[関数] タブをクリックし、ターゲットの [カタログリスト] と [データベース名] を選択します。
ターゲット関数を見つけ、[アクション] 列の [削除] をクリックします。
ポップアップ確認ボックスで、[削除] をクリックします。