データベース、テーブル、関数 - Data Lake Formation - Alibaba Cloud ドキュメントセンター

メタデータ管理は、データレイクを構築する上で重要な要素です。効果的で一元化されたメタデータ管理は、データ資産の価値を最大化するのに役立ちます。本トピックでは、Data Lake Formation (DLF) でデータベース、テーブル、関数を管理する方法について説明します。

データベース

データベースのパラメーターを設定し、OK をクリックします。

パラメーター	説明
Catalog	データベースを作成するデータカタログを選択します。
Name	データベースの名前を入力します。
Description	任意。データベースの説明を入力します。
Select the path.	メタデータを格納する Object Storage Service (OSS) パスを指定します。メタデータを OSS に保存することで、データセキュリティと信頼性が確保され、管理とメンテナンスが簡素化されます。説明標準ストレージを使用する OSS バケットのみがサポートされています。現在のリージョンに標準ストレージバケットが存在しない場合は、OSS コンソールで作成してください。

Database タブをクリックします。
データベースリストで、データベース名をクリックして、その Basic Information を表示します。
対応するタブをクリックして、データベースの Tables、Functions、Data Permission、Overview、Storage Rule を表示します。

Database タブをクリックし、対象の Catalogs を選択します。
データベースの Actions 列で、Modify をクリックします。
情報を変更し、Update をクリックします。
- Description：データベースの説明を入力します。
- Select the path.：データベースのロケーションを入力します。

説明

DLF は default データベースを作成しますが、これは削除できません。本番環境では他のデータベースを使用することを推奨します。
DLF コンソールでデータベースを削除すると、そのメタデータは削除されますが、OSS に保存されているデータは削除されません。基になるデータを削除するには、E-MapReduce または MaxCompute から DROP DATABASE コマンドを実行する必要があります。

データベースを作成した後、Data Table タブをクリックします。対象の Catalogs と データベース名 を選択し、Create Table をクリックします。

テーブルのパラメーターを設定し、OK をクリックします。

パラメーター	説明
Table Name	テーブルの名前を入力します。
Catalog	テーブルのデータカタログを選択します。
Database:	データカタログ内のデータベースを選択します。
Table Description	任意。テーブルの説明を入力します。
Data Storage Location	テーブルデータのストレージロケーションを選択します。推奨されるデフォルトのストレージロケーションは `oss://[database_location]/[table_name]` です。
Format and Serialization	テーブルのデータフォーマットを選択します。サポートされているフォーマットは、Avro、CSV、JSON、Parquet、ORC です。
Delimiter	任意。 CSV フォーマットを選択した場合は、デリミタを指定します。
Common Column	テーブルの列とパーティションキーを手動で定義します。それぞれに名前、データ型、説明を指定します。
Partition Key Column	テーブルの列とパーティションキーを手動で定義します。それぞれに名前、データ型、説明を指定します。

Data Table タブをクリックします。
テーブルリストで、テーブル名をクリックして、その Basic Information を表示します。
対応するタブをクリックして、テーブルの Data Permission、Overview、Version Management、Storage Rule を表示します。
テーブルの Overview の詳細については、「テーブル - データ概要」をご参照ください。

説明

DLF コンソールでテーブルを削除すると、そのメタデータは削除されますが、OSS に保存されているデータは削除されません。基になるデータを削除するには、E-MapReduce または MaxCompute から DROP TABLE コマンドを実行する必要があります。

左側のナビゲーションペインで、Metadata > Metadataを選択します。
Function タブをクリックします。対象の Catalogs と データベース名 を選択し、Create Function をクリックします。

関数のパラメーターを設定し、OK をクリックします。

パラメーター	説明
Function Name	関数の名前を入力します。
Function Type	JAVA のみがサポートされています。
Catalog	関数のデータカタログを選択します。
Database:	データカタログ内のデータベースを選択します。
Class Name	任意。クラス名を入力します。
Resource URI	任意。 Add をクリックし、Type と [URI] を入力します。サポートされているリソースタイプは、JAR、FILE、ARCHIVE です。