データカタログは、DLF Catalog メタデータを管理するための統一されたインターフェイスを提供します。このトピックでは、データカタログを使用してデータベースとテーブルのメタデータを作成および管理する方法について説明します。
DLF Catalog データカタログページに移動する
DataWorks コンソールの [ワークスペース] ページに移動します。上部のナビゲーションバーで、目的のリージョンを選択します。目的のワークスペースを見つけ、[アクション] 列で を選択します。
左側のナビゲーションウィンドウで、
アイコンをクリックします。[データカタログ] ツリーで [DLF Catalog] をクリックして、DLF Catalog データ管理ページを開きます。
DLF Catalog データカタログを作成する
DLF Catalog データ管理ページで、既存の DLF Catalog をデータセットとしてデータカタログリストに追加できます。
DLF Catalog の右側にある
アイコンをクリックして、[DLF Catalog の追加] ページを開きます。適切なタブで、必要なバージョンの DLF Catalog をデータカタログリストに追加します。
DLF バージョン
アタッチ手順
DLF 1.0
[DLF 1.0] タブで、[DLF Catalog の作成] をクリックします。Data Lake Formation 1.0 コンソールで、DLF Catalog データカタログを作成します。カタログが作成されたら、それを DLF Catalog データカタログリストに追加します。
単一カタログのアタッチ: [DLF 1.0] タブで、リストから追加したい DLF Catalog を見つけ、[アクション] 列の [追加] をクリックします。
複数カタログのバッチアタッチ: [DLF 1.0] タブで、リストから複数の DLF Catalog を選択し、リストの下にある [バッチ追加] をクリックします。
DLF 2.0
DLF Catalog の作成はサポートされていません。
(推奨) DLF 2.5 以降
[DLF 2.5 以降] タブで、[DLF Catalog の作成] をクリックします。Data Lake Formation 2.5 コンソールで、DLF Catalog データカタログを作成します。カタログが作成されたら、それを DLF Catalog データカタログリストに追加します。
単一カタログのアタッチ: DLF 2.5 タブで、リストから追加したい DLF Catalog を見つけ、[アクション] 列の [追加] をクリックします。
複数カタログのバッチアタッチ: DLF 2.5 タブで、リストから複数の DLF Catalog を選択し、リストの下にある [バッチ追加] をクリックします。
DLF Catalog データカタログを管理する
DLF Catalog でデータベースとテーブルを追加および管理できます。
データベースの管理
ターゲットの DLF Catalog を見つけ、その右側にある
アイコンをクリックします。[データベースの作成] ページで、[データベース名] を入力します。
上部のツールバーで [保存] をクリックします。
データベースの表示: データベースが追加されたら、DLF Catalog の左側にある
アイコンをクリックしてデータベースを表示します。データベースの削除: データベースが不要になった場合は、それを右クリックして [削除] を選択します。
重要この操作は元に戻せません。注意して実行してください。
データベースを削除する前に、その中のすべてのテーブルを削除する必要があります。
テーブルの管理
ターゲットデータベースの右側にある
アイコンをクリックして、[新しいテーブル] ページを開きます。次のいずれかの方法で、基本的なテーブルとフィールドの情報を生成できます。
Copilot を使用してテーブルを作成する:
上部のツールバーで [Copilot でテーブルを作成] をクリックして、Copilot チャットインターフェイスを開きます。
テーブルを作成するための命令を入力します。例:
ユーザーテーブルを作成。[生成して置換] をクリックします。システムは、命令に基づいてデフォルトのテーブル名とフィールド情報を生成します。
テーブル名とフィールドが要件を満たしている場合は、[同意する] をクリックします。
説明[同意する] をクリックした後、システムが生成した詳細を手動で編集してテーブル情報を変更できます。
テーブルを手動で作成する:
パラメーターを構成してテーブルを作成します。
パラメーター
説明
基本情報
カスタムの [テーブル名]、[テーブルの説明]、およびその他の情報を指定します。
フィールド情報
フィールドとフィールドの注釈情報を編集します。
手動で編集: フィールド情報リストの上にある [挿入] をクリックします。挿入する行数を指定し、フィールド、フィールドタイプ、およびその他の情報を編集します。
Copilot で編集: フィールド情報リストの上にある [フィールドの生成] または [フィールドの説明の生成] をクリックします。システムは、設定したテーブル名と説明に基づいて、関連するフィールドと説明を生成します。
(オプション) パーティション情報を構成します。
パーティションテーブルを作成するには、[パーティションフィールド] セクションで、追加する [行] の数を設定し、[挿入] をクリックします。複数のパーティションフィールドがサポートされています。パーティションフィールドリストで、各フィールドの [フィールド名]、[フィールドタイプ]、およびその他の必要な情報を指定します。
(オプション) 詳細設定を構成します。
DLF バージョン
パラメーター
説明
DLF 2.5 以降
DLF 2.0
カスタムプロパティ
カスタムプロパティパラメーターを構成して、テーブルのストレージ場所、ストレージフォーマット、およびその他の情報を設定できます。構成の詳細については、「Data Lake Formation でデータテーブルを作成する」をご参照ください。
DLF 1.0
ストレージの場所
[ストレージの場所] の横にある [変更] をクリックします。[OSS パス] ダイアログボックスで、テーブルのストレージの場所を選択します。OSS にメタデータを保存すると、データのセキュリティと信頼性が確保され、統一された管理とメンテナンスが簡素化されます。
データフォーマット
ストレージフォーマットは、CSV、PARQUET、ORC、AVRO、JSON、または SELE_DEFINE に設定できます。システムは、選択されたストレージフォーマットに基づいて、データ入力フォーマット、出力フォーマット、およびシリアル化/デシリアル化メソッドを自動的に定義します。
CSV: 単純なデータ構造に適したカンマ区切りのテキストファイル。
PARQUET: 高い圧縮率を持つカラムナストレージフォーマットで、ビッグデータ分析に適しています。
ORC: 優れたパフォーマンスを持ち、複雑なデータ型をサポートする最適化されたカラムナストレージフォーマット。
AVRO: スキーマ進化をサポートするバイナリ形式で、動的なデータ構造に適しています。
JSON: ネストされた構造をサポートし、半構造化データに適しています。
SELE_DEFINE: シリアル化およびデシリアル化ロジックをカスタマイズできます。
構成が完了したら、上部のツールバーにある [公開] をクリックしてテーブルを作成します。
テーブルの表示: テーブルを作成した後、データベースの左側にある
アイコンをクリックし、[テーブル] をクリックして基本的なテーブル情報を表示します。特定のテーブル名をクリックして、その [詳細] と [基本情報] を表示することもできます。テーブルの削除: 削除したいテーブルを右クリックし、[削除] を選択します。
重要この操作は元に戻せません。注意して実行してください。
DLF Catalog データカタログの表示と削除
DLF Catalog が不要になった場合は、その情報を表示したり、削除したりできます。
データカタログの表示。
DLF Catalog が追加された後、そのエントリの左側にある
アイコンをクリックして展開します。DLF Catalog にマウスポインターを合わせると、その [バージョン]、[作成時間]、およびその他の情報が表示されます。
プロジェクトのデタッチ
DLF Catalog を管理する必要がなくなった場合は、それを右クリックして [削除] を選択します。