すべてのプロダクト
Search
ドキュメントセンター

Data Lake Formation:データカタログ

最終更新日:Jan 12, 2025

データカタログは、Data Lake Formation(DLF)のメタデータの最上位エンティティです。複数のデータベースを含めることができます。このトピックでは、データカタログの基本操作について説明します。

シナリオ

データカタログは、メタデータ分離のシナリオで使用されます。たとえば、複数のE-MapReduce(EMR)クラスターがあり、各クラスターが異なるカタログに接続されている場合、各EMRクラスター間のメタデータは相互に不可視です。

基本操作

データカタログの作成

  1. DLF コンソール にログオンします。

  2. 左側のナビゲーションペインで、メタデータ > メタデータ を選択します。

  3. [カタログリスト] タブをクリックし、[新規カタログ] をクリックします。

  4. 入力ボックスに次の情報を入力し、[OK] をクリックします。

    • カタログID: 必須。一意の識別子であり、重複させることはできません。

    • 説明: オプション。説明情報を入力します。

    • 場所: オプションです。デフォルトのストレージパスを入力します。オブジェクトストレージサービス (OSS) パスのみがサポートされています。

データカタログの表示

  1. 左側のナビゲーションペインで、メタデータ > メタデータ を選択します。

  2. [カタログリスト] タブをクリックして、カタログリスト情報を表示します。

データカタログの変更

  1. 左側のナビゲーションペインで、メタデータ > メタデータ を選択します。

  2. [カタログリスト] タブをクリックします。

  3. データカタログリストページで、[アクション] 列の [編集] をクリックします。

  4. 入力ボックスで次の情報を変更し、[OK] をクリックします。

    • 説明: オプション。説明情報を入力します。

    • 場所: オプション。デフォルトのストレージパスを入力します。 OSS パスのみがサポートされています。

データカタログの削除

警告

削除すると、データは復元できません。

  1. 左側のナビゲーションペインで、メタデータ > メタデータ を選択します。

  2. [カタログリスト] タブをクリックします。

  3. データカタログリストページで、[アクション] 列の [削除] をクリックします。

  4. ポップアップ表示される確認ダイアログボックスで、[削除] をクリックして、カタログの削除を完了します。

コンピューティングエンジンとの適応操作

E-MapReduce クラスターのデータカタログを変更する方法

重要

DLF [カタログ ID] を E-MapReduce クラスタにバインドした後に変更すると、クラスタは新しい [カタログ ID] を指すようになります。この変更により、元のカタログ内のデータベース、テーブル、および実行中のジョブに対する操作が無効になります。切り替える前に、影響を十分に考慮してください。

Hive エンジン適応

  1. Hive サービスの 次のcore-site.xml ファイルに、次の構成項目を追加します。詳細については、「Hive、参照してください構成項目の管理」をご参照ください。

    キー

    dlf.catalog.id

    DLF の カタログID。

  2. 構成を有効にします。

    1. [保存] をクリックします。保存後、[クライアント構成のデプロイ] をクリックします。

    2. ポップアップ表示されるダイアログボックスで、実行理由 を入力し、[OK] をクリックします。

  3. Hive サービスを再起動します。

    1. Hive サービス構成ページで、詳細 > 再起動 をクリックします。

    2. ポップアップ表示されるダイアログボックスで、実行理由 を入力し、[OK] をクリックします。

      再起動が成功すると、Hive のステータスは 正常 になり、カタログID の変更は完了です。

Spark エンジン適応

Spark サービスの hive-site.xml ファイルを変更します。詳細については、「Hive エンジン適応」をご参照ください。

説明

EMR 5.6.0、3.40.0、およびそれ以前のバージョンでは、Spark のこの構成を個別に変更する必要はありません。 Hive 構成を使用するため、Hive 構成のみを変更する必要があります。

Presto エンジン適応

Presto サービスの hive.properties ファイルを変更します。詳細については、「Hive エンジン適応」をご参照ください。

説明

この機能は、EMR 5.8.0、3.42.0、およびそれ以降のバージョンでのみサポートされています。

Impala エンジン適応

説明

Impala 構成を個別に変更する必要はありません。 Hive 構成を使用するため、Hive 構成のみを変更する必要があります。