データカタログは、Data Lake Formation(DLF)のメタデータの最上位エンティティです。複数のデータベースを含めることができます。このトピックでは、データカタログの基本操作について説明します。
シナリオ
データカタログは、メタデータ分離のシナリオで使用されます。たとえば、複数のE-MapReduce(EMR)クラスターがあり、各クラスターが異なるカタログに接続されている場合、各EMRクラスター間のメタデータは相互に不可視です。
基本操作
データカタログの作成
DLF コンソール にログオンします。
左側のナビゲーションペインで、 を選択します。
[カタログリスト] タブをクリックし、[新規カタログ] をクリックします。
入力ボックスに次の情報を入力し、[OK] をクリックします。
カタログID: 必須。一意の識別子であり、重複させることはできません。
説明: オプション。説明情報を入力します。
場所: オプションです。デフォルトのストレージパスを入力します。オブジェクトストレージサービス (OSS) パスのみがサポートされています。
データカタログの表示
左側のナビゲーションペインで、 を選択します。
[カタログリスト] タブをクリックして、カタログリスト情報を表示します。
データカタログの変更
左側のナビゲーションペインで、 を選択します。
[カタログリスト] タブをクリックします。
データカタログリストページで、[アクション] 列の [編集] をクリックします。
入力ボックスで次の情報を変更し、[OK] をクリックします。
説明: オプション。説明情報を入力します。
場所: オプション。デフォルトのストレージパスを入力します。 OSS パスのみがサポートされています。
データカタログの削除
削除すると、データは復元できません。
左側のナビゲーションペインで、 を選択します。
[カタログリスト] タブをクリックします。
データカタログリストページで、[アクション] 列の [削除] をクリックします。
ポップアップ表示される確認ダイアログボックスで、[削除] をクリックして、カタログの削除を完了します。
コンピューティングエンジンとの適応操作
E-MapReduce クラスターのデータカタログを変更する方法
DLF [カタログ ID] を E-MapReduce クラスタにバインドした後に変更すると、クラスタは新しい [カタログ ID] を指すようになります。この変更により、元のカタログ内のデータベース、テーブル、および実行中のジョブに対する操作が無効になります。切り替える前に、影響を十分に考慮してください。
Hive エンジン適応
Hive サービスの 次のcore-site.xml ファイルに、次の構成項目を追加します。詳細については、「Hive、参照してください構成項目の管理」をご参照ください。
キー
値
dlf.catalog.id
DLF の カタログID。
構成を有効にします。
[保存] をクリックします。保存後、[クライアント構成のデプロイ] をクリックします。
ポップアップ表示されるダイアログボックスで、実行理由 を入力し、[OK] をクリックします。
Hive サービスを再起動します。
Hive サービス構成ページで、 をクリックします。
ポップアップ表示されるダイアログボックスで、実行理由 を入力し、[OK] をクリックします。
再起動が成功すると、Hive のステータスは 正常 になり、カタログID の変更は完了です。
Spark エンジン適応
Spark サービスの hive-site.xml ファイルを変更します。詳細については、「Hive エンジン適応」をご参照ください。
EMR 5.6.0、3.40.0、およびそれ以前のバージョンでは、Spark のこの構成を個別に変更する必要はありません。 Hive 構成を使用するため、Hive 構成のみを変更する必要があります。
Presto エンジン適応
Presto サービスの hive.properties ファイルを変更します。詳細については、「Hive エンジン適応」をご参照ください。
この機能は、EMR 5.8.0、3.42.0、およびそれ以降のバージョンでのみサポートされています。
Impala エンジン適応
Impala 構成を個別に変更する必要はありません。 Hive 構成を使用するため、Hive 構成のみを変更する必要があります。