Alibaba Cloud E-MapReduce (EMR) では、クラスターの作成時に Data Lake Formation (DLF) や ApsaraDB RDS などのメタデータストレージタイプを選択できます。また、クラスター作成後にメタデータストレージタイプを変更することも可能です。このトピックでは、Data Lake Formation を紹介し、EMR クラスターのメタデータストレージタイプを切り替える方法について説明します。
背景情報
DLF は、Alibaba Cloud が開発したフルマネージドサービスで、クラウドネイティブデータレイクの構築と管理を容易にします。DLF を使用すると、メタデータとユーザー権限を一元管理し、データを簡単にデータレイクに取り込み、数回のクリックでデータレイク内のデータを探索できます。詳細については、「概要」をご参照ください。
また、DLF を使用すると、クラウドネイティブデータレイクをさまざまなコンピュートエンジンに接続できます。これにより、データサイロを解消し、データのビジネス価値に対するインサイトを得ることができます。
前提条件
DLF コンソールで DLF サービスが有効化されていること。
制限事項
-
DLF 統合メタデータストレージは、EMR の Hive 2.x、Hive 3.x、Presto、Spark SQL と互換性があります。
-
EMR 3.30.0 以降および EMR 4.5.0 以降のバージョンのみが、Hive データベースとして DLF 統合メタデータストレージをサポートします。
操作手順
-
Hive サービスページに移動します。
-
E-MapReduce コンソールにログインします。
-
上部のナビゲーションバーで、ビジネス要件に応じてリージョンとリソースグループを選択します。
-
EMR on ECS ページで、対象のクラスターを見つけ、[操作] 列の Services をクリックします。
-
Hive サービスセクションで、Configure をクリックします。
-
-
設定検索ボックスにパラメーター名
hive.imetastoreclient.factory.classを入力し、
アイコンをクリックします。-
MySQL メタストア (組み込み MySQL、統合メタデータベース、セルフマネージド RDS を含む) に切り替えるには：
hive.imetastoreclient.factory.class を
org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientFactoryに設定します。 -
DLF 統合メタデータストレージに切り替えるには：
hive.imetastoreclient.factory.class を
com.aliyun.datalake.metastore.hive2.DlfMetaStoreClientFactoryに設定します。
-
-
設定を保存します。
-
Hive サービスページの Service Configuration セクションで、Save をクリックします。
-
表示されたダイアログボックスで、実行理由を入力し、Save をクリックします。
-
-
Hive サービスを再起動します。
-
Hive サービスページの右上隅にある を選択します。
-
表示されたダイアログボックスで、Execution Reason を入力し、OK をクリックします。
-
Confirm ダイアログボックスで、OK をクリックします。
ページ上部の Operation History をクリックしてタスクの進捗状況を確認し、タスクが完了するまで待ちます。
-