Data Lake Formation:メタデータの移行

制限事項

• サポートされている Hive バージョン: 2.3.x、3.1.x バージョン。

• サポートされているデータベースタイプ: MySQL。

メタデータ移行タスクの作成

1. DLF コンソール にログインします。

2. 左側のナビゲーションペインで、メタデータ > メタデータの移行 をクリックします。

3. [移行タスク] タブで、[移行タスクの作成] をクリックします。

4. 次のソースデータベース情報を設定し、[次へ] をクリックします。

   パラメーター	説明
   データベースタイプ	MySQL タイプのみがサポートされています。
   Mysql タイプ	Hive メタデータタイプに基づいて選択します。 Aliyun RDS: Alibaba Cloud 公式 Web サイトが提供する RDS。詳細については、「ApsaraDB for RDS MySQL 版」をご参照ください。 [RDS インスタンス] を選択し、[データベース名]、 [ユーザー名] 、および [パスワード] を入力する必要があります。 重要 RDS メタデータは、 Alibaba Cloud VPC 接続アクセスのみをサポートしています。 その他の Mysql: EMR クラスターに組み込まれた MySQL、セルフビルド MySQL、またはその他の MySQL データベース。 [JDBC URL]、 [ユーザー名] 、および [パスワード] を入力する必要があります。 重要 お勧めします JDBC URLイントラネット IP を入力し、Alibaba Cloud VPC 接続を介してアクセスすることをお勧めします。[パブリックネットワーク接続] を選択した場合は、パブリック IP を入力します。
   ネットワーク接続方法	現在、Alibaba Cloud VPC と パブリックネットワーク接続 の 2 つの方法をサポートしています。前の手順の MySQL タイプに応じて設定してください。 Alibaba Cloud VPC: ネットワークの問題を回避するために、EMR クラスターまたは RDS に一致する [仮想プライベートクラウド (VPC)]、[vswitch]、および [セキュリティグループ] を選択します。 パブリックネットワーク接続: パブリックネットワーク接続を選択する場合は、EMR コンソールでルールを追加して、EMR クラスターのポート 3306 (デフォルト) を DLF エラスティック IP アドレス に開放します。 説明 ポートの追加の詳細については、「セキュリティグループの管理」をご参照ください。 各リージョンの DLF エラスティック IP アドレスについては、「DLF リージョンとエラスティック IP アドレスの比較表」をご参照ください。

5. 次の移行タスク情報を設定し、[次へ] をクリックします。

   パラメーター	説明
   タスク名	メタデータ移行タスクの名前を入力します。
   タスクの説明	オプション。タスクのメモを入力します。
   データカタログ	ターゲットデータカタログを選択します。
   競合解決ポリシー	レガシーメタデータを更新する (推奨): レガシーデータは削除されません。 既存の DLF メタデータに基づいてメタデータを更新します。 メタデータを再構築する。つまり、最初にレガシー DLF メタデータを削除してから、新しいメタデータを作成します。
   ログストレージパス	すべての移行タスクログは、指定された OSS の場所に保存されます。
   同期オブジェクト	データベース、関数、テーブル、パーティションの 4 つのオブジェクトが含まれます。通常はすべて選択します。
   場所の置換	オプション。移行中にテーブルまたはデータベースの場所を置き換える必要がある場合に適用されます。 たとえば、従来の HDFS アーキテクチャから OSS ストレージおよびコンピューティング分離アーキテクチャに移行する場合は、hdfs:// パスを oss:// パスに置き換える必要があります。

6. タスク設定情報が正しいことを確認し、[確認] をクリックして、タスクの作成を完了します。

メタデータ移行タスクの管理

1. [移行タスク] タブをクリックし、ターゲット移行タスクの [操作] 列で、次の操作を行います。

   • [実行] をクリックします: 現在のメタデータ移行タスクを実行します。

   • [実行記録] をクリックします: タスク実行に関する詳細情報を表示します。

   • [編集] をクリックします: [ソースデータベースの設定] と [移行タスクの設定] を変更します。

   • [削除] をクリックします: 移行タスクを削除します。

   • [停止] をクリックします: 現在実行中のタスクを停止します。

2. [実行履歴] タブをクリックし、ターゲットタスクの [操作] 列で [ログの表示] をクリックして、実行ログ情報を表示します。

   メタデータの移行が完了すると、ログから成功または失敗の結果情報を確認できます。

メタデータ同期結果の確認

1. 左側のナビゲーションペインで、メタデータ > メタデータ管理 をクリックします。

2. [データベース] タブをクリックし、[データカタログ] を選択し、同期された [データベース名] を入力すると、対応するデータベース情報を照会できます。

3. [データテーブル] タブをクリックし、[データカタログ] と [データベース名] を選択し、同期された [テーブル名] を入力すると、対応するデータテーブル情報を照会できます。

ベストプラクティス

EMR メタデータを DLF に移行する

参考資料

DLF リージョンとエラスティック IP アドレスの比較表