すべてのプロダクト
Search

このプロダクト

    E-MapReduce:EMRメタデータの移行

    ドキュメントセンター

    E-MapReduce:EMRメタデータの移行

    最終更新日:Jan 11, 2025

    このトピックでは、E-MapReduce（EMR）クラスタのメタデータをクラスタのメタデータベースからData Lake Formation（DLF）に移行する理由と手順について説明します。

    メタデータ移行の理由

    2020年、Alibaba Cloud EMRは、より優れた統合メタデータサービスを提供するために、新しいストレージタイプであるDLF統合メタデータをリリースしました。一部のユーザーは、本番環境でHiveメタデータを保存するために、組み込みMySQLまたは統合メタベースストレージタイプを使用しています。組み込みMySQLと統合メタベースストレージタイプは、古いEMRコンソールで提供されています。次の理由により、できるだけ早くクラスタのメタデータをDLFに移行することを強くお勧めします。
    • オンプレミスのMySQLデータベースはスタンドアロンモードでデプロイされているため、高可用性を確保できず、サービス中断が発生しやすくなります。
    • 統合メタベースストレージタイプは、将来的に段階的に廃止される予定です。メタデータを保存するには、新しいEMRコンソールで提供されているDLF統合メタデータストレージタイプを使用する必要があります。
    説明 クラスタがApsaraDB RDSデータベースを使用してメタデータを保存している場合でも、メタデータをDLFに移行して、ストレージのパフォーマンスとスケーラビリティを向上させることができます。

    DLFは、運用管理不要の高可用性で高性能な統合メタデータサービスを提供します。メタデータサービスは、Hiveメタストアの複数のバージョンと互換性があり、EMRのオープンソースコンピューティングエンジンとシームレスに統合でき、データプロファイリングをサポートしています。さらに、DLFは、データ探索、データレイク管理、データ権限管理などの機能も提供し、MaxCompute、Databricks DataInsight（DDI）、Hologresなどの他のAlibaba Cloudコンピューティングサービスとシームレスに統合できます。これにより、幅広いコンピューティングシナリオでDLFを使用できます。 DLFの詳細については、「概要」をご参照ください。

    移行プロセス

    Alibaba Cloud EMRチームとDLFチームは、包括的な移行プロセスと、移行プロセス全体にわたる技術サポートを提供し、迅速かつスムーズなデータ移行を保証します。

    フェーズ操作参加者推定所要時間
    1. 準備
    1. DingTalkでDingTalkグループ番号 33719678 を検索して、EMRメタデータ移行グループに参加します。

      その後、エンジニアがお客様のクラスタ構成と実際のリソース使用状況を調査し、メタデータ移行の実現可能性とスケジュールを決定します。

    		Alibaba Cloud EMRチームと顧客2時間
    2. 移行
    1. クラスタで実行されているタスクを一時停止し、メタデータサービスを停止します。
    2. 既存のメタデータをバックアップします。
    3. メタデータ移行機能を使用してメタデータをDLFに移行し、移行操作が想定どおりに実行されているかどうかを確認します。
    4. クラスタの作成時に構成した タイプ パラメータの値をDLF統合メタデータに変更します。
    5. 一時停止したタスクを再開します。
    		Alibaba Cloud EMRチームと顧客30分
    3. 確認1週間以上タスクの実行状況を観察し、結果を確認します。
    • タスクが想定どおりに実行された場合、移行は成功です。
    • 問題が発生した場合は、問題の原因を特定し、実際の状況に基づいてオンラインで問題を修正するか、ロールバックを実行するかを決定します。

      ロールバックの詳細については、「フェーズ 4」をご参照ください。

    		Alibaba Cloud EMRチームと顧客1週間
    （オプション） 4. ロールバック
    1. クラスタで実行されているタスクを一時停止します。
    2. DLFとHiveメタストアの間でメタデータを比較し、増分データをHiveメタストアに書き戻します。
    3. クラスタの作成時に構成した タイプ パラメータの値を統合メタベースに変更します。
    4. Hiveメタストアを起動します。
    5. 一時停止したタスクを再開し、タスクの結果を確認します。
    		Alibaba Cloud EMRチームと顧客30分

    テクニカルサポートへの問い合わせ

    Alibaba Cloud EMRチームとDLFチームは、包括的な移行プロセスと、移行プロセス全体にわたる技術サポートを提供します。 EMRメタデータをDLFに移行する場合は、DingTalkグループ番号 33719678 を検索して、移行用のDingTalkグループに参加してください。その後、エンジニアがお客様に連絡を取り、移行計画を策定します。