E-MapReduce（EMR）メタデータとは、EMR クラスタのデータストレージ、データ構造、およびアクセス権限に関連するコア情報のことです。EMR では、Data Lake Formation（DLF）、ApsaraDB RDS for MySQL、および組み込み MySQL にメタデータを保存できます。このトピックでは、メタデータサービス間の違いについて説明します。ビジネス要件に基づいてメタデータサービスを指定できます。
メタデータサービス間の違い
項目 | |||
バックエンドストレージ | データは DLF に保存されます。 | データは ApsaraDB RDS for MySQL インスタンスに保存されます。事前に ApsaraDB RDS for MySQL インスタンスを購入し、ネットワーク環境を設定する必要があります。 | データは EMR クラスタの MySQL インスタンスに保存されます。 |
適用可能な環境 | テスト環境および本番環境。 | テスト環境および本番環境。 | 単一クラスタの概念実証（POC）テスト。 説明 組み込み MySQL は使用しないことをお勧めします。ローカル MySQL データベースは EMR クラスタのシングルノードにデプロイされます。その結果、サービスの高可用性が保証されず、安定性の問題が発生する可能性があります。 |
クラスタ間のメタデータ共有 | サポートされています。 | サポートされています。 | サポートされていません。 |
エンジンの互換性 | Hive、Spark、Presto、MaxCompute、および Hologres がサポートされています。 |
|
|
メタデータ管理 | 視覚化されたメタデータ検索、メタデータ管理、マルチバージョン管理、データ統計、およびライフサイクル管理がサポートされています。 | なし。 | なし。 |
高可用性（HA） | プライマリ/セカンダリ ディザスタリカバリがサポートされています。 | プライマリ/セカンダリ ディザスタリカバリがサポートされています。 | ディザスタリカバリはサポートされていません。 |
O&M コスト | 自動スケーリングがサポートされています。O&M 操作を実行する必要はありません。 | スペックアップやスケールアウトなどの O&M 操作を手動で実行する必要があります。セルフマネージド ApsaraDB RDS は、EMR クラスタを柔軟かつ詳細に管理したいシナリオに適しています。 | ローカル MySQL データベースは EMR クラスタのシングルノードにデプロイされるため、スペックアップコストが増加します。 |
課金 | 現在、DLF は無料です。DLF の課金については、「課金」をご参照ください。 | ApsaraDB RDS インスタンスの基本料金は、計算リソースの料金とストレージリソースの料金で構成されます。詳細については、「課金対象項目」をご参照ください。 | なし。 |
メタデータサービスを選択する際は、各メタデータサービスをサポートするリージョンに注意する必要があります。DLF でサポートされているリージョンについては、「サポートされているリージョンとエンドポイント」をご参照ください。
メタデータサービスのデプロイメントアーキテクチャ
DLF のデプロイメントアーキテクチャ
メタデータは DLF に保存されます。DLF は、複数のクラスタ間でのメタデータ共有をサポートしています。DLF クライアント SDK は、Hive Metastore と互換性のある API を提供します。これにより、特定のエンジンは DLF クライアント SDK を直接使用して DLF 内のメタデータにアクセスできます。ユーザーは DLF クライアントを使用して DLF 内のメタデータにアクセスすることもできます。詳細については、「製品紹介」ディレクトリのトピックをご参照ください。
単一クラスタにおける DLF のデプロイメントアーキテクチャ | 複数クラスタにおける DLF のデプロイメントアーキテクチャ |
セルフマネージド ApsaraDB RDS のデプロイメントアーキテクチャ
メタデータは ApsaraDB RDS for MySQL インスタンスに保存されます。セルフマネージド ApsaraDB RDS は、複数のクラスタ間でのメタデータ共有をサポートしており、これらのクラスタの Hive Metastore からメタデータにアクセスできます。
単一クラスタにおけるセルフマネージド ApsaraDB RDS のデプロイメントアーキテクチャ | 複数クラスタにおけるセルフマネージド ApsaraDB RDS のデプロイメントアーキテクチャ |
組み込み MySQL のデプロイメントアーキテクチャ
メタデータは MySQL に保存されます。MySQL Server インスタンスは EMR クラスタにデプロイされ、通常はクラスタのマスターノードにデプロイされます。各クラスタには MySQL データベースがあるため、メタデータを複数のクラスタ間で共有することはできません。
組み込み MySQL にログインするために使用されるユーザー名は root で、パスワードは EMRroot1234 です。
単一クラスタにおける組み込み MySQL のデプロイメントアーキテクチャ | 複数クラスタにおける組み込み MySQL のデプロイメントアーキテクチャ |
関連情報
EMR クラスタのメタデータストレージタイプを変更する方法については、「DLF を使用してメタデータストレージを統合する」をご参照ください。
セルフマネージド ApsaraDB RDS をメタデータサービスとして使用する場合は、セルフマネージド ApsaraDB RDS for MySQL データベースを設定する必要があります。詳細については、「セルフマネージド RDS を設定する」をご参照ください。