デフォルトでは、EMR Serverless Spark は、クラスターのライフサイクルに紐付けられた組み込みの Hive メタストアを使用するため、クラスターが削除されるとメタデータも削除され、クラスター間で共有することはできません。本番ワークロードやマルチクラスター環境では、いずれの単一クラスターからも独立してメタデータを永続化するために、外部メタデータサービスに接続してください。
組み込みメタストアと外部メタストア
ワークロードの要件に応じて選択してください:
組み込みメタストア
クラスターが削除されるとメタデータも削除されます。
クラスターやクラスタータイプ間での共有はできません。
開発およびテストでの利用にのみ適しています。
外部メタストア
メタデータは、個々のクラスターのライフサイクルとは独立して永続化されます。
複数のクラスターが同じメタストアに同時に接続できます。
データレイクとデータウェアハウス間でのスキーマ共有をサポートします。
本番ワークロードでの使用を推奨します。
サポートされている接続タイプ
EMR Serverless Spark は、以下の外部メタデータサービスをサポートしています: