Un catálogo de datos es la entidad de metadatos de nivel superior en Data Lake Formation (DLF) y puede contener varias bases de datos. Puede crear, consultar, editar y eliminar catálogos de datos, así como vincularlos a motores de cómputo para lograr el aislamiento de metadatos.
Casos de uso
Los catálogos de datos se utilizan principalmente para el aislamiento de metadatos. Por ejemplo, varios clústeres de E-MapReduce (EMR) pueden vincularse cada uno a un catálogo de datos distinto, lo que hace que los metadatos sean invisibles entre clústeres.
Operaciones básicas
Crear un catálogo de datos
Inicie sesión en la consola de Data Lake Formation.
En el panel de navegación izquierdo, elija .
Haga clic en la pestaña Catalogs y luego haga clic en New Catalog.
-
Configure los siguientes parámetros y haga clic en OK.
Catalog ID: Obligatorio. Identificador único del catálogo de datos.
Description: Opcional. Descripción del catálogo de datos.
Location: Opcional. Ruta de almacenamiento predeterminada. Solo se admiten rutas de OSS.
Consultar catálogos de datos
En el panel de navegación izquierdo, elija .
Haga clic en la pestaña Catalogs para consultar la lista de catálogos de datos.
Editar un catálogo de datos
En el panel de navegación izquierdo, elija .
Haga clic en la pestaña Catalogs.
En la lista de catálogos de datos, localice el catálogo que desea editar y haga clic en Modify en la columna Actions.
-
Modifique los parámetros según sea necesario y haga clic en OK.
Description: Opcional. Descripción del catálogo de datos.
Location: Opcional. Ruta de almacenamiento predeterminada. Solo se admiten rutas de OSS.
Eliminar un catálogo de datos
Esta acción es irreversible. Un catálogo de datos eliminado y sus datos no se pueden recuperar. Proceda con precaución.
En el panel de navegación izquierdo, elija .
Haga clic en la pestaña Catalogs.
En la lista de catálogos de datos, localice el catálogo que desea eliminar y haga clic en Delete en la columna Actions.
En el cuadro de diálogo, haga clic en Delete.
Integración con motores de cómputo
Cambiar el catálogo de datos de un clúster de E-MapReduce
Después de cambiar el Catalog ID de Data Lake Formation (DLF) vinculado a un clúster de E-MapReduce (EMR), el clúster apuntará al nuevo Catalog ID. This change invalidates operations on databases and tables in the original data catalog and causes running jobs to fail. Asegúrese de comprender completamente el impacto antes de continuar.
Integración con el motor Hive
-
In the Archivo core-site.xml del servicio Hive, add the following configuration item. For more information, see Add configuration items.
Parámetro
Value
dlf.catalog.id
El ID del catálogo de datos de DLF.
-
Aplique la configuración.
Haga clic en Save. Después de guardar la configuración, haga clic en Deploy Client Configuration.
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
-
Reinicie el servicio Hive.
En la página de configuración del servicio Hive, elija .
-
En el cuadro de diálogo, introduzca un Execution Reason y haga clic en OK.
Una vez reiniciado el servicio, su estado cambiará a Healthy, lo que confirma que el Catalog ID se modificó correctamente.
Integración con el motor Spark
Modifique el archivo hive-site.xml del servicio Spark. Para obtener pasos detallados, consulte la sección Hive engine integration.
Para las versiones 5.6.0, 3.40.0 y anteriores de EMR, solo necesita modificar la configuración de Hive, ya que Spark la utiliza automáticamente.
Integración con el motor Presto
Modifique el archivo hive.properties del servicio Presto. Para obtener pasos detallados, consulte la sección Hive engine integration.
Esta función solo es compatible con las versiones 5.8.0, 3.42.0 y posteriores de EMR.
Integración con el motor Impala
Solo necesita modificar la configuración de Hive, ya que Impala la utiliza automáticamente.