La gestión de metadatos es una parte fundamental en la construcción de un data lake. Una gestión centralizada y eficaz de los metadatos le permite maximizar el valor de sus activos de datos. Este tema describe cómo gestionar bases de datos, tablas y funciones en Data Lake Formation (DLF).
Bases de datos
Crear una base de datos
Inicie sesión en la consola de Data Lake Formation (DLF).
En el panel de navegación izquierdo, seleccione .
Haga clic en la pestaña Database, seleccione los Catalogs deseados y luego haga clic en Create Database.
-
Configure los parámetros de la base de datos y haga clic en OK.
Parámetro
Descripción
Catalog
Seleccione el catálogo de datos donde desea crear la base de datos.
Name
Introduzca un nombre para la base de datos.
Description
Opcional. Introduzca una descripción para la base de datos.
Select the path.
Especifique una ruta de Object Storage Service (OSS) para almacenar los metadatos. Almacenar los metadatos en OSS garantiza la seguridad y confiabilidad de los datos, además de simplificar su gestión y mantenimiento.
NotaSolo se admiten buckets de OSS que utilizan Standard storage. Si no existe un bucket de Standard storage en la región actual, cree uno en la consola de OSS.
Consultar detalles de la base de datos
Haga clic en la pestaña Database.
En la lista de bases de datos, haga clic en el nombre de una base de datos para consultar su Basic Information.
Haga clic en las pestañas correspondientes para consultar las Tables, Functions, Data Permission, Overview y Storage Rule de la base de datos.
Editar una base de datos
Haga clic en la pestaña Database y seleccione los Catalogs deseados.
En la columna Actions de la base de datos, haga clic en Modify.
-
Modifique la información y haga clic en Update.
Description: Introduzca una descripción para la base de datos.
Select the path.: Introduzca la ubicación de la base de datos.
Eliminar una base de datos
Haga clic en la pestaña Database y seleccione los Catalogs deseados.
En la columna Actions de la base de datos, haga clic en Delete.
En el cuadro de diálogo de confirmación, haga clic en Delete.
DLF crea la base de datos
default, la cual no se puede eliminar. Se recomienda utilizar otras bases de datos para los entornos de producción.Eliminar una base de datos desde la consola de DLF quita sus metadatos, pero no elimina los datos almacenados en OSS. Para eliminar los datos subyacentes, debe ejecutar una operación
Drop Databasedesde E-MapReduce o MaxCompute.
Tablas
Crear una tabla
Después de crear una base de datos, haga clic en la pestaña Data Table. Seleccione los Catalogs y el Database Name deseados, y luego haga clic en Create Table.
-
Configure los parámetros de la tabla y haga clic en OK.
Parámetro
Descripción
Table Name
Introduzca un nombre para la tabla.
Catalog
Seleccione el catálogo de datos para la tabla.
Database:
Seleccione una base de datos dentro del catálogo de datos.
Table Description
Opcional. Introduzca una descripción para la tabla.
Data Storage Location
Seleccione la ubicación de almacenamiento para los datos de la tabla.
La ubicación de almacenamiento predeterminada recomendada es
oss://[database_location]/[table_name].Format and Serialization
Seleccione el formato de datos de la tabla. Los formatos compatibles incluyen Avro, CSV, JSON, Parquet y ORC.
Delimiter
Opcional. Si selecciona el formato CSV, especifique un delimitador.
Common Column
Defina manualmente las columnas y las claves de partición de la tabla. Especifique el nombre, el tipo de datos y la descripción de cada una.
Partition Key Column
Consultar detalles de la tabla
Haga clic en la pestaña Data Table.
En la lista de tablas, haga clic en el nombre de una tabla para consultar su Basic Information.
-
Haga clic en las pestañas correspondientes para consultar Data Permission, Overview, Version Management y Storage Rule de la tabla.
Para obtener más información sobre la Overview de una tabla, consulte Table - data overview.
Editar una tabla
Haga clic en la pestaña Data Table y seleccione los Catalogs y el Database Name deseados.
En la columna Actions de la tabla, haga clic en Modify.
Modifique la información de la tabla y haga clic en Update.
Eliminar una tabla
Haga clic en la pestaña Data Table y seleccione los Catalogs y el Database Name deseados.
En la columna Actions de la tabla, haga clic en Delete.
En el cuadro de diálogo de confirmación, haga clic en Delete.
Eliminar una tabla desde la consola de DLF quita sus metadatos, pero no elimina los datos almacenados en OSS. Para eliminar los datos subyacentes, debe ejecutar una operación Drop Table desde E-MapReduce o MaxCompute.
Funciones
Crear una función
En el panel de navegación izquierdo, seleccione .
Haga clic en la pestaña Function. Seleccione los Catalogs y el Database Name deseados, y luego haga clic en Create Function.
-
Configure los parámetros de la función y haga clic en OK.
Parámetro
Descripción
Function Name
Introduzca un nombre para la función.
Function Type
Solo se admite JAVA.
Catalog
Seleccione el catálogo de datos para la función.
Database:
Seleccione una base de datos dentro del catálogo de datos.
Class Name
Opcional. Introduzca el nombre de la clase.
Resource URI
Opcional. Haga clic en Add y luego introduzca el Type y la URI. Los tipos de recursos compatibles son JAR, FILE y ARCHIVE.
Consultar detalles de la función
Haga clic en la pestaña Function y seleccione los Catalogs y el Database Name deseados.
En la lista de funciones, haga clic en el nombre de una función para consultar su Basic Information.
Editar una función
Haga clic en la pestaña Function y seleccione los Catalogs y el Database Name deseados.
En la columna Actions de la función, haga clic en Modify.
Modifique el Class Name y haga clic en OK.
Eliminar una función
Haga clic en la pestaña Function y seleccione los Catalogs y el Database Name deseados.
En la columna Actions de la función, haga clic en Delete.
En el cuadro de diálogo de confirmación, haga clic en Delete.