Data Catalog ofrece una interfaz unificada para gestionar y trabajar con los metadatos de Hive. En este tema se describe cómo crear y gestionar objetos de datos de tabla en Data Catalog.
Abrir la página del catálogo de datos de Hive****
Vaya a la Workspaces en la consola de DataWorks. En la barra de navegación superior, seleccione la región deseada. Busque el espacio de trabajo correspondiente y elija en la columna Actions.
En el panel de navegación izquierdo, haga clic en el icono
. En el árbol de catálogos Data Directory, haga clic en Hive para abrir la página de gestión del catálogo de datos de Hive.
Crear un catálogo de datos de Hive****
En la página de gestión del catálogo de datos de Hive, puede agregar un origen de datos de Hive existente como conjunto de datos a la lista del catálogo.
Haga clic en el icono
, ubicado a la derecha de Hive Data Catalog, para abrir la página Add Instance.-
En la pestaña DataWorks Data Source, agregue el origen de datos de Hive a la lista del catálogo.
Para gestionar EMR compute resources bound in the new Data Development interface en el espacio de trabajo actual, busque el origen de datos del clúster de EMR correspondiente en la pestaña DataWorks Data Source. En la columna Operation, haga clic en el botón Add para agregarlo.
También puede seleccionar varios orígenes de datos de Hive en la pestaña DataWorks Data Source y hacer clic en el botón Batch Add, situado debajo de la lista, para agregarlos por lotes.
Gestionar el catálogo de datos de Hive****
Puede agregar y gestionar tablas de Hive en Hive Data Catalog.
Crear una tabla
Haga clic en el icono
, ubicado a la izquierda de Hive Data Catalog, para encontrar Table.A la derecha de Table, haga clic en el icono
para abrir la página Create Table.-
Genere la información básica de la tabla y de los campos mediante cualquiera de los métodos que se describen a continuación.
-
Crear una tabla con Copilot:
En la barra de herramientas de la parte superior de la página, haga clic en Copilot table creation para abrir Copilot Chat.
Introduzca una instrucción de creación de tabla en lenguaje natural, como
Create a user table.Haga clic en Generate and Replace. El sistema genera un nombre de tabla predeterminado y la información de los campos a partir de su instrucción.
-
Si el nombre de la tabla y los campos cumplen con sus requisitos, haga clic en Accept.
NotaSi necesita modificar alguna información de la tabla, haga clic en Accept y edite manualmente los datos generados.
-
Crear una tabla manualmente:
Cree la tabla con base en las descripciones de los parámetros.
Parámetro
Descripción de la configuración
Información básica
Especifique Table Name, Table Description y demás información.
Información de los campos
Edite los campos y sus anotaciones.
Edición manual: encima de la lista de campos, haga clic en el botón Insert. Después de especificar el número de filas que desea insertar, edite Field Name, Data Type y otra información.
Edición inteligente con Copilot: encima de la lista de campos, haga clic en Generate Field o en Generate field descriptions. El sistema genera los campos y las descripciones relacionados a partir del nombre y la descripción de la tabla que introdujo.
-
-
Opcional: configure la información de particiones.
Para crear una tabla particionada, especifique en el área Partition Field el número de rows (filas) de campos de partición que desea agregar (se admiten varias particiones) y haga clic en Insert. A continuación, en la lista de campos de partición, configure Field Name, Data Type y demás información relacionada de la partición.
-
Opcional: configure los ajustes avanzados .
Parámetro
Descripción de la configuración
Tipo de tabla
Solo Internal Table.
Ubicación de almacenamiento
Especifique el directorio de almacenamiento de la tabla, por ejemplo,
/user/hive/warehouse/hive_work.Formato de almacenamiento
Los formatos de almacenamiento compatibles son CSV, PARQUET, ORC, AVRO, JSON y SELE_DEFINE. Según el formato seleccionado, el sistema define automáticamente los formatos de entrada y salida de datos, así como los métodos de serialización y deserialización.
CSV: archivo de texto delimitado por comas, adecuado para estructuras de datos simples.
PARQUET: formato de almacenamiento columnar con una alta relación de compresión, ideal para análisis de big data.
ORC: formato de almacenamiento columnar optimizado, con alto rendimiento y compatibilidad con tipos de datos complejos.
AVRO: formato binario que admite la evolución de esquemas, útil para estructuras de datos dinámicas.
JSON: admite estructuras anidadas y es adecuado para datos semiestructurados.
SELE_DEFINE: permite definir lógica personalizada de serialización y deserialización.
Una vez terminada la configuración, haga clic en Publish en la barra de herramientas superior para crear la tabla.
Gestionar tablas
Después de crear una tabla en Hive Data Catalog, haga clic en el icono
de la izquierda y luego en Table para abrir la página Table.
-
Consulte las tablas.
En la página Table, consulte la información básica de todas las tablas. También puede hacer clic en el nombre de una tabla para ver sus Details, su Basic information y su información DDL.
-
Elimine una tabla.
En la página Table, busque la tabla que desea eliminar. En la columna Operation, haga clic en Delete.
ImportanteLas tablas eliminadas no se pueden recuperar. Proceda con precaución.
Consultar o quitar un catálogo de datos de Hive**
Si ya no necesita un catálogo de datos de Hive, puede consultarlo o quitarlo.
-
Consulte el catálogo de datos.
Después de agregar un origen de datos de Hive a Hive Data Catalog, haga clic en el icono
de la izquierda para consultar los orígenes de datos de Hive agregados.Haga clic en un origen de datos de Hive para consultar toda la información de Database.
-
Desvincule un proyecto.
Si ya no necesita gestionar un catálogo de datos de Hive, haga clic derecho sobre él y seleccione Disassociate Data Catalog.