DataWorks permite configurar un origen de datos Apache Gravitino para conectarse al servicio unificado de gestión de metadatos de Gravitino, así como recolectar y gestionar metadatos de varios orígenes de datos heterogéneos. Al configurarse como un origen de datos de tipo metadatos, habilita la recolección y gobernanza de metadatos en Data Map. Este tema describe cómo configurar este origen de datos.
Descripción general
Apache Gravitino es un framework de código abierto para la gestión unificada de metadatos que admite la administración de metadatos provenientes de orígenes de datos heterogéneos como Hive, Iceberg y JDBC. Con Gravitino, las empresas logran una gestión unificada de metadatos en distintos motores y sistemas sin modificar la arquitectura de almacenamiento de datos existente.
DataWorks proporciona el origen de datos Apache Gravitino para integrar los metadatos gestionados por Gravitino en Data Map de DataWorks. Esto permite la recolección, descubrimiento y gobernanza de metadatos de los activos de datos en los Catalogs de Gravitino, lo que ayuda a construir una vista unificada de sus activos de datos.
Límites
Conectividad de red: Solo se admiten serverless resource groups.
Caso de uso: El origen de datos Apache Gravitino solo aplica para Collect Metadata y gobernanza. No se puede utilizar para tareas de sincronización de integración de datos.
Requisitos de red: El resource group de DataWorks debe poder acceder al endpoint del servicio Gravitino. Asegúrese de que exista conectividad de red.
Procedimiento
1. Ir a la página de orígenes de datos
Inicie sesión en la consola de DataWorks. Cambie a la región objetivo, haga clic en Workspace en el panel de navegación izquierdo y luego haga clic en Manage en la columna Actions del workspace deseado.
En el Workspace Management Center, haga clic en Data Sources en el panel de navegación izquierdo.
2. Crear un origen de datos Apache Gravitino
En la página Data Sources, haga clic en Add Data Source.
En el cuadro de diálogo que aparece, seleccione la pestaña Metadata, busque y seleccione Apache Gravitino.
3. Configurar parámetros
Configure los siguientes parámetros según las indicaciones:
|
Parámetro |
Descripción |
|
Data Source Name |
Nombre personalizado del origen de datos, por ejemplo, |
|
Description |
Descripción del origen de datos para fines de identificación. |
|
Configuration Mode |
Modo de configuración del origen de datos. Actualmente se admite Selection Mode, que permite completar los elementos de configuración mediante un formulario. |
|
Endpoint |
Dirección del servicio Gravitino, por ejemplo, |
4. Probar la conectividad
Después de configurar el origen de datos, realice una prueba de conectividad para garantizar que la comunicación de red entre el origen de datos y los resource groups funcione correctamente.
Si se muestra Connected, la configuración es correcta.
Si se muestra Connection failed., el sistema proporciona una herramienta de diagnóstico para ayudar a solucionar el problema. Las causas comunes incluyen configuraciones incorrectas del endpoint, fallas de red (lista blanca de IP no configurada) y falta de puertas de enlace NAT.
En modo estándar, asegúrese de que tanto el entorno de desarrollo como el de producción muestren Connected. De lo contrario, se producirán errores durante la recolección posterior de metadatos.