El origen de datos Catálogo Paimon recopila y gobierna los metadatos de las tablas Paimon que no provienen from Data Lake Formation (DLF), lo que permite la gobernanza unificada de los activos del data lake Paimon en Data Map.
Introducción
A medida que la arquitectura lakehouse gana adopción, los formatos de tabla abierta como Paimon, Iceberg y Delta Lake se han convertido en la base para construir data warehouses en tiempo real y habilitar el procesamiento unificado por lotes y en streaming. El Catálogo Paimon se utiliza ampliamente en el ecosistema de procesamiento de streams de Flink debido a su compatibilidad nativa.
DataWorks se integra con Data Lake Formation para gestionar de forma unificada las tablas del data lake mediante orígenes de datos DLF. Sin embargo, es posible definir un Catálogo Paimon con el motor Flink donde los metadatos y los datos se almacenan en OSS de Alibaba Cloud, fuera de la gestión de DLF.
El origen de datos Catálogo Paimon cubre esta necesidad al permitir la recopilación y gobernanza de metadatos para formatos de lake nativos no administrados por DLF. Esto hace que los datos del catálogo autodeclarado sean visibles, gestionables y utilizables en todo el lakehouse.
Limitaciones
Conectividad de red: Solo se admite serverless resource group.
Escenarios: Actualmente, el Catálogo Paimon solo se usa para Collect Metadata y gobernanza. No es compatible con tareas de integración y sincronización de datos. Para leer y escribir en tablas Paimon con fines de sincronización de datos, utilice otros orígenes de datos, como DLF u OSS.
Procedimiento
1. Ir a la página Data Sources
Inicie sesión en la consola de DataWorks y cambie a la región objetivo. En la barra de navegación izquierda, haga clic en Workspace y luego en Manage dentro de la columna Actions del workspace deseado para ir a la página de gestión.
En la página del centro de gestión del workspace, haga clic en Data Sources en la barra de navegación izquierda para ir a la página Data Source.
2. Agregar un origen de datos Catálogo Paimon
En la página Data Sources, haga clic en Add Data Source.
En el cuadro de diálogo Add Data Source, busque y seleccione Paimon Catalog.
3. Configurar parámetros
Configure los siguientes parámetros:
|
Parámetro |
Descripción |
|
Data Source Name |
Especifique un nombre personalizado para el origen de datos, por ejemplo, |
|
Catalog |
Nombre del catálogo para la conexión, por ejemplo, |
|
MetaStore |
Tipo de almacenamiento del catálogo. Actualmente, solo se admite Filesystem. |
|
Filesystem |
Tipo de almacenamiento de archivos. Actualmente, solo se admite OSS. |
|
Access Mode |
|
|
Region |
Seleccione un bucket en la misma región que el workspace para obtener un rendimiento óptimo. Para orígenes de datos entre regiones, establezca una conexión de emparejamiento de VPC. Para más detalles, consulte Connect to a data source in a different region under the same Alibaba Cloud account. Como alternativa, conéctese mediante un endpoint público. |
|
Endpoint |
Para obtener detalles sobre los endpoints, consulte Access domain names and data centers. |
|
Warehouse |
Ruta del warehouse: Ruta de almacenamiento del Catálogo Paimon en OSS.
|
a la derecha del cuadro de entrada para seleccionar una ruta de una lista.4. Probar la conectividad
Una vez configurado, ejecute una prueba de conectividad para comprobar la conexión entre el origen de datos y el resource group.
Si se muestra Connected, la configuración es correcta.
Si se muestra Connection failed., se abre una herramienta de diagnóstico para ayudarle a solucionar el problema. Las causas comunes incluyen credenciales incorrectas, problemas de conectividad de red (como una lista de permitidos de direcciones IP no configurada) o la falta de una puerta de enlace NAT.
En el modo estándar, asegúrese de que tanto el entorno de desarrollo como el de producción muestren el estado Connected. De lo contrario, se producirán errores durante operaciones posteriores, como la recopilación de metadatos.
Siguientes pasos
Después de agregar el origen de datos, vaya a Data Map para collect metadata. Luego podrá consultar y gobernar los activos recopilados.