El linaje de datos para despliegues de Flink le permite rastrear el origen de sus datos, gestionar y optimizar flujos de datos, localizar problemas rápidamente y evaluar su impacto. Este tema describe cómo consultar el linaje de datos desde la perspectiva del despliegue y de los metadatos.
Contexto
Cuando no es posible rastrear el origen y el historial de cambios de los datos, resulta difícil garantizar su calidad y seguridad, lo que hace ineficientes el análisis de datos y la resolución de problemas. El linaje de datos aborda estos desafíos al describir las relaciones que se forman conforme los datos se obtienen, procesan, transmiten y consumen. Estas relaciones incluyen flujos de datos entre metadatos, dependencias y vínculos de producción y consumo entre metadatos y despliegues por lotes o en streaming. En Flink, puede consultar y analizar el linaje de datos en varias capas de despliegues, tanto a nivel de tabla como de columna. A continuación se describen las principales ventajas.
|
Ventaja |
Descripción |
|
Mejora de la eficiencia en la validación de datos |
Al rastrear el linaje de datos, comprende cada aspecto de su información, incluidos los productos, bases de datos y tablas involucradas en un despliegue, los atributos y asociaciones de las columnas, así como el origen de los datos, los pasos de procesamiento, la ruta de transmisión y los consumidores finales. Esto le ayuda a validar la credibilidad y precisión de los datos, gestionar y analizar la información con mayor eficacia y trabajar de manera más eficiente. |
|
Mejora de la eficiencia en la resolución de problemas |
Cuando ocurre un problema en el procesamiento de datos, el linaje le permite rastrearlo hasta su causa raíz para resolverlo rápidamente, lo que previene pérdidas comerciales y altos costos laborales. |
|
Mejora de la eficiencia en el análisis de datos |
Si un activo de datos cambia o contiene errores, identifica rápidamente los despliegues en línea afectados y toma medidas correctivas para evitar decisiones incorrectas. |
|
Optimización de costos de activos de datos |
Al analizar el linaje de datos, comprende las rutas de flujo y las dependencias. Esto le permite optimizar las canalizaciones de procesamiento, retirar servicios inactivos por largo tiempo, mejorar la eficiencia y calidad del procesamiento y reducir los costos asociados. |
Modelo de linaje de datos
La figura contiene nodos (entidades) y aristas (relaciones). Las entidades y las relaciones conforman en conjunto el linaje de datos.
|
Elemento |
Descripción |
|
Nodo |
Cada catálogo, tabla de datos y columna es una entidad de datos. En el gráfico de linaje, una entidad se representa como un nodo. Los nodos de linaje de datos incluyen los dos tipos siguientes:
|
|
Arista |
Las relaciones entre entidades se definen por sus fuentes ascendentes (productores) y consumidores descendentes. Puede consultar las siguientes relaciones de linaje:
|
Limitaciones
El linaje de datos solo es compatible dentro de un único namespace. No se admite el linaje de datos entre distintos namespaces.
Para consultar el linaje de datos desde la perspectiva de los metadatos, debe utilizar un catálogo. La consulta desde la perspectiva del despliegue no depende de un catálogo.
Solo los despliegues SQL admiten la consulta y búsqueda de linaje de datos.
El linaje de datos está disponible únicamente para despliegues SQL que haya iniciado como mínimo una vez. Cuando detiene un despliegue, el sistema conserva su último linaje de datos conocido.
Solo se admiten QueryOperation, SinkModifyOperation y CreateTableAsTableOperation. El sistema no puede rastrear ni mostrar linaje indirecto proveniente de fuentes como sintaxis CDAS, condiciones de filtro o condiciones de unión.
Consulte el linaje desde la perspectiva del despliegue
En la página Deployments, consulte información específica sobre nodos de despliegue y nodos de datos, así como las dependencias entre tablas y las relaciones jerárquicas entre tablas y columnas en el despliegue objetivo.
De forma predeterminada, el gráfico se centra en el despliegue y muestra tres niveles de linaje: la tabla ascendente, el despliegue central y la tabla descendente. Si necesita rastrear el linaje más arriba o más abajo en el flujo, haga clic en el signo más a la izquierda de la tabla ascendente o a la derecha de la tabla descendente.
Inicie sesión en la consola de Realtime Compute for Apache Flink.
Haga clic en Console en la columna Actions del espacio de trabajo objetivo.
En el panel de navegación izquierdo, vaya a y luego haga clic en el nombre del despliegue objetivo.
-
En la pestaña Data Lineage, haga clic en Table Level o Column Level para consultar el linaje de datos correspondiente.
-
Table Level
Consulte información como el tipo de nodo, conector, nombre del catálogo, nombre de la base de datos, nombres de las tablas de destino y origen, así como el ID del despliegue, hora de creación, creador, hora de la última modificación y último modificador.
En el grafo acíclico dirigido (DAG) del despliegue, los datos fluyen desde el nodo de origen datagen a través del nodo de procesamiento resource_setting_plan hasta el nodo de destino blackhole. Haga clic en un nodo para abrir un panel de detalles y consultar los valores de cada columna.
-
Column Level
Consulte las columnas de la tabla, los tipos de columna, el nombre de la base de datos de la tabla, el nombre del catálogo y el conector, así como información sobre el despliegue.
En el DAG del despliegue, los datos fluyen desde el nodo de origen datagen a través del nodo de procesamiento resource_setting_plan hasta el nodo de destino blackhole. Cada nodo muestra el tipo de conector y los detalles de las columnas, como id y name, ambas de tipo VARCHAR(2147483647).
-
Consulte el linaje desde la perspectiva de los metadatos
Si una tabla en un catálogo está asociada con muchos despliegues, el gráfico de linaje se satura. Utilice funciones como el zoom para navegar por el gráfico. También puede activar el interruptor Auto focus clicked node. Cuando esta función está habilitada, al hacer clic en un despliegue o tabla objetivo, el gráfico se centra automáticamente en ese nodo.
Inicie sesión en la consola de Realtime Compute for Apache Flink.
Haga clic en Console en la columna Actions del espacio de trabajo objetivo.
En el panel de navegación izquierdo, haga clic en Catalogs. Luego, haga doble clic en el nombre de una tabla bajo una base de datos específica de un catálogo.
-
En la pestaña Data Lineage, haga clic en Table Level o Column Level para consultar el linaje de datos correspondiente.
-
Table Level
Vea qué despliegues hacen referencia a una tabla específica en el catálogo objetivo. Cuando el esquema de la tabla o los datos cambian, aborde rápidamente el impacto en los despliegues referenciados modificando su código o deteniéndolos.
Haga doble clic en el nodo de despliegue objetivo para consultar su ID e información sobre su creación y modificación. Para navegar rápidamente a la página de O&M del despliegue, haga clic en el nombre del despliegue.
-
Column Level
Haga clic en una columna objetivo y siga la línea sólida azul claro para determinar qué despliegue y tabla hacen referencia a ella, y cuál es la columna correspondiente. Si se elimina la columna objetivo, o cambian su nombre o atributos, encuentre rápidamente los despliegues, tablas y columnas referenciados para gestionar las columnas de tabla asociadas en consecuencia.
El lienzo muestra nodos de consulta intermedios asociados (como query-91) en el centro. El panel de propiedades a la derecha muestra detalles de la columna seleccionada, como el tipo de nodo, tipo de columna (por ejemplo, VARCHAR(2147483647)) y si admite valores nulos.
-
Busque nodos o columnas
Cuando el gráfico de linaje es complejo, utilice la búsqueda aproximada por nombre de nodo o columna para localizar rápidamente el objetivo y consultar su información.
-
En la pestaña Data Lineage del despliegue objetivo dentro de la página , introduzca el nombre del nodo o columna objetivo (compatible solo a nivel de columna) en el cuadro de búsqueda y presione Enter.
El nodo central pasa del despliegue actual al objetivo de búsqueda y se resalta.
Haga doble clic en el nodo objetivo o en el nombre de la columna para consultar su información de linaje.