A linhagem de dados para implantações do Flink permite rastrear a origem dos dados, gerenciar e otimizar fluxos, localizar problemas rapidamente e avaliar impactos. Este tópico descreve como visualizar a linhagem de dados sob as perspectivas de implantação e de metadados.
Contexto
Sem rastreabilidade da origem e do histórico de alterações dos dados, garantir qualidade e segurança torna-se difícil, e a análise e a solução de problemas perdem eficiência. A linhagem de dados resolve esses desafios ao descrever as relações formadas durante a obtenção, o processamento, a transmissão e o consumo dos dados. Tais relações incluem fluxos entre metadados, dependências e vínculos de produção e consumo entre metadados e implantações em stream ou batch. No Flink, você visualiza e analisa a linhagem em várias camadas de implantações, nos níveis de tabela e de coluna. A tabela a seguir lista os principais benefícios.
|
Benefício |
Descrição |
|
Maior eficiência na validação de dados |
O rastreamento da linhagem proporciona compreensão abrangente dos dados, incluindo produtos, bancos de dados e tabelas envolvidos em uma implantação, atributos e associações das colunas, além da origem, etapas de processamento, caminho de transmissão e consumidores finais. Esse conhecimento valida a credibilidade e a precisão dos dados, facilitando o gerenciamento, a análise e o trabalho eficiente. |
|
Maior eficiência na solução de problemas |
Em caso de falha no processamento, a linhagem permite rastrear a causa raiz para resolução rápida, evitando perdas comerciais e altos custos operacionais. |
|
Maior eficiência na análise de dados |
Se um ativo de dados mudar ou apresentar erros, identifique rapidamente as implantações online afetadas e adote medidas corretivas para evitar decisões incorretas. |
|
Otimização de custos de ativos de dados |
A análise da linhagem revela caminhos de fluxo e dependências, permitindo otimizar pipelines de processamento, desativar serviços ociosos, melhorar a eficiência e a qualidade do processamento e reduzir custos com dados. |
Modelo de linhagem de dados
A figura contém nós (entidades) e arestas (relacionamentos). Entidades e relacionamentos formam conjuntamente a linhagem de dados.
|
Elemento |
Descrição |
|
Nó |
Cada catálogo, tabela de dados e coluna constitui uma entidade de dados. No grafo de linhagem, cada entidade aparece como um nó. Existem dois tipos de nós de linhagem:
|
|
Aresta |
As fontes upstream (produtores) e os consumidores downstream definem os relacionamentos entre entidades. Você pode visualizar os seguintes relacionamentos de linhagem:
|
Limitações
A linhagem de dados funciona apenas dentro de um único namespace. Não há suporte para linhagem entre namespaces diferentes.
Visualizar a linhagem sob a perspectiva de metadados exige o uso de um catálogo. A visualização sob a perspectiva de implantação independe de catálogo.
Somente implantações SQL permitem visualizar e buscar linhagem de dados.
A linhagem está disponível apenas para implantações SQL iniciadas pelo menos uma vez. Ao parar uma implantação, o sistema preserva sua última linhagem conhecida.
Há suporte apenas para QueryOperation, SinkModifyOperation e CreateTableAsTableOperation. O sistema não rastreia nem exibe linhagem indireta proveniente de sintaxe CDAS, condições de filtro ou condições de junção.
Visualizar linhagem sob a perspectiva de implantação
Na página Deployments, visualize informações específicas sobre nós de implantação e de dados, bem como dependências entre tabelas e relacionamentos hierárquicos entre tabelas e colunas na implantação alvo.
Por padrão, o grafo centraliza-se na implantação e exibe três níveis de linhagem: tabela upstream, implantação central e tabela downstream. Para rastrear a linhagem além desses pontos, clique no sinal de mais à esquerda da tabela upstream ou à direita da tabela downstream.
Faça logon no console do Realtime Compute for Apache Flink.
Clique em Console na coluna Actions do workspace alvo.
No painel de navegação à esquerda, escolha e clique no nome da implantação alvo.
-
Na aba Data Lineage, clique em Table Level ou Column Level para visualizar a linhagem correspondente.
-
Table Level
Esta visualização mostra tipo de nó, conector, nome do catálogo, nome do banco de dados, nomes das tabelas de destino e de origem, ID da implantação, hora de criação, criador, hora da última modificação e último modificador.
No Grafo Acíclico Direcionado (DAG) da implantação, os dados fluem do nó de origem datagen, passam pelo nó de processamento resource_setting_plan e chegam ao nó de destino blackhole. Clique em um nó para abrir o painel de detalhes e ver os valores de cada coluna.
-
Column Level
Esta visualização apresenta colunas da tabela, tipos de coluna, nome do banco de dados, nome do catálogo, conector e informações da implantação.
No DAG da implantação, os dados fluem do nó de origem datagen, passam pelo nó de processamento resource_setting_plan e chegam ao nó sink blackhole. Cada nó exibe o tipo de conector e detalhes das colunas, como id e name, ambas do tipo VARCHAR(2147483647).
-
Visualizar linhagem sob a perspectiva de metadados
Se uma tabela em um catálogo tiver associação com muitas implantações, o grafo de linhagem pode ficar poluído. Use recursos como zoom para navegar. Também é possível ativar a opção Auto focus clicked node. Com esse recurso ativado, clicar em uma implantação ou tabela alvo centraliza automaticamente o grafo nesse nó.
Faça logon no console do Realtime Compute for Apache Flink.
Clique em Console na coluna Actions do workspace alvo.
No painel de navegação à esquerda, clique em Catalogs. Em seguida, clique duas vezes no nome de uma tabela em um banco de dados específico de um catálogo.
-
Na aba Data Lineage, clique em Table Level ou Column Level para visualizar a linhagem correspondente.
-
Table Level
Identifique quais implantações referenciam uma tabela específica no catálogo alvo. Se o esquema ou os dados da tabela mudarem, mitigue rapidamente o impacto nas implantações referenciadas modificando o código ou parando-as.
Clique duas vezes no nó da implantação alvo para ver seu ID e informações de criação e modificação. Para acessar rapidamente a página de O&M da implantação, clique no nome dela.
-
Column Level
Clique em uma coluna alvo e siga a linha sólida azul clara para identificar qual implantação e tabela a referenciam, bem como a coluna correspondente. Se a coluna alvo for excluída ou tiver nome ou atributos alterados, localize rapidamente as implantações, tabelas e colunas referenciadas para ajustar as colunas associadas conforme necessário.
O canvas exibe nós de consulta intermediários associados (como query-91) no centro. O painel de propriedades à direita mostra detalhes da coluna selecionada, como tipo de nó, tipo de coluna (por exemplo, VARCHAR(2147483647)) e aceitação de valores nulos.
-
Buscar nós ou colunas
Em grafos de linhagem complexos, use a busca aproximada por nome de nó ou coluna para localizar rapidamente o alvo e visualizar suas informações.
-
Na aba Data Lineage da implantação alvo, dentro da página , insira o nome do nó ou da coluna (suportado apenas no nível de coluna) na caixa de pesquisa e pressione Enter.
O foco central muda da implantação atual para o alvo da pesquisa, que será destacado.
Clique duas vezes no nó alvo ou no nome da coluna para visualizar as informações de linhagem.