A linhagem de dados permite rastrear as relações entre tabelas e campos. Esse recurso ajuda a identificar a origem dos dados, gerenciar seus ativos de dados e analisar o impacto de falhas em jobs sobre as dependências upstream e downstream. O Hologres possui integração profunda com o DataWorks, o que possibilita gerenciar a linhagem de dados do Hologres por meio do módulo Data Map.
Contexto
O Data Map é um módulo do DataWorks que fornece um catálogo de dados corporativos baseado em metadados. Ele oferece funcionalidades como visualização de detalhes de metadados, gerenciamento de linhagem de dados e categorias de dados. O Data Map facilita a descoberta, a compreensão e o uso dos seus dados. Para mais informações, consulte Visão geral.
Limitações
O recurso Data Map é suportado apenas no Hologres V1.1 ou superior. Se sua instância estiver em uma versão anterior, consulte Solucionar falhas na preparação da atualização ou entre no grupo do DingTalk do Hologres para obter assistência. Para mais detalhes, veja Como obtenho mais suporte online?.
A visualização da linhagem de dados está disponível somente no DataWorks Standard Edition ou superior.
Após configurar um coletor de metadados do Hologres no Data Map, a linhagem de dados leva cerca de uma hora para aparecer.
Linhagem de dados do Hologres
Siga estas etapas para visualizar a linhagem de dados entre tabelas do Hologres no Data Map.
-
Colete e ingira metadados do Hologres.
Utilize o recurso de coleta de metadados para importar metadados da sua source de dados do Hologres para o Data Map, permitindo o gerenciamento centralizado. Para mais informações, consulte Coleta de metadados.
Depois que a coleta de metadados for concluída, acesse a página Data Overview para visualizar estatísticas dos bancos de dados e tabelas do Hologres na região atual onde um coletor de metadados está configurado. Para mais informações, consulte Visualizar dados gerais. O Data Map fornece uma visão estatística da instância do Hologres, incluindo métricas como o número total de bancos de dados e o número total de tabelas.
Para localizar uma tabela específica, consulte Recuperação de metadados.
-
Visualize os detalhes da linhagem.
Após encontrar a tabela desejada, clique em seu nome para acessar a página de detalhes da tabela. Nessa página, é possível visualizar informações básicas, informações de saída e a linhagem de dados da tabela. Para mais informações, consulte Visualizar os detalhes de uma tabela.
O exemplo a seguir mostra uma tabela interna do Hologres. Nesta página, visualize os metadados da tabela e sua linhagem na aba Lineage. A página de detalhes da tabela contém as abas Details, Lineage e Instructions. Na aba Details, a subaba Field Information exibe o nome e o tipo de dados de cada campo, como o_orderkey(bigint) e o_custkey(integer). Além das informações básicas, o painel à esquerda também inclui as seções Technical Information e Business Information.
Linhagem de dados com o MaxCompute
O Data Map também permite visualizar a linhagem de dados entre o MaxCompute e o Hologres. Clique no link da tabela externa do Hologres para visualizar os detalhes da tabela correspondente no MaxCompute.
Você só conseguirá navegar para a página de detalhes da tabela do MaxCompute por meio deste link se o projeto que contém a tabela do MaxCompute estiver vinculado ao workspace do DataWorks de destino.
Na seção Technical Information da página de detalhes da tabela, o campo External Table exibe o nome da tabela associada do MaxCompute, como default.weather. Clique neste link para acessar a página de detalhes da tabela correspondente no MaxCompute.
Nesta página, visualize as informações de linhagem da tabela. Por exemplo, esta página mostra que, no módulo Scheduling do DataWorks, os dados são gravados de uma tabela externa do Hologres para uma tabela do MaxCompute. Acesse também a aba Field Lineage para visualizar as relações de linhagem de campos. Por exemplo, na página de detalhes da tabela externa do Hologres public.weather2, o lado esquerdo exibe informações básicas (como o tipo de source de dados: Hologres, banco de dados e proprietário) e informações técnicas (o caminho da tabela externa). À direita, a aba Lineage Information exibe graficamente a relação de mapeamento da tabela externa entre esta tabela externa e a tabela do MaxCompute default.weather.
Linhagem de dados com o Flink
Visualize a linhagem de dados entre o Hologres e o Flink no console do Realtime Compute for Apache Flink. Para mais informações, consulte Visualizar linhagem de dados.