Após vincular uma instância do Lindorm ao DataWorks, gerencie e visualize os metadados das tabelas do Lindorm no Data Map.
Pré-requisitos
Configure os parâmetros do Spark na página de vinculação de recursos de computação para coletar metadados do Lindorm. Para mais informações, consulte Set Spark parameters for a Lindorm computing resource.
Acessar o Data Map
Faça login no console do DataWorks. Na região desejada, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Coletar metadados de tabelas do Lindorm
No painel de navegação à esquerda do Data Map, clique no ícone
para abrir a página de gerenciamento de coletores de fontes de dados. Na seção Data Source Perspective, localize o coletor Lindorm e configure um plano de coleta para obter os metadados das tabelas do Lindorm. Para mais informações, consulte Metadata collection.
Pesquisar tabela
Após a execução bem-sucedida do plano de coleta de metadados do Lindorm, siga as etapas abaixo para visualizar os metadados coletados.
Clique no ícone
na barra de menu à esquerda para acessar a página de pesquisa.-
Na árvore de diretórios Type à esquerda, selecione Table. Em Connection, localize e clique na fonte de dados Lindorm para abrir a página de lista de tabelas do Lindorm.
NotaSe houver várias fontes de dados, a lista pode não ser exibida completamente. A opção More aparecerá à direita de DLF. Clique em More para encontrar a fonte de dados Lindorm.
Na caixa de pesquisa acima da lista de tabelas do Lindorm, insira uma palavra-chave do nome da tabela para localizá-la.
Visualizar detalhes da tabela
Na página de lista de tabelas do Lindorm, clique em uma tabela para abrir sua página de detalhes.
|
Feature |
Descrição |
Referências |
|
Operações rápidas |
No topo da página, utilize as opções Add to Album, View Added Albums ou Add to Favorites. |
|
|
Table Basic Information |
Na seção Table Basic Information, visualize o Database, o Table Type, o Owner, a data em Created At e se a tabela é uma Partitioned Table. |
|
|
Informações técnicas da tabela |
Consulte informações como o Path de armazenamento, o Input Format e o Output Format. |
|
|
Details |
Examine as Field Information e o Lineage Field da tabela. |
|
|
Linhagem |
Analise a linhagem de dados entre as tabelas do Lindorm. |
|
|
Notas de uso |
Utilize a opção Edit para modificar as notas de uso ou acesse View Versions para compreender o contexto de negócio dos dados. |
Gerenciar favoritos de tabelas
Na página de detalhes da tabela, adicione ou remova a tabela dos seus favoritos para acesso rápido.
-
Adicione ou remova dos favoritos.
Adicionar aos favoritos: Clique no botão Add to Favorites abaixo do nome da tabela para adicioná-la aos Meus Favoritos.
Remover dos favoritos: Clique no botão Remove from Favorites abaixo do nome da tabela para removê-la dos Meus Favoritos.
Visualize suas tabelas favoritas.
No painel de navegação à esquerda do Data Map, clique no ícone
. Na árvore de diretórios, escolha para abrir a página My Favorites. Nesta página, defina Data Type como Lindorm para visualizar suas tabelas favoritas do Lindorm.
Visualizar informações básicas de uma tabela
Na parte esquerda da página de detalhes da tabela, consulte as seções Table Basic Information, Technical Information e Business Information.
Informações básicas da tabela: inclui o Table Name, a data em Created At e se é uma Partitioned Table.
Informações técnicas da tabela: abrange o Path de armazenamento, o Input Format e o Output Format.
Informações de negócio: contém a Region of Current Workspace e a Instance.
Visualizar detalhes da tabela
Na página de detalhes da tabela, clique na aba Details.
-
Verifique as informações dos campos.
Consulte o nome e o tipo de dados de cada campo na tabela.
-
Pesquise campos específicos.
Se a tabela contiver muitos campos, insira o nome do campo na caixa de pesquisa em Field Information para localizá-lo rapidamente.
-
Visualize descrições sugeridas para os campos.
Clique em Field Information em Recommended Field Desc. O Copilot gera uma descrição para ajudar você a entender o significado e a finalidade de cada campo.
-
Acompanhe a linhagem dos campos.
Clique no ícone
na coluna Actions de um campo para visualizar sua linhagem.
Visualizar informações de linhagem da tabela
A linhagem de dados mostra as relações entre tabelas e campos com base nos fluxos reais de dados, como jobs de agendamento analisados e sincronização de dados. Na página de linhagem, visualize nós upstream e downstream de uma tabela ou campo, rastreie a origem dos dados brutos e identifique o banco de dados de destino dos dados da tabela. Também é possível analisar o impacto da linhagem em diferentes níveis.
O recurso de linhagem de dados está disponível apenas no DataWorks Standard Edition e versões posteriores.
A linhagem de tabelas e campos deriva de fluxos reais de dados, como jobs de agendamento analisados, para mostrar as relações entre tabelas e campos. Trata-se de uma operação estatística em tempo real.
-
Se o Data Map não exibir corretamente a linhagem de dados gerada pela execução de instruções SQL em um nó Lindorm Spark SQL, defina manualmente os parâmetros de agendamento relevantes do DataWorks no código do job Lindorm Spark SQL. Para mais informações, consulte Attach a Lindorm computing resource. As seguintes instruções SQL podem gerar linhagem de dados:
insert into /insert overwrite table
create as select from table
create table
create table like
Clique na aba Lineage Information na página de detalhes da tabela. Você poderá visualizar a Table Lineage e a Field Lineage.
-
View Table Lineage
Consultar informações básicas: Passe o ponteiro do mouse sobre uma tabela ou tipo de nó para ver os detalhes.
Verificar a quantidade de nós upstream e downstream: No gráfico de linhagem da tabela, confira o número de nós upstream e downstream da tabela atual.
Expandir ou recolher nós: Conforme necessário, clique no ícone
ou
no gráfico de linhagem para mostrar ou ocultar os nós upstream ou downstream correspondentes.
-
View Field Lineage
Change Field: Na área Change Field, selecione um campo diferente da tabela atual para visualizar seu gráfico de linhagem.
Obter informações básicas: Passe o ponteiro do mouse sobre um campo ou tipo de nó para ver os detalhes.
Checar a quantidade de nós upstream e downstream: No gráfico de linhagem de campos, verifique o número de nós upstream e downstream do campo atual.
Mostrar ou ocultar nós: Clique no ícone
ou
no gráfico de linhagem para exibir ou esconder os nós upstream ou downstream correspondentes.
Visualizar notas de uso de uma tabela
Clique na aba Instructions na página de detalhes da tabela para Edit as notas ou acesse View Versions para acompanhar a finalidade e o uso da tabela ao longo do tempo.
-
Edite as notas de uso da tabela.
Clique em Edit. Na caixa de diálogo exibida, insira as notas de uso da tabela atual e clique em Save.
-
Consulte versões históricas das notas de uso.
Clique em View Versions para ver o histórico de todas as alterações. Nesse histórico, clique em View na coluna Actions de uma versão específica para ver as notas de uso daquela data.