Ao trabalhar com dados do Lindorm no DataWorks, você precisa de visibilidade sobre as tabelas existentes, seus esquemas, proprietários e o fluxo de dados entre elas. Após vincular uma instância do Lindorm ao DataWorks, use o Data Map para coletar metadados das tabelas do Lindorm. Em seguida, pesquise tabelas, inspecione detalhes no nível de campo, rastreie a linhagem de dados e adicione anotações de contexto de negócio às tabelas.
Pré-requisitos
Antes de começar, verifique se você tem:
Uma instância do Lindorm vinculada ao DataWorks
Parâmetros do Spark configurados na página de vinculação de recursos de computação para ativar a coleta de metadados. Para obter detalhes, consulte Definir parâmetros do Spark para um recurso de computação do Lindorm
Acessar o Data Map
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região onde sua instância está implantada. No painel de navegação à esquerda, escolha Data Governance > Data Map e clique em Go to Data Map.
Coletar metadados de tabela do Lindorm
No painel de navegação à esquerda do Data Map, clique em
para abrir a página de gerenciamento do Database Collector.Na seção Data Source Perspective, localize o coletor Lindorm.
Configure um plano de coleta para obter metadados das suas tabelas do Lindorm.
Para obter detalhes, consulte Aquisição de metadados.
Pesquisar uma tabela do Lindorm
Após a execução bem-sucedida de um plano de coleta de metadados para o Lindorm, siga estas etapas para localizar uma tabela específica.
No painel de navegação à esquerda do Data Map, clique em
para abrir a página de pesquisa.-
Na árvore de diretórios Type à esquerda, selecione Table. Em Data Source, clique em Lindorm para visualizar a lista de tabelas do Lindorm.
NotaSe houver várias fontes de dados configuradas, a lista poderá não exibir todas imediatamente. Clique em More à direita de Data Lake Formation para encontrar a fonte de dados Lindorm.
Na caixa de pesquisa acima da lista de tabelas, insira uma palavra-chave do nome da tabela para filtrar os resultados.
Visualizar detalhes da tabela
Na página da lista de tabelas do Lindorm, clique em nome de uma tabela para abrir sua página de detalhes.
A página de detalhes contém as seguintes seções:
|
Seção |
Descrição |
|
Operações rápidas |
Add To Album, View Added Albums ou Add To Favorites na parte superior da página |
|
Informações básicas da tabela |
Banco de dados, tipo de tabela, proprietário, hora de criação e status de particionamento |
|
Informações técnicas da tabela |
Caminho de armazenamento, Input Format e Output Format |
|
Detalhes |
Informações de campos e linhagem de campos |
|
Linhagem |
Linhagem de dados entre tabelas do Lindorm |
|
Notas de uso |
Anotações de contexto de negócio, com histórico completo de versões |
Visualizar informações básicas
O painel esquerdo da página de detalhes da tabela exibe três seções:
Informações básicas da tabela: Nome da tabela, hora de criação e indicação de particionamento
Technical Information: Caminho de armazenamento e formatos de entrada/saída
Informações de negócio: Região do workspace e instância associada do Lindorm
Inspecionar campos
Clique em Details para visualizar informações no nível de campo.
View field names and types: A seção Field Information lista todos os campos da tabela e seus respectivos tipos de dados.
Search for a field: Insira o nome de um campo na caixa de pesquisa em Field Information para localizá-lo rapidamente em tabelas com muitos campos.
Gerar descrições de campos com o Copilot: Clique em Recommended Field Desc abaixo de Field Information. O Copilot gera descrições para cada campo com base no nome e no contexto. Esse recurso é útil quando os nomes dos campos são abreviados ou pouco claros.
Visualizar linhagem de campos: Clique em
na coluna Actions de um campo para abrir seu gráfico de linhagem.
Visualizar linhagem de dados
A linhagem de dados ilustra o fluxo de informações entre tabelas e campos. Ela deriva do fluxo real de dados, obtido pela análise de jobs agendados e tarefas de sincronização, e é calculada em tempo real.
O recurso de linhagem de dados está disponível apenas no DataWorks Standard Edition e em edições posteriores.
A linhagem é gerada quando os seguintes tipos de instruções SQL são executados em um nó Lindorm Spark SQL: insert into, insert overwrite table, create as select from table, create table e create table like.
Se o Data Map não exibir a linhagem gerada por um nó Lindorm Spark SQL, defina manualmente os parâmetros de agendamento relevantes do DataWorks no código do job. Para obter detalhes, consulte Vincular um recurso de computação do Lindorm.
Clique em Lineage na página de detalhes da tabela para visualizar a Table Lineage e a Field Lineage.
Linhagem de tabela
O gráfico de linhagem de tabela exibe as relações upstream e downstream da tabela atual.
|
Ação |
Como fazer |
|
Visualizar detalhes do nó |
Passe o mouse sobre uma tabela ou nó |
|
Verificar contagens upstream e downstream |
Os totais aparecem diretamente no gráfico para cada tabela |
|
Expandir nós |
Clique em |
|
Recolher nós |
Clique em |
Linhagem de campo
O gráfico de linhagem de campo mostra como os dados de um campo específico fluem para outros campos e vice-versa.
|
Ação |
Como fazer |
|
Alternar campos |
Use a área Switch Field para selecionar um campo diferente da tabela atual |
|
Visualizar detalhes do nó |
Passe o mouse sobre um campo ou nó |
|
Verificar contagens upstream e downstream |
Os totais aparecem diretamente no gráfico para o campo selecionado |
|
Expandir nós |
Clique em |
|
Recolher nós |
Clique em |
Editar notas de uso
As notas de uso armazenam informações de contexto de negócio sobre uma tabela, como sua finalidade e cenários de aplicação relevantes.
Clique em Usage Notes na página de detalhes da tabela.
Clique em Edit. Na caixa de diálogo, insira as notas de uso da tabela e clique em Save.
Para revisar versões anteriores, clique em View Versions. Todos os registros de versão serão listados. Clique em View na coluna Actions para ler as notas de uma versão específica.
Adicionar tabelas aos favoritos
Use os favoritos para marcar tabelas e acessá-las rapidamente.
Na página de detalhes da tabela, clique em Add To Favorites abaixo do nome da tabela para adicioná-la ou clique em Remove From Favorites para removê-la.
Para visualizar todas as tabelas favoritas, clique em
no painel de navegação. Na árvore de diretórios, escolha My Data > My Favorites. Defina Data Type como Lindorm para filtrar suas tabelas favoritas do Lindorm.
Para obter detalhes sobre álbuns de dados, consulte Adicionar uma tabela a um álbum de dados.