DataWorks:Data Map

Limitações

• A pesquisa de código e a análise de linhagem de dados estão disponíveis apenas no DataWorks Standard Edition ou superior.

• Os álbuns de dados estão disponíveis apenas no DataWorks Professional Edition ou superior.

Coletar metadados

• Metadados do MaxCompute e do DLF: O Data Map coleta automaticamente os metadados do MaxCompute e do DLF por meio de coletores integrados.

• Outros tipos de metadados: Use a coleta personalizada de metadados para importar informações de outras fontes de dados, incluindo Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore, Lindorm e OSS. Coletar metadados.

Conectividade de rede

Para importar metadados, garanta que o coletor de metadados do Data Map consiga acessar seu banco de dados. Se o banco de dados usar uma lista de permissões para controle de acesso, adicione os blocos CIDR da região do seu workspace do DataWorks a essa lista. Configurações de lista de permissões necessárias para coleta de metadados de fontes de dados com controle de acesso.

Visão geral

• A página Overview exibe métricas de recursos do MaxCompute para a região atual: contagem de projetos, contagem de tabelas, uso de armazenamento, contagem de APIs, tendências de armazenamento, principais projetos por armazenamento, principais tabelas por armazenamento e tabelas populares.

• Após a conclusão da coleta de metadados, visualize as contagens de bancos de dados, tabelas e APIs para fontes como AnalyticDB for MySQL 3.0, MySQL, Hologres, AnalyticDB for PostgreSQL e OTS.

Visão geral.

Recuperação de metadados

O Data Map agrega metadados de tabelas, códigos, índices, APIs, conjuntos de dados, modelos de IA, tarefas de algoritmo, serviços de modelo e workspaces. Pesquise na região atual filtrando por tipo, workspace, proprietário, ambiente, tag e categoria. Recuperação de metadados.

Você também pode navegar por tabelas e conjuntos de dados no formato de diretório de dados.

Detalhes dos metadados

Clique em no nome de um objeto para abrir sua página de detalhes.

• Para tabelas, visualize Basic Information, Output information e Lineage Information. Visualizar detalhes da tabela.

  Nota

  Na página Data Lineage , visualize a linhagem de dados interna dos nós do mecanismo. Os tipos de nós suportados dependem da página do produto. O MaxCompute também oferece linhagem ponta a ponta baseada em sincronização offline. Esse recurso permite expandir a hierarquia para rastrear a linhagem upstream e downstream de uma tabela até suas fontes originais e destinos finais.

• Para uma API, visualize Parameter Information, Sample Response, Lineage Information e Usage Instructions. Visualizar detalhes da API.

  

• Para um conjunto de dados, visualize suas Attribute Information, Lineage e Usage Instructions.

  

Também é possível pesquisar códigos. Ao clicar em um resultado, você será redirecionado para o nó ou recurso de source correspondente. detalhes dos metadados.

Organizar e gerenciar tabelas

Use categorias para organizar tabelas e filtre por categoria durante a pesquisa. Gerenciar configurações.

• Álbum de dados: Organize dados relacionados em um álbum de dados gerenciado sob uma perspectiva de negócios para facilitar a visualização e o gerenciamento.

• Categories

  1. Adicione tabelas em lote a uma categoria especificada na página Manage Configurations > Manage Categories.

     Após configurar a navegação por categorias, selecione uma categoria de último nível para adicionar tabelas em lote de um projeto específico. Gerenciar configurações.

  2. Adicione tabelas em lote a uma categoria especificada na página My Data.

     Adicione tabelas em lote a uma categoria na página My Data (Owned by Me e Managed by Me). Meus dados.

• Gerenciamento de tabelas: Para tabelas do MaxCompute, modifique nomes de exibição em lote, defina ciclos de vida, exclua tabelas de desenvolvimento ou produção, ou transfira a propriedade. Meus dados.

• Favoritos: Adicione tabelas acessadas frequentemente aos Favoritos. Na página My Data, visualize as tabelas favoritas no grupo My Favorites. Meus dados.

  • Adicionar uma tabela aos My Favorites: Na página de detalhes da tabela, clique em Favorite para adicioná-la aos My Favorites. Visualizar detalhes da tabela. Visualize a tabela na página My Data, dentro do grupo My Favorites. Adicionar uma tabela aos favoritos.

  • Remover uma tabela da lista de My Favorites:

    • Na página My Data, acesse o grupo My Favorites e remova as tabelas dos favoritos.

    • Na página de detalhes de uma tabela favorita, use a opção Remove from Favorites para removê-la.

Gerenciar permissões de tabela

• Solicitar permissões para operar em tabelas

  Em workspaces no modo padrão, usuários RAM não podem executar comandos SQL em tabelas de produção por padrão. Para acessar tabelas de produção ou consultar entre contas, clique em Apply for Permissions. Você será redirecionado para o Security Center. Solicitar permissões em tabelas.

  Nota

  Por padrão, usuários RAM sem permissões de consulta de tabela não podem usar a pré-visualização de dados na página de detalhes da tabela.

• Controlar permissões de pré-visualização de dados para tabelas do MaxCompute

  Na página Manage Configurations > Manage Workspaces, ative as permissões de pré-visualização para tabelas de desenvolvimento ou produção do MaxCompute em um workspace específico. Assim, todos os membros do workspace poderão pré-visualizar tabelas sem precisar solicitar acesso. Gerenciar workspaces.

  Nota

  • Esta operação pode expor dados sensíveis. Avalie cuidadosamente os riscos antes de prosseguir.

  • O proprietário do projeto ou o administrador do workspace pode realizar esta operação.

  • Esta permissão controla apenas o recurso Data Preview na página de detalhes da tabela no Data Map.

• Ocultar tabela: Tabelas ocultas são excluídas dos resultados de pesquisa. Oculte uma tabela de todos os usuários ou restrinja a visibilidade aos membros do workspace. Meus dados.

  • Ocultar uma única tabela: Na página My Data > Owned by Me, atualize as configurações de visibilidade da tabela.

    Nota

    Por padrão, o proprietário da tabela e o administrador do workspace não estão sujeitos a esses controles de permissão.

    

  • Ocultação em massa no nível do projeto: Em Manage Configurations > Manage Workspaces, selecione Workspace e configure as propriedades de ocultação para todas as tabelas do projeto.

    

Atualizar metadados da tabela

Atualize os metadados de uma tabela quando ela não aparecer nos resultados de pesquisa ou quando alterações recentes não forem refletidas.

1. Na página de resultados da pesquisa, clique em Refresh Table Metadata.

2. Acesse a página My Data > Refresh Table Metadata no Data Map:

   

Após a atualização, pesquise a tabela novamente no Data Map.