O DataWorks Data Map é uma plataforma centralizada de gerenciamento e descoberta de ativos de dados. Ele oferece uma visão abrangente do cenário de dados da sua empresa e permite localizar os dados necessários com rapidez e precisão. Os principais recursos incluem:
Data Overview: Fornece estatísticas sobre seus ativos de dados para uma visão rápida do estado atual.
Pesquisa global por palavra-chave: Localiza rapidamente tabelas, campos ou termos de negócio de interesse a partir de um único ponto de entrada.
Filtragem e navegação multidimensional: Possibilita uma descoberta de dados refinada e exploratória combinando diversas condições.
Limits
Tenants com um workspace do PAI existente podem pesquisar e visualizar ativos de IA relacionados, como datasets, modelos de IA, tarefas de algoritmo e services de modelo.
A pesquisa de código está disponível apenas para usuários do DataWorks Standard Edition ou superior.
Acesse o Data Map
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.
Visão geral dos dados
A página Data Overview fornece um resumo de alto nível sobre como suas fontes de dados são utilizadas.
Na Homepage do Data Map, clique em Data Overview ao lado de Metadata Collection.
-
Na página Data Overview, visualize todos os recursos de engine na região atual.
-
Principais métricas do MaxCompute:
Name
Description
Total Number of Projects
Número total de projetos do MaxCompute na região atual. Esses dados são atualizados em quase tempo real.
Total Tables
Quantidade total de tabelas do MaxCompute na região atual. A coleta desses dados é offline e apresenta latência T+1.
Storage
Tamanho total de armazenamento lógico de todas as tabelas na região atual. Inclui arquivos temporários de tarefas agendadas e espaço de armazenamento ainda não liberado após a exclusão de tabelas. A coleta desses dados é offline e apresenta latência T+1.
Total APIs
Total de APIs do tipo MaxCompute publicadas no API Gateway na região atual.
Storage Trend Chart
Gráfico de tendências que mostra o armazenamento lógico total dos projetos do MaxCompute na região atual. Inclui arquivos temporários de tarefas agendadas e espaço de armazenamento ainda não liberado após a exclusão de tabelas. A coleta desses dados é offline e apresenta latência T+1.
Top projects by storage
Classificação dos projetos do MaxCompute por tamanho de armazenamento lógico na região atual. A coleta desses dados é offline e apresenta latência T+1. Clique em um projeto para visualizar seus metadados.
ImportanteO armazenamento do projeto inclui não apenas o armazenamento de tabelas, mas também o de recursos, da lixeira e de outros arquivos do sistema, sendo portanto maior que o armazenamento apenas das tabelas.
Top tables by storage
Classificação das tabelas do MaxCompute por tamanho. A coleta desses dados é offline e apresenta latência T+1. Clique em uma tabela para visualizar seus metadados.
ImportanteO armazenamento da tabela é calculado com base no armazenamento lógico, e não no físico.
Most Frequently Viewed Tables
Tabelas mais visualizadas nos últimos 30 dias, classificadas por visualizações de página (PV) na página de detalhes da tabela no Data Map. Esses dados são atualizados em quase tempo real.
Outras métricas de engine: Exibe informações como o número total de bancos de dados, tabelas e clusters.
-
Encontre dados
O Data Map oferece dois métodos de pesquisa complementares para a descoberta de dados.
Pesquisa global por palavra-chave
Utilize a pesquisa global por palavra-chave quando souber exatamente quais dados procura. A home também fornece acesso rápido a Recently Viewed, Followed Collections e Managed Collections.
Acesse a barra de pesquisa: A barra de pesquisa fica na parte superior da home do Data Map.
-
Insira palavras-chave: Selecione um tipo de metadado e insira uma Keyword, como nome de tabela, nome de campo ou comentário. Por exemplo, insira "user", "order" ou "user_info".
Execute a pesquisa: Pressione Enter. O sistema retorna uma lista de todos os ativos de dados correspondentes. Clique em um ativo para visualizar seus detalhes.
Filtragem e navegação multidimensional
Use a página de pesquisa avançada para refinar os resultados ou explorar por categoria de negócio. A barra de pesquisa global por palavra-chave permanece disponível na parte superior da página.
Acesse a página de pesquisa: Clique no ícone de pesquisa
no painel de navegação à esquerda para abrir a página de pesquisa avançada.-
Combine condições de filtro: No lado esquerdo da página, selecione diferentes condições de filtro para restringir progressivamente os resultados:
Type: Selecione um tipo de metadado. Os tipos suportados incluem table, code, Index, API, dataset, Workspace, entre outros.
-
Fonte de dados: Ao selecionar Table, limite a pesquisa a uma engine específica, como MaxCompute, EMR Hive ou Hologres.
ImportanteSe o número de fontes de dados exceder o limite de exibição, clique no botão More no canto superior direito para mostrar as fontes de dados ocultas.
-
Condições de filtro: Filtre por projeto, proprietário, ambiente, cluster, Catálogo de Dados, banco de dados, entre outros.
As condições de filtro disponíveis variam dependendo do tipo de metadado.
NotaAlém dos atributos básicos, objetos de tabela podem ser filtrados por tags e categorias, enquanto workspaces e datasets suportam filtragem por atributos personalizados.
Tags: Filtre por tags aplicadas durante a governança de dados. Para mais informações, consulte Tags.
Category Filtre por categoria de negócio. Para mais informações, consulte Configuração de categoria.
Atributos personalizados: Filtre por atributos personalizados do tipo enumeração. Para mais informações, consulte Atributos personalizados.
Exemplo:
Quero encontrar todas as tabelas no ambiente de produção do MaxCompute pertencentes a "John Doe". Ação: Em "Data source", selecioneMaxCompute→ Em "Owner", insiraJohn Doe→ Em "Environment", selecioneProduction.
AI Search
Quando uma única palavra-chave não for suficiente ou quando você desejar sugestões baseadas em cenários, utilize o AI Search para localizar ativos, obter recomendações de tabelas e compreender a lógica por trás delas por meio de conversas em linguagem natural.
A partir da página de pesquisa: No canto superior direito da página de pesquisa do Data Map, alterne para a aba AI Search para entrar na experiência de pesquisa conversacional.
A partir da home: Alterne a caixa de pesquisa na home do Data Map para o modo de pergunta inteligente. Após enviar uma pergunta, o sistema redireciona para a página de sessão do AI Search para continuar a conversa.
Como usar: Descreva sua necessidade em linguagem natural na caixa de entrada, por exemplo:
Encontre tabelas fato relacionadas ao negócio de trading; consulte datasets adicionados nos últimos 7 dias; liste projetos do MaxCompute que pertencem à unidade de negócio "Data Governance".
Gerenciamento de sessões: Uma pergunta feita a partir da home cria uma nova sessão. Ao abrir a página do AI Search diretamente, sua última sessão será retomada por padrão, caso nenhuma sessão específica seja especificada. Crie uma nova sessão ou retorne a uma sessão anterior conforme necessário.
Modelos rápidos de perguntas: Modelos comuns de perguntas estão disponíveis na parte inferior da página de sessão do AI Search. Clique em um modelo para enviá-lo diretamente.
Relação com a pesquisa global: A pesquisa global corresponde aos metadados exatamente por palavra-chave e filtros; o AI Search compreende a intenção por linguagem natural e contexto semântico, fornecendo recomendações. Ambos se complementam — use a pesquisa global quando souber o objeto alvo e o AI Search quando estiver descrevendo uma necessidade de negócio.
O AI Search está atualmente sendo disponibilizado via gray release por tenant. Ele fica visível apenas quando seu tenant tem o recurso ativado. Para solicitá-lo, entre em contato com o administrador ou abra um ticket.
FAQ
-
P: Por que não consigo encontrar a tabela que procuro?
R: Se você não conseguir encontrar uma tabela no DataWorks Data Map, verifique as possíveis causas e soluções abaixo.
Incompatibilidade de palavra-chave de pesquisa: A pesquisa suporta recuperação por nome de tabela, descrição e nome de campo. Tente usar uma palavra-chave mais precisa ou parcial.
Metadados não sincronizados: O DataWorks coleta metadados automaticamente após a associação com MaxCompute ou DLF, mas pode haver um atraso na sincronização após a criação ou modificação de uma tabela. Solução: Acesse My Data > My Tools > Refresh Table Metadata. Após a conclusão da operação com sucesso, pesquise a tabela novamente.
Tabela oculta: A tabela pode estar definida como Hidden, o que a torna indetectável nas pesquisas. Quando o status de uma tabela é Hidden, ela fica invisível para todos. Quando o status é Project Only, ela fica visível apenas para membros do workspace.
-
Permissões insuficientes: Por padrão, uma pesquisa abrange apenas o workspace atual e projetos autorizados. Se a tabela alvo pertencer a outra conta ou a um workspace não autorizado, ela não poderá ser encontrada. Além disso, se você não tiver permissões de consulta para uma tabela, ela não ficará visível no Data Map por padrão. Isso é especialmente verdadeiro em workspaces no modo padrão.
Solução: Entre em contato com o proprietário da tabela ou com um administrador para solicitar permissões, ou confirme que você é membro do projeto correspondente.