DataWorks:Visão geral do Data Map

Limitações

• A pesquisa de código e a análise de linhagem de dados estão disponíveis apenas no DataWorks Standard Edition e em edições superiores.

• Os álbuns de dados estão disponíveis apenas no DataWorks Professional Edition e em edições superiores.

Coletar metadados

• Metadados do MaxCompute e metadados do DLF: O Data Map coleta automaticamente os metadados do MaxCompute e do DLF por meio de coletores integrados.

• Outros tipos de metadados: Use a coleta de metadados personalizada para importar metadados de outras sources de dados, incluindo Hologres, E-MapReduce, CDH Hive, StarRocks, AnalyticDB for MySQL, AnalyticDB for PostgreSQL, MySQL, PostgreSQL, Oracle, SQL Server, ClickHouse, Elasticsearch, Tablestore e Lindorm. Collect metadata. Não há suporte para a coleta de metadados do Hudi.

Conectividade de rede

Para importar metadados, certifique-se de que o coletor de metadados do Data Map consiga acessar seu banco de dados. Se o seu banco de dados usar uma lista de permissões para controle de acesso, adicione os blocos CIDR da região do seu workspace do DataWorks a essa lista. Whitelist configurations required for metadata collection from data sources with access control.

Visão geral

• A página de visão geral exibe as métricas de recursos do MaxCompute para a região atual: quantidade de projetos, quantidade de tabelas, uso de armazenamento, quantidade de apis, tendências de armazenamento, principais projetos por armazenamento, principais tabelas por armazenamento e tabelas populares.

• Visualize a quantidade de bancos de dados, tabelas e apis para sources de dados como AnalyticDB for MySQL 3.0, MySQL, Hologres, AnalyticDB for PostgreSQL e OTS após a conclusão da coleta de metadados.

Overview.

Recuperação de metadados

O Data Map agrega metadados de tabelas, código, índices, apis, conjuntos de dados, modelos de IA, tarefas de algoritmo, serviços de modelo e workspaces. Pesquise na região atual por tipo, workspace, proprietário, ambiente, tag e categoria. Metadata retrieval.

Na página de pesquisa do Data Map, o painel à esquerda permite filtrar por source de dados (MaxCompute, EMR Hive, Data Lake Formation, Oracle, Hologres, entre outros). A pesquisa oferece três modos: Tables only, Columns only e Tables and columns. Nos resultados da pesquisa, você pode clique em Request Permissions ou em View Lineage para cada tabela.

Você também pode acesse tabelas e conjuntos de dados no formato de data directory.

Detalhes dos metadados

Clique em um nome de objeto para abrir sua página de detalhes.

• Para tabelas, visualize Basic Information, Output information e Lineage Information. View table details.

  A aba Basic Information contém as subabas Output information, Lineage Information e Lineage Information. Na subaba Table Lineage, clique em um nó de tabela no grafo de linhagem para visualize seu tipo de entidade, nome, tipo de source de dados, tamanho de armazenamento, ciclo de vida e outras propriedades no painel de detalhes à direita. Você também pode clique em Column Lineage e envie uma solicitação de permissão.

  Nota

  Na página Impact Analysis, visualize a linhagem de dados interna dos nós do motor. Os tipos de nós de motor compatíveis dependem da página do product. O MaxCompute também é compatível com a linhagem de ponta a ponta com base na sincronização offline, o que permite expandir a hierarquia de linhagem para rastrear a linhagem upstream e downstream de uma tabela até suas sources e destinos finais.

• Para uma api, visualize Parameter Information, Sample Response, Lineage Information e Usage Instructions. View API details.

  A página de detalhes da api exibe Basic Information (quantidade de visualizações, quantidade de chamadas, id da api, caminho da api, workspace, proprietário, entre outros) e Technical Information (tipo de api, método de solicitação, tipo de resposta, tipo e nome da source de dados, nome da tabela) no lado esquerdo.

• Para um conjunto de dados, visualize Attribute Information, Lineage e Usage Instructions.

  A aba Table Lineage exibe o seguinte:

  • Propriedades básicas: Request Permissions, Data Lineage , Parameter Information, Sample Response, Basic Information, Technical Information, Attribute Information, Property Information, Entity Type e Source.

  • Informações da versão do conjunto de dados: Data Type, Owner, Name, Workspace, Storage Type e Visibility. Clique em Created At para acessar o armazenamento correspondente.

Você também pode pesquisar por código. Ao clique em um resultado, você será redirecionado para o nó ou recurso source. metadata details.

Organizar e gerencie tabelas

Use categorias para organizar tabelas e filtre por categoria durante a pesquisa. Manage Configurations.

• Álbum de dados: Organize dados relacionados em um data album managed from a business perspective para facilitar a visualização e o gerencie.

• Updated At

  1. Adicione tabelas em lote a uma categoria especificada na página Version > URI.

     Após configurar a navegação por categorias, selecione uma categoria de último nível para adicionar tabelas em lote a partir de um projeto específico. Manage Configurations.

  2. Adicione tabelas em lote a uma categoria especificada na página Bucket.

     Adicione tabelas em lote a uma categoria a partir da página My Data (Owned by Me e Managed by Me). My Data.

• Gerencie tabelas: Para tabelas do MaxCompute, modifique nomes de exibição em lote, defina ciclos de vida, exclua tabelas de desenvolvimento ou produção, ou transfira a propriedade. My Data.

• Favoritos: Adicione tabelas acessadas com frequência aos Favoritos. Na página Path, visualize as tabelas favoritas no grupo Region. My Data.

  • Adicione uma tabela aos Default Mount Path: Na página de detalhes da tabela, clique em Favorite para adicionar a tabela aos View in OSS. View table details. Visualize a tabela na página Categories dentro do grupo Manage Configurations. Add a table to favorites.

  • Remova uma tabela da lista Manage Categories:

    • Na página My Data, acesse o grupo My Data e remova as tabelas dos favoritos.

    • Na página de detalhes de uma tabela favorita, utilize a opção My Favorites para removê-la.

Gerencie permissões de tabelas

• Solicitar permissões para operar em tabelas

  Em workspaces no modo padrão, os usuários RAM não execute comandos SQL em tabelas de produção por padrão. Para acessar tabelas de produção ou consultar entre contas, clique em My Favorites. Essa ação redireciona você para o My Favorites. Request permissions on tables.

  Nota

  Por padrão, usuários RAM sem permissões de consulta de tabelas não podem usar a visualização de dados na página de detalhes da tabela.

• Controlar permissões de visualização de dados para tabelas do MaxCompute

  Na página My Data > My Favorites, ative as permissões de visualização para tabelas de desenvolvimento ou produção do MaxCompute em um workspace específico. Assim, todos os membros do workspace poderão visualizar as tabelas sem precisar solicitar acesso. Manage Workspaces.

  Nota

  • Esta operação pode expor dados confidenciais. Avalie os riscos cuidadosamente antes de prosseguir.

  • O proprietário do projeto ou o administrador do workspace execute esta operação.

  • Esta permissão controla apenas o recurso My Favorites na página de detalhes da tabela no Data Map.

• Ocultar tabela: Tabelas ocultas não aparecem nos resultados de pesquisa. Oculte uma tabela de todos os usuários ou restrinja a visibilidade aos membros do workspace. My Data.

  • Ocultar uma única tabela: Na página My Data > Owned by Me, atualize as configurações de visibilidade da tabela.

    Nota

    Por padrão, o proprietário da tabela e o administrador do workspace não estão sujeitos a esses controles de permissão.

    Clique em My Favorites na coluna Actions. Na caixa de diálogo, a Remove from Favorites oferece as seguintes opções:

    • Apply for Permissions

    • Security Center

    • Manage Configurations

  • Ocultar tabelas em lote no nível do projeto: Em Manage Workspaces > Data Preview, selecione My Data e configure as propriedades de ocultação para todas as tabelas do projeto.

    Na tabela Update Table Info, ative a opção Visibility para ocultar em lote todas as tabelas sob o motor de computação correspondente.

Atualize metadados da tabela

Atualize os metadados de uma tabela caso ela não apareça nos resultados da pesquisa ou quando alterações recentes não estiverem refletidas.

1. Na página de resultados da pesquisa, clique em Visible to all tenant members.

2. Acesse a página Visible only to members of the associated workspace > Private no Data Map.

   Selecione um Manage Configurations (Manage Workspaces, Workspace ou MaxCompute Engine Configuration), insira o GUID da tabela no campo Default Project-only Visibility (por exemplo, project.schema.table ou odps.project.schema.table) e, em seguida, clique em Refresh Table Metadata.

3. Na página de detalhes de uma tabela do MaxCompute ou do Data Lake Formation (DLF), clique em More > Refresh Metadata e atualize manualmente os metadados da tabela. Em uma tabela do MaxCompute, o menu More também oferece a opção Generate API, e as abas de detalhes incluem Data Insights, Data Health e Usage History.

Após a atualização, pesquise a tabela novamente no Data Map.