DataWorks:Coleta de metadados

Crawler padrão do MaxCompute

Este crawler coleta metadados dos projetos MaxCompute associados à sua conta. Acesse a página de detalhes, clique em Modify Data Scope para selecionar os projetos a serem coletados e clique em Permission Configurations para configurar a visibilidade dos metadados dentro do tenant.

1. Na seção Built-in da página de coleta de metadados, localize o cartão MaxCompute Default Crawler e clique em Details.

2. A página de detalhes do MaxCompute Default Crawler contém duas abas: Basic Information e Data Scope.

   • Basic Information: Exibe as propriedades básicas do crawler, como tipo e método de coleta. Essas informações são somente leitura.

   • Data Scope: Gerencia de quais projetos MaxCompute este crawler coleta metadados.

3. Modifique o escopo de coleta:

   1. Mude para a aba Data Scope e clique no botão Modify Data Scope.

   2. Na caixa de diálogo exibida, selecione ou desmarque os projetos MaxCompute dos quais deseja coletar metadados.

      Importante

      Por padrão, o escopo inclui todos os projetos MaxCompute associados a workspaces na região atual sob seu tenant. Após modificar o escopo de dados, os objetos de metadados coletados no Data Map ficarão consistentes com o escopo atual. Os metadados de projetos desmarcados não estarão visíveis.

   3. Clique em OK para salvar as alterações.

4. Configure a visibilidade dos metadados:

   • Na lista Data Scope, localize o projeto desejado e clique em Permission Configurations na coluna Actions.

   • Selecione uma política de visibilidade conforme seus requisitos de governança de dados:

     • Public Within Tenant: Todos os membros do tenant podem pesquisar e visualizar os metadados deste projeto.

     • Only members in the associated workspace can search and view.: Apenas membros de workspaces específicos podem acessar os metadados deste projeto, garantindo o isolamento dos dados.

Crawler padrão do DLF

Para ativar a coleta em tempo real de metadados do DLF, conceda a permissão Data Reader à função vinculada ao service AliyunServiceRoleForDataworksOnEmr no console do DLF.

O Crawler Padrão do DLF coleta metadados do Data Lake Formation (DLF) associado à sua conta.

1. Na seção Built-in da página de coleta de metadados, localize o cartão DLF Default Crawler e clique em Details para visualizar as informações básicas.

2. Mude para a aba Data Scope para ver a lista de Catálogos DLF incluídos no escopo de coleta e a quantidade de tabelas que contêm.

   Por padrão, todos os catálogos acessíveis (incluindo DLF e DLF-Legacy) são coletados.

Create Custom Crawler

1. Na seção de lista de crawlers personalizados na página de coleta de metadados, clique em Create Metadata Crawler.

2. Selecione um tipo de coleta: Na página de seleção de tipo, escolha o tipo de fonte de dados alvo para coleta, como Hologres ou StarRocks.

3. Configure as definições básicas e o grupo de recursos:

   • Basic Configurations:

     • Selecione um workspace: Escolha o workspace que contém a fonte de dados.

     • Select Data Source: Selecione uma fonte de dados alvo criada anteriormente na lista suspensa. Após a seleção, o sistema exibe automaticamente os detalhes da fonte de dados.

     • Name: Nomeie o crawler para facilitar a identificação posterior. Por padrão, o nome é igual ao nome da fonte de dados.

   • Resource Group Configuration:

     • Resource Group: Selecione um grupo de recursos para executar a tarefa de coleta.

     • Test Network Connectivity: Esta etapa é crítica. Clique em Test Network Connectivity para garantir que o grupo de recursos possa acessar a fonte de dados.

       Importante

       • Verifique se a fonte de dados possui restrições de lista de permissões ativadas. Caso precise coletar metadados de uma fonte com controle de acesso baseado em lista de permissões, consulte Adicionar endereços IP do grupo de recursos à lista de permissões e Configurar lista de permissões para uma fonte de dados para definir as permissões adequadas.

       • Se a fonte de dados não tiver restrições de lista de permissões ativadas, consulte Configurar conectividade de rede para uma fonte de dados para estabelecer a conectividade de rede.

       • Caso o teste de conectividade retorne o erro Backend service call failed: test connectivity failed.not support data type, entre em contato com o suporte técnico para atualizar o grupo de recursos.

4. Configure a coleta de metadados:

   • Collection Scope: Defina os bancos de dados (database/schema) a serem coletados. Se a fonte de dados estiver na granularidade de banco de dados, o banco correspondente será selecionado por padrão. É possível selecionar bancos adicionais além da fonte de dados.

     Importante

     • Cada banco de dados pode ser configurado em apenas um crawler. Se um banco aparecer esmaecido, ele já está sendo coletado por outro crawler.

     • Ao reduzir o escopo de coleta, os metadados fora desse escopo deixarão de ser pesquisáveis no Data Map.

5. Configure o aprimoramento inteligente e o plano de coleta:

   • Aprimoramento inteligente (Beta):

     • Descrições geradas por IA: Quando ativado, o sistema utiliza um modelo de linguagem grande para gerar automaticamente descrições de negócios para tabelas e colunas após a coleta de metadados. Visualize as descrições geradas por IA na página de detalhes de um objeto de tabela no Data Map.

   • Collection Plan:

     • Trigger Mode: Selecione manual ou periódico.

       • Manual: O crawler executa apenas quando acionado manualmente. Ideal para coletas únicas ou sob demanda.

       • Periódico: Configure uma tarefa agendada (mensal, diária, semanal ou horária) para que o sistema atualize os metadados automaticamente de forma periódica.

         Para configurar uma tarefa agendada com granularidade de minuto, selecione o ciclo de coleta horária e marque todas as granularidades de minuto para implementar uma execução a cada 5 minutos.

         Importante

         Apenas fontes de dados no ambiente de produção suportam coleta periódica.

6. Salve a configuração: Clique em Save ou Save and Run para concluir a criação do crawler.

Gerencie crawlers personalizados

Após a criação, o crawler aparece na lista de crawlers personalizados. Realize as seguintes operações:

• Operações na lista: Diretamente na lista, é possível Run, Stop ou Delete um crawler. Utilize os recursos de Filter e Search no topo para localizar rapidamente o crawler desejado.

  Importante

  Ao excluir um crawler de metadados, os objetos coletados por ele no Data Map tornam-se inválidos. Não será mais possível pesquisar ou visualizar esses objetos e seus detalhes. Proceda com cautela.

• Operações em lote: Selecione vários crawlers na lista e utilize Batch Run ou Batch Stop na parte inferior da lista para acionar ou encerrar múltiplas tarefas de coleta simultaneamente, aumentando a eficiência da gestão.

• Status do crawler: A lista exibe o status atual de cada crawler. Os status comuns incluem Not Run, Waiting, Running, Successful, Failed e Manually Terminated.

  Nota

  Se a fonte de dados associada a um crawler for desassociada ou tornar-se inválida, o crawler entrará no estado congelado. Um crawler congelado não pode ser executado, apenas excluído.

• Visualize detalhes e logs: Clique no nome do crawler alvo para acessar sua página de detalhes.

  • Basic Information: Visualize todos os itens de configuração do crawler.

  • Data Scope: Visualize ou Modify Data Scope.

    Se nenhuma coleta tiver sido realizada, a contagem de tabelas e a hora da última atualização estarão vazias.

    As seguintes fontes de dados não suportam modificação de escopo: EMR Hive, CDH Hive, Lindorm, ElasticSearch, OTS, MongoDB e AnalyticDB for Spark no AnalyticDB MySQL.

  • Run Logs: Acompanhe o histórico de execução de cada tarefa de coleta. É possível visualizar o horário de início, duração, status e volume de dados coletados em cada tarefa. Quando uma tarefa falhar, clicar em View Logs é o ponto de entrada principal para identificar e resolver problemas.

• Acionar coleta manualmente: No canto superior direito da página de detalhes, clique no botão Collect Metadata para iniciar imediatamente uma tarefa de coleta. Isso é útil quando você deseja visualizar uma tabela recém-criada no Data Map instantaneamente.

Fonte de dados

• "Depende do ciclo de coleta" na tabela significa que os metadados são atualizados periodicamente com base no plano de coleta configurado para o crawler (como mensal, diário, semanal ou horário).

• AnalyticDB for Spark e AnalyticDB for MySQL compartilham o mesmo ponto de entrada para coleta de metadados.

Código da tarefa

O Data Map suporta busca por código de tarefa e navegação rápida. A tabela abaixo descreve o escopo do código pesquisável.

Ativos de API

O Data Map permite visualizar metadados de APIs do Data Service, conforme descrito abaixo:

Ativos de IA

O Data Map suporta a visualização e o gerenciamento de ativos de IA, fornecendo linhagem de ativos de IA para rastrear a origem, o uso e a evolução de dados e modelos. A tabela a seguir descreve os tipos de ativos de IA suportados.

Workspace

O Data Map permite visualizar metadados do workspace, conforme descrito abaixo: