DataWorks:Coleta de metadados

Crawler padrão do MaxCompute

Este crawler coleta metadados dos projetos MaxCompute associados à sua conta. Acesse a página de detalhes, clique em Modify Data Scope para selecionar os projetos a serem coletados e clique em Permission Configurations para configurar a visibilidade dos metadados dentro do tenant.

1. Na seção Built-in da página de coleta de metadados, localize o cartão MaxCompute Default Crawler e clique em Details.

2. A página de detalhes do MaxCompute Default Crawler contém duas abas: Basic Information e Data Scope.

   • Basic Information: Exibe as propriedades básicas do crawler, como tipo e método de coleta. Essas informações são somente leitura.

   • Data Scope: Gerencia de quais projetos MaxCompute este crawler coleta metadados.

3. Modifique o escopo de coleta:

   1. Mude para a aba Data Scope e clique no botão Modify Data Scope.

   2. Na caixa de diálogo exibida, selecione ou desmarque os projetos MaxCompute dos quais deseja coletar metadados.

      Importante

      Por padrão, o escopo inclui todos os projetos MaxCompute associados a workspaces na região atual sob seu tenant. Após modificar o escopo de dados, os objetos de metadados coletados no Data Map ficarão consistentes com o escopo atual. Os metadados de projetos desmarcados não estarão visíveis.

   3. Clique em OK para salvar as alterações.

4. Configure a visibilidade dos metadados:

   • Na lista Data Scope, localize o projeto desejado e clique em Permission Configurations na coluna Actions.

   • Selecione uma política de visibilidade conforme seus requisitos de governança de dados:

     • Public Within Tenant: Todos os membros do tenant podem pesquisar e visualizar os metadados deste projeto.

     • Only members in the associated workspace can search and view.: Apenas membros de workspaces específicos podem acessar os metadados deste projeto, garantindo o isolamento dos dados.

Crawler padrão do DLF

O Crawler Padrão do DLF coleta metadados do Data Lake Formation (DLF) associado à sua conta.

1. Na seção Built-in da página de coleta de metadados, localize o cartão DLF Default Crawler e clique em Details para visualizar as informações básicas.

2. Mude para a aba Data Scope para ver a lista de Catálogos DLF incluídos no escopo de coleta e a quantidade de tabelas que contêm.

   Por padrão, todos os catálogos acessíveis (incluindo DLF e DLF-Legacy) são coletados.

Create Custom Crawler

1. Na seção de lista de crawlers personalizados na página de coleta de metadados, clique em Create Metadata Crawler.

2. Selecione um tipo de coleta: Na página de seleção de tipo, escolha o tipo de fonte de dados alvo para coleta, como Hologres ou StarRocks.

3. Configure as definições básicas e o grupo de recursos:

   • Basic Configurations:

     • Selecione um workspace: Escolha o workspace que contém a fonte de dados.

     • Select Data Source: Selecione uma fonte de dados alvo criada anteriormente na lista suspensa. Após a seleção, o sistema exibe automaticamente os detalhes da fonte de dados.

     • Name: Nomeie o crawler para facilitar a identificação posterior. Por padrão, o nome é igual ao nome da fonte de dados.

   • Resource Group Configuration:

     • Resource Group: Selecione um grupo de recursos Serverless para executar a tarefa de coleta.

     • Test Network Connectivity: Esta etapa é crítica. Clique em Test Network Connectivity para garantir que o grupo de recursos possa acessar a fonte de dados.

       Importante

       • Verifique se a fonte de dados possui restrições de lista de permissões ativadas. Caso precise coletar metadados de uma fonte com controle de acesso baseado em lista de permissões, consulte Add resource group IP addresses to the allowlist e Configure an allowlist for a data source para configurar as permissões adequadas.

       • Se a fonte de dados não tiver restrições de lista de permissões ativadas, consulte Configure network connectivity for a data source para estabelecer a conectividade de rede.

       • Caso o teste de conectividade retorne o erro Backend service call failed: test connectivity failed.not support data type, entre em contato com o suporte técnico para atualizar o grupo de recursos.

4. Configure a coleta de metadados:

   • Collection Scope: Defina os bancos de dados (database/schema) a serem coletados. Se a fonte de dados estiver na granularidade de banco de dados, o banco correspondente será selecionado por padrão. É possível selecionar bancos adicionais além da fonte de dados.

     Importante

     • Cada banco de dados pode ser configurado em apenas um crawler. Se um banco de dados aparecer esmaecido, ele já está sendo coletado por outro crawler.

     • Ao reduzir o escopo de coleta, os metadados fora desse escopo deixarão de ser pesquisáveis no Data Map.

5. Configure o aprimoramento inteligente e o plano de coleta:

   • Aprimoramento inteligente (Beta):

     • Descrições geradas por IA: Quando ativado, o sistema utiliza capacidades de modelos de linguagem grandes para gerar automaticamente descrições de negócios para suas tabelas e colunas após a coleta de metadados, melhorando significativamente a legibilidade e usabilidade. Após a conclusão da coleta, visualize as informações geradas por IA (como descrições de tabelas e colunas) na página de detalhes de um objeto de tabela no Data Map.

   • Collection Plan:

     • Trigger Mode: Escolha entre manual ou periódico.

       • Manual: O crawler executa apenas quando acionado manualmente. Ideal para coletas únicas ou sob demanda.

       • Periódico: Configure uma tarefa agendada (mensal, diária, semanal ou horária) para que o sistema atualize os metadados automaticamente de forma recorrente.

         Para configurar uma tarefa agendada com granularidade de minutos, selecione o ciclo de coleta horária e marque todas as granularidades de minuto para implementar uma execução a cada 5 minutos.

         Importante

         Apenas fontes de dados no ambiente de produção suportam coleta periódica.

6. Salve a configuração: Clique em Save ou Save and Run para concluir a criação do crawler.

Gerencie crawlers personalizados

Após a criação, o crawler aparece na lista de crawlers personalizados. As seguintes operações de gerenciamento estão disponíveis:

• Operações na lista: Diretamente na lista, você pode Run, Stop ou Delete um crawler. Utilize os recursos de Filter e Search no topo para localizar rapidamente o crawler desejado.

  Importante

  Ao excluir um crawler de metadados, os objetos coletados por ele no Data Map tornam-se inválidos. Não será mais possível pesquisar ou visualizar esses objetos e seus detalhes. Proceda com cautela.

• Operações em lote: Selecione múltiplos crawlers na lista e utilize Batch Run ou Batch Stop na parte inferior para acionar ou encerrar várias tarefas de coleta simultaneamente, aumentando a eficiência da gestão.

• Status do crawler: A lista exibe o status atual de cada crawler. Os status comuns incluem Not Run, Waiting, Running, Successful, Failed e Manually Terminated.

  Nota

  Se a fonte de dados associada a um crawler for desvinculada ou tornar-se inválida, o crawler entrará no estado congelado. Um crawler congelado não pode ser executado, apenas excluído.

• Visualize detalhes e logs: Clique no nome do crawler alvo para acessar sua página de detalhes.

  • Basic Information: Visualize todos os itens de configuração do crawler.

  • Data Scope: Visualize ou Modify Data Scope.

    Se nenhuma coleta tiver sido realizada, a contagem de tabelas e a hora da última atualização estarão vazias.

    As seguintes fontes de dados não suportam modificação de escopo: EMR Hive, CDH Hive, Lindorm, ElasticSearch, OTS, MongoDB e AnalyticDB for Spark no AnalyticDB MySQL.

  • Run Logs: Acompanhe o histórico de execução de cada tarefa de coleta. É possível visualizar horário de início, duração, status e volume de dados coletados. Quando uma tarefa falhar, clicar em View Logs é o ponto de entrada principal para identificar e resolver problemas.

• Acionar coleta manualmente: No canto superior direito da página de detalhes, clique no botão Collect Metadata para iniciar imediatamente uma tarefa de coleta. Isso é útil quando se deseja visualizar uma tabela recém-criada no Data Map instantaneamente.

Fonte de dados

Código de tarefa

O Data Map suporta busca por código de tarefa e navegação rápida. Abaixo está descrito o escopo de códigos pesquisáveis.

Ativos de API

O Data Map permite visualizar metadados de APIs do Data Service, conforme descrito abaixo:

Ativos de IA

O Data Map suporta a visualização e o gerenciamento de ativos de IA, fornecendo linhagem para rastrear a origem, o uso e a evolução de dados e modelos. A tabela a seguir descreve o suporte para cada tipo de ativo de IA.

Workspace

O Data Map permite visualizar metadados de workspace, conforme descrito abaixo: