DataWorks:Coleta de metadados do Apache Gravitino

Pré-requisitos

• Uma fonte de dados Apache Gravitino criada e aprovada no teste de conectividade. Para mais informações, consulte Apache Gravitino data source.

  Nota

  Neste cenário, o Apache Gravitino atua apenas como canal de coleta de metadados. Após a coleta, os metadados exibidos no DataWorks ainda provêm dos catálogos subjacentes, como Iceberg Catalog, Paimon Catalog e Hive Catalog.

• Um serverless resource group criado e associado ao workspace.

Limites

• A coleta é compatível apenas com catálogos Relational, como Hive, Iceberg, Paimon e JDBC. Não há suporte para os tipos de catálogo Model, File Set e Messaging.

• As informações de partição são recuperadas dinamicamente em tempo real, sem armazenamento estático. A cada visualização, os dados das partições são buscados sob demanda.

Criar uma tarefa de coleta de metadados

1. Faça logon no console do DataWorks. Na região de destino, clique em Data Governance > Data Map no painel de navegação à esquerda. Na página exibida, clique em Go to Data Map.

2. Na página do Data Map, clique em Metadata Collection na barra de navegação superior para acessar a página de coleta de metadados.

3. Na página de coleta de metadados, clique em Create Crawler para acessar a página Create Metadata Collection.

4. Na seção Basic Configuration, configure os seguintes parâmetros:

   Parâmetro	Descrição
   Collection Type	Selecione Apache Gravitino.
   Configuration Source	O valor padrão é Data Source.
   Select Workspace	Escolha o workspace ao qual a fonte de dados pertence ou selecione All Workspaces para visualizar todas as fontes de dados disponíveis.
   Select Data Source	Selecione a fonte de dados Apache Gravitino criada. Após a seleção, o tipo da fonte de dados, o nome, o workspace, o tipo de ambiente e as informações de conexão aparecem abaixo.
   Name	Nome personalizado da tarefa de coleta de metadados, como gravitino_test.

5. Na seção Resource Group Configuration, defina os seguintes parâmetros:

   Parâmetro	Descrição
   Resource Group	Selecione o grupo de recursos serverless para executar a tarefa de coleta. Após a seleção, o nome, o identificador, o tipo e o status do grupo de recursos são exibidos.
   Test Connectivity	Clique em Test Connectivity para verificar a conectividade de rede entre o grupo de recursos e a fonte de dados. É necessário aprovar no teste de conectividade antes de salvar a configuração de coleta.

6. (Opcional) Na seção AI Enhancement Configuration, escolha se deseja ativar o AI Description Enhancement.

   Ao ativar esse recurso, o sistema utiliza as capacidades de análise inteligente do modelo de linguagem grande do agente de dados do DataWorks para gerar automaticamente recomendações de descrição para tabelas e colunas após a conclusão da coleta de metadados. Os proprietários de ativos podem visualizar as descrições geradas por IA na página de detalhes da tabela e optar por confirmar ou modificar manualmente as descrições, melhorando a precisão e a padronização do gerenciamento de metadados.

7. Na seção Collection Plan, configure os seguintes parâmetros:

   Parâmetro	Descrição
   Trigger Method	Selecione o método de acionamento da coleta: Manual: A coleta só pode ser acionada manualmente. Periodic: A tarefa de coleta é executada automaticamente conforme a programação configurada.
   Collection Frequency	Se você definir Trigger Method como Periodic, especifique a frequência de coleta. Valores válidos: Monthly, Weekly, Daily e Hourly. Caso selecione Hourly, escolha minutos específicos na lista suspensa Minutes. É possível selecionar vários valores, com granularidade mínima de 5 minutos (por exemplo, 0, 5, 10 e 15).

8. Após concluir a configuração, clique em Save and Run na parte inferior da página para salvar as definições e acionar imediatamente uma tarefa de coleta. Também é possível clicar em Save para salvar apenas a configuração e acionar a coleta manualmente mais tarde.

Visualizar detalhes do banco de dados

Após a execução bem-sucedida da tarefa de coleta, visualize os bancos de dados e as tabelas abrangidos pela coleta na aba Data Scope da página de detalhes do rastreador.

1. Na lista Metadata Collection, clique no nome do rastreador desejado para acessar a página de detalhes correspondente.

2. Clique na aba Data Scope para visualizar a lista de bancos de dados coletados.

A página Data Scope exibe as seguintes informações:

Ao clicar em View Details, a página de detalhes do banco de dados será exibida. O lado esquerdo mostra as informações básicas do banco de dados e o lado direito apresenta a lista de tabelas.

A seção Basic Information inclui:

• Total Tables: Total de tabelas coletadas no banco de dados.

• Database: Nome do banco de dados.

• Entity ID: Identificador exclusivo do banco de dados.

• Technical Type: Tipo técnico do banco de dados, como Apache Hive, Iceberg ou Paimon.

• Region: Região onde a fonte de dados está localizada.

A Table List exibe as seguintes informações:

Visualizar detalhes da tabela

Na lista de tabelas da página de detalhes do banco de dados, clique no nome de uma tabela para acessar sua página de detalhes. O lado esquerdo exibe as informações básicas, técnicas e comerciais da tabela. O lado direito mostra os detalhes das colunas e as notas de uso.