O Agent utiliza interação em linguagem natural e modelos de linguagem grandes para executar tarefas de integração de dados, desenvolvimento de dados e governança de dados. Ele automatiza fluxos de trabalho desde os requisitos até os resultados, ajudando a otimizar seus processos de dados.
Visão geral do Agent
O Agent é integrado ao DataWorks. Diferentemente do Agent based on third-party clients, você pode usá-lo diretamente nos módulos do DataWorks sem instalar software adicional ou realizar configurações complexas.
O Agent segue um modelo de interação baseado em descreva suas necessidades e obtenha seus resultados. Você descreve seus requisitos em linguagem natural e o Agent gera o código e as configurações correspondentes. O fluxo de trabalho do Agent é o seguinte:
Acesso
Faça login no console do DataWorks. No painel de navegação à esquerda, escolha Data Development and O&M > DataStudio. Selecione seu workspace e acesse o DataStudio.
Início rápido
Etapa 1: Abra o Agent Chat e alterne para o modo Agent
Na página do DataStudio, clique em
no canto superior direito da barra de navegação superior para abrir o Data Agent Chat. No canto inferior esquerdo da caixa de diálogo, alterne para o modo Agent.
Etapa 2: Selecione um Agent
Digite / na caixa de entrada para abrir o menu do Agent e selecione o Agent adequado à sua tarefa. Os tipos de Agent disponíveis são: Data Integration Agent, DataMap Agent, DataStudio Agent, Data governance Agent e Workbench Agent.
No módulo do product correspondente, o DataWorks usa automaticamente o Agent compatível. Não é necessário selecionar um manualmente.
Etapa 3: Adicione contexto (opcional)
Digite @ na caixa de diálogo ou clique em @ no canto inferior direito para selecionar e adicionar contexto. O contexto fornece informações de base mais ricas ao Agent.
Os tipos de contexto suportados são:
Table: Referencia os metadados de uma ou mais tabelas.
Node/Code File: Referencia o código dentro de um nó específico.
Data collection: Referencia uma coleção de dados do Data Map.
Rules: Aplica temporariamente uma ou mais regras à conversa atual.
Local File: Faz upload de um documento local para fornecer informações de base.
Etapa 4: Alterne entre modelos de linguagem grandes (opcional)
Por padrão, o Agent usa o modo Auto. Nesse modo, o Agent realiza o agendamento inteligente de modelos com base no cenário da tarefa e suporta a alternância perfeita entre vários modelos. Para mais detalhes, consulte Supported models.
Você também pode clicar em
na parte inferior da caixa de diálogo para selecionar um modelo específico.
Etapa 5: Inicie a conversa
Insira sua solicitação na caixa de diálogo. Refine sua intenção por meio de múltiplas interações, como fazer perguntas complementares ou fornecer detalhes adicionais, até que o Agent produza o resultado desejado.
Casos de uso
O Agent abrange casos de uso em integração de dados, desenvolvimento de dados, governança de dados, Data Map e O&M de dados. A tabela a seguir descreve cada cenário e tarefas típicas para ajudar você a escolher o Agent certo.
|
Cenário do Agent |
Descrição |
Tarefas típicas |
|
Integração de Dados |
Descreva requisitos de sincronização de dados em linguagem natural. O sistema analisa a semântica e gera a configuração de tarefa correspondente, incluindo fontes de dados de origem e destino, mapeamentos de esquema de tabela, filtros de campos, estratégias de particionamento e parâmetros de agendamento. |
Crie tarefas de sincronização offline ou em tempo real entre fontes de dados heterogêneas |
|
Desenvolvimento de Dados |
Desenvolvimento ETL baseado em linguagem natural que cobre análise de requisitos, geração de código, criação de fluxo de trabalho e implantação. |
Construa fluxos de trabalho de processamento de dados com código gerado e dependências configuradas |
|
O&M de Dados |
Avaliações de integridade e diagnósticos de problemas para instâncias de tarefas. Integra análises multidimensionais, incluindo cadeias de dependência, níveis de recursos, tendências históricas de execução, impactos de alterações, anomalias de log e Data Quality para gerar relatórios de diagnóstico estruturados. |
Diagnostique instâncias de tarefas com falha e gere relatórios de diagnóstico |
|
Data Map |
Interação em linguagem natural impulsionada por IA para explorar metadados em grandes conjuntos de dados. |
Pesquise tabelas por intenção de negócios e explore linhagem de dados |
|
Governança de Dados |
O DataWorks Data Governance Agent ajuda as empresas a fazer a transição da governança de dados proativa para autônoma. Emita comandos em linguagem natural em vez de realizar análises complexas e extensas configurações de formulário. O Agent converte comandos em ações precisas de governança e as executa automaticamente. |
Configure regras de monitoramento de qualidade e corrija problemas de qualidade |
Caso de uso 1 - Data Integration agent
Descrição: Descreva requisitos de sincronização de dados em linguagem natural, como chinês ou inglês. O sistema analisa automaticamente a semântica e gera a configuração da tarefa de sincronização de dados correspondente. Isso inclui as fontes de dados de origem e destino, mapeamentos de esquema de tabela, condições de filtragem de campos, estratégias de particionamento e parâmetros de agendamento.
Procedimento:
Na caixa de diálogo, digite
/e selecione Data Integration Agent.Descreva seu requisito de sincronização de dados, incluindo origem, destino, nomes das tabelas e método de sincronização. Por exemplo: "Crie uma tarefa de sincronização offline para sincronizar a tabela MySQL
ods_user_info_dpara a tabela MaxComputeods_user_info_d."O Agent analisa seu requisito e preenche automaticamente informações como source de dados e mapeamentos de tabela para criar um nó de sincronização.
-
Após a criação do nó, revise-o e modifique-o conforme necessário.
Exemplo
:
Caso de uso 2 - Data Development agent
Descrição: Oferece uma experiência de desenvolvimento ETL baseada em linguagem natural que cobre todo o processo, desde a análise de requisitos e geração de código até a criação e implantação do fluxo de trabalho.
Procedimento:
Descreva seu requisito de desenvolvimento de dados em linguagem natural e adicione contexto conforme necessário. Por exemplo: "Construa um fluxo de trabalho de análise de perfil de usuário."
O Agent divide a tarefa em várias etapas, como criar nós, gerar código e configurar dependências, e então as executa.
-
Para o código do nó gerado, revise as alterações e escolha mantê-las ou descartá-las.
Exemplo
:
Caso de uso 3 - Data O&M Agent
Descrição: Oferece avaliações abrangentes de integridade e diagnósticos de problemas para instâncias de tarefas. Ao integrar análises multidimensionais, incluindo cadeias de dependência, níveis de recursos, tendências históricas de execução, impactos de alterações, anomalias de log e Data Quality, ele gera automaticamente relatórios de diagnóstico estruturados.
Para mais informações sobre o Data O&M Agent, consulte Data O&M Agent.
Caso de uso 4 - Data Map agent
Descrição: Melhora a eficiência na localização e compreensão de dados. Por meio de interação em linguagem natural impulsionada por IA, você pode explorar rapidamente metadados em vários cenários dentro de grandes conjuntos de dados.
Capacidades principais:
Pesquisa em linguagem natural: Permite fazer perguntas em linguagem natural para localizar rapidamente os dados alvo com base na intenção de negócios, sem precisar de palavras-chave precisas. Por exemplo, "Encontre as tabelas agregadas relacionadas à atividade do usuário."
Ajuste automático de escopo: Especifique um escopo na conversa e o Agent entenderá automaticamente a semântica, localizando rapidamente os dados dentro desse escopo. Por exemplo, "No projeto adm_bi, encontre tabelas relacionadas a operações comerciais."
-
Compreensão profunda dos dados: Faça perguntas complementares sobre os dados alvo para obter rapidamente detalhes como linhagem de dados, proprietários e definições de campos. Por exemplo, "Quais são as dependências diretas downstream da tabela @dws_bi_metric_di? Quem seria afetado por alterações nela?"
Exemplo
:
Caso de uso 5 - Data Governance agent
Descrição: O DataWorks Data Governance Agent ajuda as empresas a fazer a transição da governança de dados proativa para autônoma. Emita comandos em linguagem natural em vez de realizar análises complexas e extensas configurações de formulário. O Agent converte esses comandos em ações precisas de governança, aplica configurações de nível especialista e as executa automaticamente.
Capacidades principais:
-
Configuração de regras de qualidade: Ajuda a configurar regras de monitoramento de qualidade para tabelas-chave especificadas usando linguagem natural. O Data Governance Agent analisa os tipos de campo, a semântica de negócios e a importância de uma tabela especificada para recomendar e configurar automaticamente regras de monitoramento apropriadas, como unicidade de chave primária, restrições não nulas e verificações de intervalo de valores de enumeração. Esse processo elimina a necessidade de extensa exploração de dados e configuração manual de regras.
Exemplo: Gere automaticamente regras de qualidade para a tabela de dimensão de usuário principal
*dim_user_info*.Exemplo: Para tabelas que começam com
*ods_*, configure automaticamente regras de qualidade relacionadas à contagem de linhas da tabela.
-
Governança de problemas de qualidade: Para problemas de qualidade identificados automaticamente pelo sistema no módulo de governança de ativos de dados, como "Tabelas acessadas frequentemente sem regras de qualidade" ou "Tabelas produzidas por tarefas de linha de base de alta prioridade sem regras de qualidade", forneça requisitos de governança em linguagem natural. O sistema então analisa e corrige os problemas automaticamente.
Exemplo: Encontre tabelas acessadas frequentemente que não possuem regras de qualidade e, em seguida, recomende e configure-as.
Exemplo: Ajude-me a resolver problemas na dimensão de qualidade.
Exemplo
:
Principais capacidades
Gerenciamento de armazenamento
O DataStudio Agent suporta a criação de nós e arquivos em um diretório de projeto ou em seu diretório pessoal. Para garantir um gerenciamento preciso do armazenamento:
Configurações de Local de Armazenamento: No Data Agent Settings Center, configure The default storage path for generating code files. Para mais informações, consulte Storage settings.
Mecanismo de resolução de conflitos: Se o tipo de nó gerado for inconsistente com as regras do diretório atual (por exemplo, se você solicitar a criação de um nó de integração de dados em seu diretório pessoal), o Agent aciona um prompt de confirmação e aguarda sua verificação antes de prosseguir.
Tratamento de tarefas complexas
Para requisitos de desenvolvimento com lógica complexa, o Agent fornece feedback de status durante todo o ciclo de vida:
Lista de tarefas: O Agent divide tarefas complexas em várias subetapas e as exibe como uma lista de tarefas. Conforme a execução avança, o status de cada item é atualizado automaticamente.
Resumo da execução: Ao final do fluxo de trabalho, o Agent compila e gera um relatório resumido para toda a tarefa. Este relatório consolida as operações concluídas e os recursos gerados, tornando o processo de revisão mais eficiente.
Estatísticas de tokens e desempenho
Após a conclusão de uma tarefa, o Agent fornece métricas quantitativas para ajudar você a avaliar a eficiência da execução e a escala das chamadas de modelo:
Estatísticas de duração da tarefa: O sistema registra e exibe automaticamente o tempo total do início ao fim da tarefa atual, permitindo avaliar a eficiência do processo automatizado.
Consumo de tokens: Clique em
para verificar o número de input tokens e output tokens gerados durante a interação.
Agendamento inteligente de modelos
O mecanismo de alocação inteligente de modelos do Agent cria uma experiência de desenvolvimento orientada por intenções, eliminando a necessidade de escolher o modelo subjacente.
Alocação automática de modelo (modo Auto): Por padrão, o Agent opera no modo Auto. Nesse modo, o Agent identifica e divide sua intenção de desenvolvimento, despachando automaticamente o modelo ideal para lidar com diferentes subtarefas.
Coordenação dinâmica de múltiplos modelos (modo Auto): No modo Auto, o Agent pode orquestrar diferentes modelos. Com base nas necessidades em tempo real de uma tarefa, o Agent alterna flexivelmente entre vários modelos dentro de uma única conversa para garantir que cada parte de uma tarefa complexa seja atendida pelo modelo mais adequado.
Alternância manual de modelo: Saia do modo Auto e especifique um modelo diferente para processamento de tarefas em cenários específicos.
Referências
Para saber mais sobre os recursos personalizados do Agent, consulte Agent based on third-party clients.