DataWorks:DI Agent de Integração de Dados

Visão geral da capacidade

O DI Agent permite criar e gerenciar todos os quatro tipos de tarefas de sincronização por meio de linguagem natural: tabela única em lote, tabela única em tempo real, banco de dados completo em lote e banco de dados completo em tempo real. Em vez de preencher individualmente formulários de configuração para fontes de dados, mapeamentos de campos e estratégias de agendamento, basta descrever seus requisitos de sincronização para que o Agent conclua todo o processo, da compreensão da intenção à implantação. As principais capacidades incluem:

• Criação de tarefas em linguagem natural: Descreva seus requisitos de sincronização em uma única frase. Exemplo: "Sincronize o banco de dados de pedidos do RDS para o Hologres em tempo real, particionado por dia." O Agent completa automaticamente a identificação da source de dados, a detecção de esquema, o mapeamento de campos, a atribuição de grupo de recursos e a configuração de agendamento.

• Compreensão de intenção e diálogo multi-turno: O Agent interpreta descrições vagas ou incompletas e faz perguntas complementares para preencher parâmetros essenciais, como estratégias de particionamento e condições incrementais. Isso garante que a configuração da tarefa gerada seja precisa e utilizável.

• Gerenciamento completo do ciclo de vida: Gerencie tarefas por meio de conversa ao editar, pausar, retomar, excluir ou reexecutá-las. A interface conversacional cobre todo o ciclo de vida da tarefa, da criação à desativação.

• Operações em lote: Crie ou modifique várias tarefas de sincronização em uma única conversa. Esse recurso é útil para migrações completas de bancos de dados e ajustes de agendamento em massa.

Exemplo de uso

O exemplo a seguir demonstra como criar uma tarefa de sincronização por meio de conversa:

1. Abra a interface conversacional do DI Agent.

2. Insira seus requisitos de sincronização. Exemplo: "Sincronize o banco de dados de pedidos do RDS para o Hologres em tempo real, particionado por dia."

3. O Agent detecta automaticamente o esquema da source, exibe a lista de tabelas a sincronizar e prossegue após sua confirmação.

4. O Agent conclui automaticamente o mapeamento de campos, a atribuição do grupo de recursos e a configuração de agendamento.

5. Visualize o resumo da configuração da tarefa e implante-a após confirmar que está correta.

6. Verifique o status de execução da tarefa e confirme se os dados estão sincronizados conforme esperado.

Visão geral da capacidade

O DI Agent permite incorporar a inferência de modelos de linguagem grandes como operador ETL em pipelines de dados para processar em lote dados não estruturados no OSS, como imagens, vídeos, arquivos de áudio e documentos. As capacidades de processamento incluem reconhecimento, classificação e marcação, transcrição, tradução, resumo e vetorização. Os resultados são gravados diretamente no MaxCompute, Hologres ou Data Lake Formation (DLF), integrando dados não estruturados ao sistema de ativos de dados corporativos. As principais capacidades incluem:

• Lógica de processamento em linguagem natural: Descreva sua intenção de processamento em linguagem natural, como "Identificar categorias de product em imagens e gerar tags". O Agent gera automaticamente a configuração correspondente do pipeline de processamento.

• Orquestração de pipeline em três estágios: O Agent orquestra automaticamente um pipeline Fonte → Transformação (inferência de modelo grande) → Destino, sem exigir escrita de scripts ou configuração de services de inferência.

• Saída direta para data warehouse: Os resultados do processamento são gravados diretamente no MaxCompute, Hologres ou DLF, eliminando etapas adicionais de transferência de dados.

• Embedding de dados: Vetorize os dados processados e grave os resultados no Hologres para casos de uso downstream de RAG.

• Execução em lote e agendada: Processe milhões de arquivos no modo em lote e configure execuções periódicas agendadas para processamento incremental contínuo de novos dados.

Exemplo de uso

O exemplo a seguir demonstra como processar imagens de product no OSS e gravar os resultados no MaxCompute:

1. Abra o ponto de entrada de processamento de dados com IA.

2. Insira seus requisitos de processamento. Exemplo: "Ler imagens de product de um bucket AWS S3 → chamar um modelo grande para identificar tags de categoria → gravar os resultados em uma tabela MySQL".

3. O Agent orquestra automaticamente um pipeline de três estágios: Fonte (S3) → Transformação (inferência de modelo grande) → Destino (MySQL).

4. O ChatDB identifica automaticamente a tabela de destino e gera a instrução SQL correspondente.

5. Visualize os resultados do gráfico retornados. O tipo de visualização (gráfico de linhas, gráfico de barras etc.) é selecionado automaticamente.

6. Para vetorizar dados de um banco de dados de engenharia de features no Hologres para uso em RAG, defina a tarefa de embedding em linguagem natural: "Continuar com embedding → chamar um modelo grande para vetorização → gravar os resultados em uma tabela Hologres".

7. O Agent orquestra automaticamente um pipeline de três estágios: Fonte (MySQL) → Transformação (vetorização por modelo grande) → Destino (Hologres).

8. O ChatDB identifica automaticamente a tabela de destino e gera a instrução SQL correspondente.

9. Visualize os resultados retornados.

Visão geral da capacidade

Ao receber um alerta de tarefa de sincronização, descreva o problema ou cole as informações do alerta na interface conversacional do Agent. O Agent agrega automaticamente informações multidimensionais, incluindo logs de tarefas, métricas de monitoramento de recursos e status do banco de dados de origem, para identificar a causa raiz e fornecer um plano de correção. Isso reduz o tempo de solução de problemas de horas para minutos. Cada resultado de diagnóstico é arquivado automaticamente como entrada na base de conhecimento. Assim, quando um problema semelhante ocorrer novamente, a solução existente será recuperada diretamente, eliminando a necessidade de recomeçar do zero em caso de mudança de membros da equipe. As principais capacidades incluem:

• Agregação de informações multidimensionais: Coleta e correlaciona automaticamente logs de tarefas, métricas de monitoramento de recursos, status do banco de dados de origem, largura de banda de rede e outras informações multidimensionais, apresentando o contexto completo em uma única visualização.

• Identificação da causa raiz: Analisa automaticamente as causas raiz de falhas com base nas informações agregadas, como CUs insuficientes, bloqueios de tabelas de origem, gargalos de largura de banda de rede ou erros de configuração, fornecendo conclusões claras.

• Recomendações de correção com execução em um clique: Após identificar a causa raiz, o Agent fornece sugestões acionáveis de correção, como escalonamento horizontal de grupos de recursos, reinicialização de instâncias ou ajuste de concorrência. A execução com um clique tem suporte após sua confirmação.

• Acúmulo automático de conhecimento: Cada resultado de diagnóstico é arquivado automaticamente como entrada na base de conhecimento. Quando um problema semelhante ocorrer novamente, a solução existente será recuperada diretamente.

Exemplo de uso

1. Após o disparo de um alerta, abra a interface conversacional do Agent e descreva o problema ou cole a mensagem de alerta.

2. O Agent agrega automaticamente informações multidimensionais, incluindo logs de tarefas, métricas de monitoramento de recursos e status da origem.

3. O Agent gera um relatório de análise de causa raiz (por exemplo, CUs insuficientes fazendo com que a taxa de consumo fique abaixo da taxa de produção).

4. O Agent fornece correções recomendadas (por exemplo, aumentar a cota de CU do grupo de recursos ou reiniciar instâncias com falha). Após sua confirmação, a correção é executada.

Visão geral da capacidade

O DI Agent permite a varredura proativa de todos os pipelines de sincronização em intervalos configuráveis, mudando o modelo de O&M de resposta reativa para governança proativa. Os resultados das inspeções são apresentados como relatórios estruturados, com tarefas de alto risco priorizadas por escopo de impacto e urgência. Cada item inclui recomendações específicas de correção e avaliações de benefícios esperados. As principais capacidades incluem:

• Intervalos de inspeção configuráveis: Quatro frequências têm suporte — horária, diária, semanal e apenas manual — para atender a diferentes requisitos de negócios quanto à tempestividade das verificações de integridade.

• Varredura proativa de pipeline completo: O Agent varre automaticamente todos os pipelines de sincronização em cada intervalo configurado para identificar riscos potenciais proativamente, sem necessidade de verificações manuais item por item.

• Relatório diário estruturado de integridade: Os resultados da inspeção incluem uma visão geral das métricas principais, uma lista de tarefas anômalas e avaliações de nível de risco, permitindo que as equipes de O&M compreendam o status geral de integridade em 3 minutos.

• Priorização e recomendações de correção: Tarefas de alto risco são priorizadas por escopo de impacto e urgência, com cada item acompanhado de recomendações específicas de correção e avaliações de benefícios esperados.

Exemplo de uso

1. Acesse a página de configuração de inspeção inteligente e selecione um intervalo de inspeção (horário, diário ou semanal).

2. Configure o escopo da inspeção (todos os pipelines ou workspaces/grupos de recursos específicos).

3. O Agent executa automaticamente as inspeções no intervalo configurado e gera relatórios estruturados.

4. Revise a visão geral das métricas principais e a lista de tarefas de alto risco no relatório e trate os itens de risco por prioridade.