DataWorks:Assistente de IA na prática: O&M inteligente de dados por linguagem natural

Visão geral

O assistente de IA do DataWorks fornece modelos de inspeção integrados para diversos cenários, incluindo alertas, instâncias anômalas, qualidade de dados e governança de dados, além de suportar capacidades personalizadas de inspeção. Este tópico utiliza o exemplo de "monitoramento de falhas em tarefas específicas" para descrever como configurar tarefas de inspeção agendada por meio do assistente de IA, receber notificações de alerta em plataformas de mensagens instantâneas como o DingTalk e permitir que o assistente corrija automaticamente problemas anômalos. Siga esta prática para integrar suas regras de alerta existentes no DataWorks a plataformas de mensagens instantâneas como o DingTalk.

Documentação do assistente de IA do DataWorks: Use AI assistant services .

Console do DataWorks: https://dataworks.console.alibabacloud.com/overview .

Cenário e resultados

Os alertas de monitoramento tradicionais geralmente apenas notificam sobre erros em tarefas, e o processo de tratamento ainda exige operações no PC ou a alternância entre vários aplicativos. O assistente de IA do DataWorks suporta integração com plataformas de mensagens instantâneas, como o DingTalk, para enviar proativamente mensagens de alerta ao seu dispositivo móvel. Você pode concluir diretamente as operações de diagnóstico, correção e reexecução dentro do cliente de mensagens instantâneas, alcançando um tratamento de ciclo fechado de ponta a ponta, desde o recebimento dos alertas até a resolução dos problemas.

Os resultados finais desta prática são os seguintes:

• O usuário user D utiliza comandos em linguagem natural no aplicativo DingTalk DataWorksAIAssistant01 para fazer com que a instância de service do assistente de IA AI Assistant assine alertas de falha para uma tarefa específica.

• Quando uma tarefa falha, o assistente de IA envia automaticamente o alerta, os resultados do diagnóstico e o plano de correção para o user D.

• Após o user D confirmar o plano, o assistente de IA executa automaticamente as operações de modificação de código, implantação e reexecução da instância em nome do user D para corrigir o problema.

Planejamento da configuração

Antes de começar, planeje as seguintes informações:

1. Nome da instância do assistente de IA: O nome da instância de service do assistente de IA criada no DataWorks.

2. Identidade de execução: A identidade (usuário RAM ou função RAM) usada pelo assistente de IA para executar operações.

3. Informações do aplicativo de mensagens instantâneas: O nome do aplicativo interno da empresa criado na plataforma de mensagens instantâneas (como o DingTalk) e a organização à qual ele pertence.

4. Método de conexão de rede: O método de interação de rede entre o assistente de IA e a plataforma de mensagens instantâneas (rede interna ou rede pública).

O planejamento para este exemplo é o seguinte:

Etapa 1: Configurar alertas de monitoramento de tarefas

• Objetivo: Definir as tarefas a serem monitoradas e as condições que acionam alertas para garantir que o sistema DataWorks possa gerar eventos de alerta disponíveis para assinatura.

• Problema resolvido: O pré-requisito para o assistente de IA assinar alertas é que exista uma regra de monitoramento válida capaz de gerar eventos de alerta quando as condições forem atendidas. Primeiro, determine "qual tarefa monitorar e quais condições acionam um alerta" e, em seguida, crie uma regra de monitoramento personalizada no Operation Center do DataWorks.

• Instruções gerais:

  1. Crie uma regra de monitoramento personalizada no Operation Center do DataWorks.

  2. Na regra, especifique os objetos a serem monitorados e as condições de acionamento.

  3. O assistente de IA pode assinar os eventos de alerta gerados pela regra, além de eles serem enviados pelos métodos de notificação selecionados (SMS, e-mail, etc.). O assistente de IA assina eventos de alerta independentemente do método de notificação configurado para os alertas.

• Configuração neste exemplo (definir um alerta de erro para a tarefa Regional Transaction Ranking Analysis no workspace de Varejo E-commerce):

  Item de configuração	Descrição	Valor de exemplo
  Nome da regra	Um nome personalizado para a regra de alerta.	Alerta de Falha na Análise de Classificação de Transações Regionais
  Objeto da regra	O nome da tarefa a ser monitorada.	Análise de Classificação de Transações Regionais 02
  Condição de acionamento	O status da tarefa que aciona um alerta (erro, incompleto, etc.).	Erro
  Ação de alerta	O método de notificação após o acionamento de um alerta. Selecione conforme suas necessidades.	Selecione conforme suas necessidades (não afeta as assinaturas no lado das mensagens instantâneas).

• Resultado: Após concluir a configuração, quando a tarefa "Análise de Classificação de Transações Regionais 02" encontrar uma exceção, o DataWorks acionará um evento de alerta. Você pode visualizar o registro de alerta na lista de Informações de Alerta no Operation Center e receber notificações configuradas na ação de alerta (SMS, e-mail ou mensagem do DingTalk). Esse evento de alerta é o conteúdo que o assistente de IA poderá assinar posteriormente.

Etapa 2: Criar um service de assistente de IA

• Objetivo: Criar uma instância de service do assistente de IA para que ele possa operar o DataWorks em seu nome.

• Problema resolvido: O assistente de IA precisa de um ambiente de execução. É necessário especificar qual identidade o assistente usará para executar operações (o que determina as permissões), quais recursos ele utilizará para rodar (o que determina os recursos disponíveis) e quais capacidades ele possui (o que determina o escopo das operações executáveis).

• Instruções gerais e configuração de exemplo: Acesse o console do DataWorks e crie uma instância de service do assistente de IA com as seguintes configurações:

  Parâmetro	Descrição	Valor de exemplo
  Nome da instância	Um nome personalizado para o service do assistente de IA.	AI Assistant
  Cenário de uso	Selecione o escopo de capacidade do assistente de IA. Ao selecionar DataWorks Assistant, o assistente adquire habilidades relacionadas a O&M do DataWorks.	DataWorks Assistant
  Grupo de recursos	Selecione o grupo de recursos serverless usado para executar o service do assistente de IA. O service do assistente de IA consome continuamente a cota do grupo de recursos após ser iniciado. Recomendamos usar um grupo de recursos separado daquele utilizado para tarefas de produção.	Grupo de recursos de uso geral
  Identidade de execução	A identidade usada pelo assistente de IA ao executar operações no DataWorks. Se você selecionar Current logon user, todas as operações realizadas pelo assistente serão equivalentes às operações executadas por esse usuário.	Usuário conectado atual do DataWorks (user D)

• Resultado: Após a criação da instância, você pode visualizar a instância "AI Assistant" na lista de services do assistente de IA no console do DataWorks, com o status exibido como Running. Neste ponto, o assistente de IA possui capacidades de O&M do DataWorks, mas ainda não está conectado a nenhuma plataforma de mensagens instantâneas. Ainda não é possível interagir com o assistente de IA pelo DingTalk. As etapas a seguir concluem a integração com mensagens instantâneas.

Etapa 3: Conectar o assistente de IA ao DingTalk

• Objetivo: Estabelecer um canal de comunicação entre o assistente de IA e o DingTalk para habilitar a interação em tempo real no DingTalk.

• Problema resolvido: Por padrão, o assistente de IA só pode ser usado na web. Ao vinculá-lo a um aplicativo do DingTalk, você habilita as capacidades de interação por mensagens instantâneas.

Etapa 4: Assinar alertas através do assistente de IA

• Objetivo: Usar comandos em linguagem natural para fazer com que o assistente de IA comece a monitorar eventos de alerta para uma tarefa específica e verificar a disponibilidade de ponta a ponta.

• Problema resolvido: Após concluir a configuração da infraestrutura, é necessário ativar o recurso de assinatura de alertas do assistente de IA por meio de comandos explícitos.

• Descrição geral: Envie um comando de assinatura para o assistente de IA na janela de chat do DingTalk. É possível especificar o alvo de monitoramento e outras informações no comando: ID do workspace, nome da tarefa e condições de acionamento.

• Comando neste exemplo: Create alert inspection. When the alert rule "Regional Transaction Ranking Analysis Failure Alert" in workspace 959211 is triggered, immediately push the alert to this chat window with problem diagnosis and solutions..

• Resultado: Após o envio do comando, o assistente de IA assina automaticamente as informações de alerta acionadas pela regra especificada e responde com uma mensagem de confirmação indicando que o monitoramento foi iniciado. A partir desse momento, sempre que a tarefa "Análise de Classificação de Transações Regionais 02" acionar um alerta de falha, o assistente de IA enviará proativamente uma mensagem na janela de chat do DingTalk. Por padrão, o sistema verifica mensagens de alerta uma vez por minuto.

• Palavra-chave no comando: Inspeção de alerta.

• Ajustes na configuração do service de alerta:

  • Criar uma inspeção: Create alert inspection, monitor <workspace name>.

  • Ajustar o intervalo de inspeção: Alert service inspection interval 5 minutes.

  • Modificar a origem do alerta: Alert service alert source channel phone,sms.

  • Modificar os destinatários do alerta: Alert service alert contacts Zhang San, Li Si (separe vários destinatários com vírgulas; all indica todos os destinatários).

  • Gerenciar workspaces monitorados: Alert service add monitoring <workspace name> / Alert service remove monitoring <workspace name>.

  • Gerenciar alvos de push: Alert service add push to current group / Alert service remove push <group name>.

Etapa 5: Tratar alertas através do assistente de IA

• Objetivo: O assistente de IA envia informações de alerta e corrige problemas automaticamente, formando um processo completo de tratamento em ciclo fechado.

• Problema resolvido: Alcançar a correção automática de problemas através de um dispositivo móvel.

• Descrição geral: Quando um alerta é enviado, ele inclui a causa raiz e um plano de correção. Após confirmar que o plano é viável, responda com um comando de execução para o assistente de IA, e ele realizará automaticamente as operações de correção.

• Resultado: Neste exemplo, o cenário de falha de tarefa construído é causado por uma consulta de tabela particionada que não especifica uma condição de filtro de partição, resultando em um erro. Quando o alerta é enviado, ele inclui a causa raiz e um plano de correção. Após confirmar que o plano é viável, responda com um comando de execução para o assistente de IA. O assistente então executa automaticamente as seguintes operações em nome do "user D": modificar o código ou configuração da tarefa → implantar no ambiente de produção → reexecutar a instância com falha → resolver o alerta. Durante todo o processo, não é necessário sair do DingTalk ou alternar para um PC.

O conteúdo a seguir simula a interação completa entre o user D e o assistente de IA em um cliente de mensagens instantâneas (como o DingTalk).

plain`<br>`L128: FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: Table(demo_mp_odps_ol.ods_trade_order) is full scan with all partitions, please specify partition predicates.`<br>

Participe do grupo oficial de comunicação

Primeiro, clique em neste link do aplicativo para ingressar na organização "Alibaba Cloud Big Data AI Platform". Em seguida, escaneie o código QR abaixo para entrar no grupo de comunicação do DingTalk do product assistente de IA. Após ingressar, você poderá receber suporte técnico dedicado ao product.

ID do grupo DingTalk: 149605034971

Código QR do grupo DingTalk: