Este tópico descreve as principais vantagens, módulos funcionais, cenários de cobertura e planos do EMR AI Assistant. - E-MapReduce: Central de Documentação do Alibaba Cloud

Visão geral

O EMR AI Assistant é um service inteligente de operações e desenvolvimento oferecido pelo Alibaba Cloud EMR. Impulsionado por grandes modelos de linguagem, o AI Assistant conecta-se aos seus clusters e instâncias do EMR, compreende o status e os dados de monitoramento deles e fornece capacidades de operações orientadas por IA em toda a pilha — desde consultoria com perguntas e respostas e diagnósticos de desempenho até inspeções de integridade e alertas proativos — atuando como seu especialista em big data 24 horas por dia, 7 dias por semana. O AI Assistant agora oferece suporte tanto ao EMR Serverless StarRocks quanto ao EMR Serverless Spark: além dos diagnósticos e operações de instâncias StarRocks, ele fornece diagnósticos de jobs Spark e gerenciamento de operações, permitindo alternar entre os products a partir do mesmo ponto de entrada.

Principais vantagens

Conectado a clusters reais, não apenas perguntas e respostas genéricas

O AI Assistant conecta-se diretamente às suas instâncias StarRocks e workspaces Serverless Spark, lendo dados de runtime como tabelas de sistema, profiles de consulta, métricas de monitoramento, logs de jobs e recursos de fila. Todos os diagnósticos e recomendações baseiam-se no estado real do seu cluster, e não em conhecimento genérico.

De respostas reativas para operações proativas

O AI Assistant não responde apenas quando você pergunta. Ao configurar relatórios diários, relatórios de inspeção e notificações de alerta (incluindo relatórios diários de inspeção Spark e inspeções agendadas de workspace Spark), o AI Assistant monitora continuamente a integridade do cluster 24 horas por dia e envia proativamente as descobertas para DingTalk, Lark ou WeCom — sem necessidade de monitoramento manual.

Múltiplos pontos de acesso, sempre disponível

Acesse o AI Assistant pelo console do EMR, canais de mensagens instantâneas do DingTalk/Lark/WeCom ou API. Ele integra-se ao seu fluxo de trabalho de operações existente sem exigir troca de ferramentas.

Módulos funcionais

O AI Assistant inclui os seguintes módulos principais:

Janela de chat

Uma interface de chat com IA integrada ao console que suporta conversas de múltiplas rodadas com o AI Assistant.

Suporta consultas em linguagem natural. O AI Assistant identifica automaticamente a intenção e conecta-se ao seu cluster para análise.
Permite conversas contextuais de várias rodadas, possibilitando investigar problemas progressivamente em uma única sessão.
O histórico de conversas é salvo automaticamente. Revise registros de diagnósticos anteriores a qualquer momento.
Selecione uma instância associada para analisar diferentes instâncias e cenários.
Alterne entre Serverless StarRocks e Serverless Spark para fazer perguntas e executar diagnósticos em qualquer um dos products.
Escolha uma habilidade especializada para executar um fluxo de trabalho de diagnóstico dedicado com um clique. O StarRocks oferece quatro habilidades especializadas integradas: diagnóstico de desempenho, assistência ao desenvolvimento, gerenciamento de operações e solução de problemas de lakehouse. O Spark oferece duas: diagnóstico de jobs e gerenciamento de operações.

Centro de tarefas

Gerencia tarefas agendadas e registros históricos de execução do AI Assistant. Visualize e gerencie as tarefas separadamente por product (Serverless StarRocks ou Serverless Spark).

Configuração de tarefas:

Configure o cronograma e a frequência de envio dos relatórios diários.
Defina o ciclo de execução dos relatórios de inspeção.
Especifique limiares e regras de envio para alertas de SQL lento.
O StarRocks fornece três tarefas agendadas integradas (verificação completa de integridade, verificação de SQL em execução e verificação histórica de SQL lento) e seis tarefas de alerta integradas (alertas de checkpoint, compactação, carga da máquina, Routine Load, visualização materializada e latência de consulta).
O Spark oferece cinco tarefas agendadas de sistema integradas: inspeção agendada de workspace Spark, relatório diário de inspeção Spark, especialista em jobs lentos Spark, resumo de diagnóstico de jobs falhos Spark e inspeção de recursos de fila Spark.
Permite ativar, pausar e excluir tarefas, além de definir limiares de acionamento.

Registros de execução:

Visualize resultados históricos de execução de todas as tarefas.
Acesse o conteúdo completo de cada relatório diário, inspeção ou alerta.
Filtre registros por horário, tipo ou status.
Verifique os motivos de falha quando a execução não for bem-sucedida.

Configuração de IM

Integre o AI Assistant com ferramentas de mensagens instantâneas corporativas para que os membros da equipe possam usá-lo diretamente nos chats de grupo de trabalho.

Compatível com DingTalk, Lark e WeCom.
Configure a URL do Webhook e a chave de assinatura para o grupo correspondente.

Integração via API/SDK

Incorpore as capacidades do EMR AI Assistant à sua plataforma empresarial e aos fluxos de trabalho de operações automatizadas por meio de APIs e SDKs. Para mais informações, consulte Call the EMR AI assistant API.

Cenários de cobertura (Serverless StarRocks)

Diagnósticos de desempenho

Quando seu cluster apresenta picos de latência, tempos limite de consulta ou saturação de recursos, o AI Assistant identifica rapidamente a causa raiz e fornece etapas de correção.

Cenário	O que o AI Assistant faz	Exemplo
Identificação de consultas lentas	Analisa as principais instruções SQL, classificadas por duração, uso de CPU e linhas verificadas	"Houve alguma consulta lenta recentemente?"
Análise de plano de execução	Examina profundamente os profiles de consulta para identificar gargalos no nível do operador	"Esta consulta levou 30 segundos — ajude-me a verificar o profile"
Diagnóstico de gargalo de recursos	Analisa o uso de CPU, memória, disco e I/O para identificar hotspots	"A CPU subiu repentinamente para 100%"
Acúmulo de compactação	Avalia o acúmulo de versões e a amplificação de gravação, fornecendo recomendações de ajuste	"Alerta de contagem de versões acionado — o que devo fazer?"

Operações de cluster

Abrange inspeções de rotina, Auto Scaling, gerenciamento de configuração e outras tarefas operacionais do dia a dia.

Cenário	O que o AI Assistant faz	Exemplo
Inspeção de integridade	Realiza uma verificação abrangente em 8 dimensões, gerando uma pontuação de integridade e recomendações de otimização	"Execute uma verificação completa de integridade"
Auto Scaling	Analisa cargas de trabalho históricas para avaliar se é necessário aumentar ou diminuir a escala	"Precisamos adicionar nós antes do pico de tráfego?"
Diagnósticos de conexão	Soluciona falhas de conexão, tempos limite e problemas de lista de permissões de IP	"As aplicações subitamente não conseguem se conectar ao cluster"
Ajuste de configuração	Compara com as melhores práticas e recomenda ajustes de parâmetros	"Quantas threads de compactação devo definir?"
Gerenciamento de instâncias	Visualize informações da instância, detalhes da versão, permissões de conta, entre outros	"Quais são as especificações da minha instância atual?"

Solução de problemas

Cenário	O que o AI Assistant faz	Exemplo
Diagnóstico de erros	Correlaciona com bancos de dados de problemas conhecidos e fornece etapas de correção	"Recebi este erro — como corrijo?"
Falha de nó	Analisa causas de falha de BE/FE e fornece etapas de recuperação	"Um nó BE está inativo — o que aconteceu?"
Análise de OOM	Identifica fontes de consumo de memória e fornece recomendações de ajuste de parâmetros	"Minha consulta encontrou um erro OOM"
Falha no carregamento de dados	Analisa causas de erro no carregamento de dados e fornece etapas de correção	"O Stream Load retornou um erro"

Operações proativas

O AI Assistant executa automaticamente tarefas de análise conforme um cronograma e envia os resultados para canais de mensagens instantâneas.

Tipo de envio	Acionador	Conteúdo
Relatório diário	Cronograma diário	Pontuação de integridade do cluster + diagnósticos de eventos anômalos + comparação de tendências + recomendações de otimização
Relatório de inspeção	Cronograma semanal	Pontuação de integridade em 8 dimensões + verificação abrangente + lista de verificação de otimização
Notificação de alerta	Evento de monitoramento	Detalhes do alerta + análise de causa raiz por IA + ações recomendadas
Alerta de SQL lento	Acionamento por limiar	Detalhes do SQL lento + análise de profile + SQL otimizado

Todas as tarefas agendadas e registros de envio podem ser visualizados e gerenciados em Task Center.

Consultoria

Cenário	O que o AI Assistant faz	Exemplo
Uso do product	Responde a perguntas de uso com base na documentação mais recente do StarRocks	"Como crio uma visualização materializada?"
Melhores práticas	Fornece melhores práticas para design de tabelas, carregamento de dados e otimização de consultas	"Como escolho o número de buckets?"
Consulta sobre recursos	Explica os recursos do StarRocks e cenários aplicáveis	"Quando devo usar Colocate Join?"
Integração de ecossistema	Orientação para integrar sources de dados externos como Paimon, Iceberg, Fluss e Kafka	"Como configuro um catálogo Paimon?"

Assistência ao desenvolvimento

Cenário	O que o AI Assistant faz	Exemplo
Design de tabelas	Recomenda estratégias de particionamento e bucketing, chaves de ordenação e configurações de índice com base nos padrões de consulta	"Como devo projetar uma tabela para 500 milhões de linhas por dia?"
Otimização de SQL	Reescrita de SQL, ajustes de estratégia de junção e verificação de pushdown de predicados	"Ajude-me a otimizar esta consulta SQL"
Carregamento de dados	Gera configurações de Stream Load, Routine Load e Broker Load	"Como carrego dados do Kafka em tempo real?"
Visualizações materializadas	Recomendações de criação, configuração de estratégia de atualização, verificações de status e resolução de anomalias	"Posso acelerar esta consulta de relatório com uma visualização materializada?"

Cenários de cobertura (Serverless Spark)

Diagnóstico de jobs

Quando um job Spark demora mais do que o esperado, falha ou apresenta regressão de desempenho, o AI Assistant localiza rapidamente a causa e sugere otimizações.

Cenário	O que o AI Assistant faz	Exemplo de pergunta
Análise de jobs lentos	Identifica os principais jobs lentos por duração, consumo de CU e dados verificados; distingue jobs consistentemente longos de regressões reais e sugere uma ordem de otimização	"Quais jobs consumiram mais CUs nas últimas 24 horas?"
Diagnóstico de jobs falhos	Analisa logs, códigos de saída e informações de OOM para jobs falhos ou anormais, agrupa-os em famílias de falhas e fornece causas raiz e correções	"Por que este job falhou?"
Comparação de jobs similares	Compara execuções históricas de jobs similares recorrentes para detectar regressões de desempenho	"Por que o job de hoje está mais lento que o de ontem?"

Gerenciamento de operações

Cobre operações diárias, como diagnóstico de recursos e inspeção de workspace.

Cenário

O que o AI Assistant faz

Exemplo de pergunta

Diagnóstico de recursos

Analisa a utilização de CU da fila, esperas por recursos e os motivos pelos quais os jobs estão enfileirados

"Por que meu job está preso na fila?"

Inspeção de workspace

Inspeciona a utilização da fila, taxa de sucesso de jobs e tendências de consumo de CU, produzindo um relatório de inspeção

"Execute uma inspeção no meu workspace."

Operações proativas

O AI Assistant executa tarefas de análise Spark conforme um cronograma e envia os resultados para o seu canal de mensagens instantâneas.

Tipo de notificação	Acionador	Conteúdo
Relatório diário de inspeção Spark	Cronograma diário	Resumo da inspeção do workspace do dia anterior com link para o relatório completo
Inspeção agendada de workspace Spark	Cronograma recorrente	Um relatório HTML rastreável sobre estabilidade, desempenho, custo e uso do workspace
Resumo de jobs lentos e falhos	Cronograma diário	Ordem de otimização para os principais jobs lentos, além de causas raiz e correções para famílias de falhas
Alerta de inspeção de recursos de fila	Cronograma diário e limiar	Utilização de CU da fila, jobs que permanecem pendentes e crescimento de CU nos últimos 7 dias que excede o limiar

Todas as tarefas agendadas do Spark e registros de notificação estão disponíveis no Task Center.

Planos e especificações

Cada usuário recebe uma cota gratuita de 1 milhão de tokens. Após o esgotamento da cota gratuita, ative o faturamento de pagamento conforme o uso, que cobra com base no consumo real de tokens. Para regras de faturamento, consulte EMR AI Assistant pay-as-you-go billing.

As cotas e especificações de recursos são calculadas no nível da conta. Serverless StarRocks e Serverless Spark compartilham a mesma cota de tokens e especificações de recursos.

Para um guia de início rápido, consulte EMR AI Assistant quick start.

Aviso legal

A saída deste service é gerada por um modelo de IA. Não podemos garantir totalmente a segurança, confiabilidade, disponibilidade e estabilidade contínua do service, nem a conformidade, integridade e precisão do conteúdo gerado. O conteúdo gerado não representa as posições ou opiniões da Alibaba Cloud. Melhoraremos continuamente a qualidade do service, mas não garantimos a disponibilidade ou confiabilidade dele e não somos responsáveis pelos resultados do seu uso deste service. Tenha cautela ao avaliar o conteúdo gerado e não dependa excessivamente dele. Você é totalmente responsável por quaisquer julgamentos ou ações tomadas com base no conteúdo gerado que resultem em perda ou dano a você, a outros usuários ou à Alibaba Cloud.
Você é o único responsável por todo o seu comportamento de uso. Garanta que qualquer conteúdo publicado, carregado, vinculado ou fornecido por meio do service seja legal e esteja em conformidade, não prejudique a ordem pública, não infrinja os direitos legítimos de terceiros e não fabrique ou dissemine informações falsas.
O uso dos recursos de diagnóstico deste service requer a coleta de dados relacionados à instância diagnosticada, incluindo informações básicas sobre sua instância de banco de dados, conteúdo de tabelas de sistema, métricas de monitoramento da instância e informações importantes de erros de eventos e logs, bem como informações de execução de jobs, métricas de fila e métricas de recursos de workspaces Spark.

Perguntas frequentes

P: O AI Assistant lê meus dados comerciais?

R: O AI Assistant lê apenas tabelas de sistema (como information_schema), profiles de consulta, métricas de monitoramento e outros dados operacionais do seu cluster para diagnósticos e análises. Ele não lê o conteúdo das suas tabelas comerciais.

P: Como as permissões do AI Assistant são controladas?

R: O escopo das operações do AI Assistant é controlado por permissões do RAM. Atualmente, ele realiza principalmente diagnósticos e análises somente leitura. Operações de gravação (como alterações de configuração) exigem sua confirmação explícita na conversa antes da execução.

P: O que acontece quando a cota de tokens se esgota?

R: Quando a cota de tokens se esgota, o AI Assistant pausa o service. Ative o faturamento de excedente para continuar usando o service. Recomendamos monitorar o uso da sua cota no console e ajustar conforme necessário.

P: Como gerencio múltiplas instâncias?

R: Uma única assinatura do AI Assistant pode ser associada a várias instâncias StarRocks e workspaces Serverless Spark na mesma conta. Especifique o nome da instância ou do workspace na conversa para alternar o alvo da análise. Tarefas agendadas podem ser configuradas com regras de envio independentes para cada instância.

P: O que devo fazer se uma tarefa agendada falhar?

R: Visualize o motivo da falha nos registros de execução do Task Center. Causas comuns incluem: instância parada, conexão com o canal de mensagens instantâneas interrompida ou cota de tokens insuficiente. Após a resolução do problema, a tarefa retoma automaticamente no próximo acionamento agendado.