Quando as métricas do Prometheus ultrapassam os limiares esperados ou apresentam padrões anormais, a notificação oportuna evita que incidentes se agravem. As regras de alerta do Prometheus permitem definir condições em qualquer métrica — selecionando uma métrica predefinida ou escrevendo uma instrução PromQL personalizada — e encaminhar notificações para a sua equipe por mensagem de texto, e-mail, chamada telefônica, chatbot do DingTalk, chatbot do WeCom ou webhook.
Pré-requisitos
Você está conectado ao Prometheus. Para mais informações, consulte:
Acesso
Faça logon no ARMS console.
No painel de navegação à esquerda, escolha .
Na página Prometheus Alert Rules, clique em Create Prometheus Alert Rule.
CriarPrometheus uma regra de alerta com base em um limiar estático
O tipo de verificação de limiar estático oferece métricas de alerta predefinidas. Selecione essas métricas para criar regras de alerta rapidamente.
Na página Create Prometheus Alert Rule, configure os seguintes parâmetros de alerta.
Parâmetro
Descrição
Exemplo
Alert Name
O nome do alerta.
prod-cluster-container-cpu-alert
Check Type
Selecione Static threshold.
Static threshold
Prometheus Instance
Selecione a instância do Prometheus para a qual deseja criar o alerta.
Production Cluster
Alert Group
Selecione um grupo de alertas.
Diferentes tipos de Prometheus aceitam diferentes grupos de alertas. As opções disponíveis de grupos de alertas variam conforme o tipo de instância do Prometheus selecionado.
Kubernetes Workloads
Alert Metric
Selecione a métrica para a qual deseja configurar o alerta. Cada grupo de alertas corresponde a diferentes métricas.
Container CPU utilization
Alert Condition
Defina as condições que acionam um evento de alerta com base no conteúdo predefinido da métrica de alerta.
A condição de alerta é atendida quando a utilização de CPU do contêiner é
greater than80%.Filter Condition
Defina o escopo da regra de alerta com base na métrica de alerta. Um evento de alerta é acionado quando qualquer recurso que atenda às condições de filtro satisfaz a regra de alerta.
As seguintes condições de filtro estão disponíveis:
Traverse: a regra de alerta se aplica a todos os recursos da instância atual do Prometheus. Traverse é a condição de filtro padrão.
Equal To: após selecionar esta condição, insira o nome de um recurso específico. A regra de alerta se aplica somente a esse recurso. Não é possível inserir vários nomes de recursos.
Not Equal To: após selecionar esta condição, insira o nome de um recurso específico. A regra de alerta se aplica a todos os recursos, exceto o especificado. Não é possível inserir vários nomes de recursos.
Match Regular Expression: após selecionar esta condição, insira uma expressão regular para corresponder aos nomes dos recursos conforme necessário. A regra de alerta se aplica a todos os recursos que correspondem à expressão regular.
Do Not Match Regular Expression: após selecionar esta condição, insira uma expressão regular para corresponder aos nomes dos recursos conforme necessário. A regra de alerta exclui todos os recursos que correspondem à expressão regular.
NotaApós definir as condições de filtro, a área Data Preview é exibida.
A condição de filtro não pode exceder 300 caracteres.
Traverse
Data Preview
A área Data Preview exibe a instrução Prometheus Query Language (PromQL) correspondente à condição de alerta. Também mostra os valores da métrica de monitoramento como uma curva de série temporal.
Por padrão, apenas o valor em tempo real de um recurso é exibido. Selecione um recurso de destino e um intervalo de tempo na caixa de filtro desta área para visualizar valores de diferentes recursos e intervalos de tempo.
NotaO limiar de alerta aparece como uma linha reta vermelha na curva de série temporal. A parte da curva que atinge o limiar de alerta é exibida em vermelho escuro, e a parte que não atinge é exibida em azul.
Passe o mouse sobre a curva de série temporal para visualizar os detalhes do recurso em um ponto específico no tempo.
Selecione um intervalo de tempo na curva de série temporal para visualizar a curva desse período.
Nenhum
Duration
Se uma condição de alerta for atendida, um evento de alerta será acionado imediatamente: um evento de alerta é acionado se qualquer ponto de dados atingir o limiar.
Um evento de alerta é acionado somente após a condição de alerta persistir por N minutos: um evento de alerta é acionado somente se o tempo em que o limiar é atingido for maior ou igual a N minutos.
1
Alert Level
Personalize o nível de alerta. O nível de alerta padrão é Default. A gravidade aumenta de Default, P4, P3, P2 até P1.
Default
Alert Content
As informações de alerta que os usuários recebem. Use a sintaxe de modelo do Go para personalizar variáveis de parâmetros de alerta no conteúdo do alerta.
Namespace: {{$labels.namespace}} / Pod: {{$labels.pod_name}} / Container: {{$labels.container}} CPU utilization {{$labels.metrics_params_opt_label_value}} {{$labels.metrics_params_value}}%, Current value: {{ printf "%.2f" $value }}%
Alert Notification
Simple Mode: defina o Notification Receiver, o Notification Period e Whether to Resend Notifications.
Standard Mode:
Não especificar uma política de notificação: ao selecionar esta opção, após criar a regra de alerta, crie uma nova política de notificação na página Notification Policy e defina regras de correspondência e condições de correspondência, como o nome da regra de alerta, para associar a regra de alerta. Quando a regra de alerta for acionada e gerar um evento de alerta, as informações do alerta serão enviadas aos contatos ou grupos de contatos especificados na política de notificação. Para mais informações, consulte Políticas de notificação.
Especificar uma política de notificação: ao selecionar esta opção, o ARMS adiciona automaticamente uma regra de correspondência à política de notificação selecionada. O conteúdo da regra de correspondência é o ID da regra de alerta, apresentado como o nome da regra de alerta. Isso garante que os eventos de alerta gerados pela regra de alerta atual sejam correspondidos pela política de notificação selecionada.
ImportanteEspecificar rapidamente uma política de notificação garante apenas que os eventos de alerta da regra de alerta atual sejam correspondidos pela política de notificação selecionada e que os alertas correspondentes sejam gerados. No entanto, os eventos da regra de alerta atual também podem ser correspondidos por outras políticas de notificação configuradas com correspondência aproximada, o que também gera alertas. A relação entre eventos de alerta e políticas de notificação é um mapeamento de muitos para muitos.
Não especificar uma regra de notificação
Advanced Settings
Alert Check Interval
O intervalo no qual o sistema verifica a regra de alerta para determinar se os dados atendem às condições de alerta. O padrão é 1 minuto, e o mínimo é 1 minuto.
1
Check after data is complete
Sim
Não
Sim
Tags
Defina tags para o alerta. As tags podem ser usadas como opções para as regras de correspondência da política de notificação.
Nenhum
Annotations
Defina anotações para o alerta.
Nenhum
Após concluir a configuração, clique em Save. Na página de lista de regras de alerta do Prometheus, visualize o status da regra de alerta atual.
Se o Status da regra de alerta for Automatic Interruption, edite a regra de alerta para resolver a causa da interrupção. Em seguida, clique em Start e, na caixa de diálogo exibida, clique em Confirm. Se não conseguir resolver o problema, entre em contato com a equipe do recurso de alertas do ARMS no DingTalk (ID: d9j_rg9e4062f) para obter ajuda.
Uma regra de alerta pode ser interrompida automaticamente pelos seguintes motivos:
A consulta da regra retorna mais de 1.500 resultados.
Nenhum destinatário de notificação está configurado no sistema de gerenciamento de alertas.
A instância do Prometheus está desinstalada ou indisponível.
Criar uma regra de alerta do Prometheus usando uma consulta PromQL personalizada
Para monitorar métricas não cobertas pelos limiares estáticos predefinidos, crie uma regra de alerta com uma consulta personalizada de Prometheus Query Language (PromQL).
Na página Create Prometheus Alert Rule, defina os seguintes parâmetros de alerta.
Parâmetro
Descrição
Exemplo
Alert Name
O nome do alerta.
Pod CPU usage is greater than 8%
Check Type
Defina como Custom PromQL query.
Custom PromQL query
Prometheus Instance
Selecione a instância do Prometheus para a qual deseja criar o alerta.
Nenhum
Reference Alert Group
Selecione um grupo de alertas.
Diferentes tipos de Prometheus aceitam diferentes grupos de alertas. As opções disponíveis de grupos de alertas variam conforme o tipo de instância do Prometheus selecionado.
Kubernetes Workload
Reference Alert Metric
Opcional. As métricas de referência fornecem configurações personalizadas de PromQL para métricas comuns. Selecione uma métrica semelhante para preencher os campos automaticamente. Em seguida, modifique a configuração conforme necessário.
O parâmetro Reference Metric filtra automaticamente as métricas de alerta compatíveis com base no tipo de instância do Prometheus selecionado.
Pod disk usage alert
Custom PromQL Statement
Use uma instrução PromQL para definir a expressão da regra de alerta.
Namespace: {{$labels.namespace}}/Pod: {{$labels.pod_name}}/Disk device: {{$labels.device}} usage exceeds 90%, current value {{ printf "%.2f" $value }}%max(container_fs_usage_bytes{pod!="", namespace!="arms-prom",namespace!="monitoring"}) by (pod_name, namespace, device)/max(container_fs_limit_bytes{pod!=""}) by (pod_name,namespace, device) * 100 > 90
Data Preview
A área Data Preview exibe a instrução Prometheus Query Language (PromQL) correspondente à condição de alerta. Também mostra os valores da métrica de monitoramento como uma curva de série temporal.
Por padrão, apenas o valor em tempo real de um recurso é exibido. Selecione um recurso de destino e um intervalo de tempo na caixa de filtro desta área para visualizar valores de diferentes recursos e intervalos de tempo.
NotaPasse o mouse sobre a curva de série temporal para visualizar os detalhes do recurso em um ponto de dados específico.
Selecione um intervalo de tempo na curva para visualizar a série temporal desse período.
Nenhum
Duration
Um alerta é acionado imediatamente se qualquer ponto de dados atingir o limiar.
Um alerta é acionado somente se a condição persistir por N minutos consecutivos.
1
Alert Level
Personalize o nível de alerta. O nível de alerta padrão é Default. A gravidade aumenta de Default, P4, P3, P2 até P1.
Default
Alert Content
As informações de alerta que os usuários recebem. Use a sintaxe de modelo do Go para personalizar variáveis de parâmetros no conteúdo do alerta.
O exemplo a seguir mostra um modelo para um alerta de reinicialização de pod. Isso ajuda a configurar um conteúdo de notificação legível:
Namespace: {{$labels.namespace}}/Pod: {{$labels.pod_name}} restarted more than {{ $labels.metrics_params_value}} times in {{$labels.metrics_params_time}} minutes. Current restarts: {{ $value }}
Namespace: {{$labels.namespace}}/Pod: {{$labels.pod_name}}/Disk device: {{$labels.device}} usage exceeds 90%, current value {{ printf "%.2f" $value }}%
Alert Notification
Simple Mode: defina o Notification Receiver, o Notification Period e Whether to Resend Notifications.
Standard Mode:
Não especificar uma política de notificação: ao selecionar esta opção, após criar a regra de alerta, crie uma nova política de notificação na página Notification Policy e defina regras de correspondência e condições de correspondência, como o nome da regra de alerta, para associar a regra de alerta. Quando a regra de alerta for acionada e gerar um evento de alerta, as informações do alerta serão enviadas aos contatos ou grupos de contatos especificados na política de notificação. Para mais informações, consulte Políticas de notificação.
Especificar uma política de notificação: ao selecionar esta opção, o ARMS adiciona automaticamente uma regra de correspondência à política de notificação selecionada. O conteúdo da regra de correspondência é o ID da regra de alerta, apresentado como o nome da regra de alerta. Isso garante que os eventos de alerta gerados pela regra de alerta atual sejam correspondidos pela política de notificação selecionada.
ImportanteEspecificar rapidamente uma política de notificação garante apenas que os eventos de alerta da regra de alerta atual sejam correspondidos pela política de notificação selecionada e que os alertas correspondentes sejam gerados. No entanto, os eventos da regra de alerta atual também podem ser correspondidos por outras políticas de notificação configuradas com correspondência aproximada, o que também gera alertas. A relação entre eventos de alerta e políticas de notificação é um mapeamento de muitos para muitos.
Não especificar uma regra de notificação
Advanced Settings
Alert Check Period
O intervalo, em minutos, para a verificação da regra de alerta. O valor mínimo é 1 minuto.
1
Check After Data Is Complete
Sim
Não
Sim
Tags
Defina tags para o alerta. As tags podem ser usadas como opções para as regras de correspondência da política de notificação.
Nenhum
Annotations
Defina anotações para o alerta.
Nenhum
Após configurar os parâmetros, clique em Save. Na página de lista de regras de alerta do Prometheus, visualize o status da regra de alerta.
Se o Status da regra de alerta for Automatic Interruption, edite a regra novamente com base no motivo fornecido. Em seguida, clique em Start e clique em Confirm na caixa de diálogo exibida. Se não conseguir resolver a interrupção, entre em contato com a conta de serviço do recurso de alertas do ARMS (d9j_rg9e4062f) para obter ajuda.
Uma regra de alerta pode ser interrompida automaticamente pelos seguintes motivos:
A consulta da regra retorna mais de 1.500 resultados.
Nenhum destinatário de notificação está configurado no sistema de gerenciamento de alertas.
A instância do Prometheus está desinstalada ou indisponível.
Gerenciar regras de alerta
Para alertas criados na página de Regras de Alerta do console do Managed Service for Prometheus, como alertas de limiar estático e de Prometheus Query Language (PromQL) personalizado, edite, ative (para alertas no estado Stopped), desative (para alertas no estado Running), exclua e copie os alertas, além de visualizar o histórico de eventos.
Para alertas gerados nos consoles de outros produtos Alibaba Cloud, visualize o histórico de eventos de alerta ou retorne à lista de alertas do produto correspondente.
Após modificar uma regra de alerta, os eventos de alerta não resolvidos existentes continuam a ser acionados com base na regra anterior. A nova regra só entra em vigor para acionamentos de alerta subsequentes após você reivindicar e resolver os eventos não resolvidos correspondentes na página Alert Sending History.
Perguntas frequentes
Por que as notificações de recuperação de alerta estão atrasadas?
O sistema possui um atraso integrado para evitar falsos negativos causados por atrasos na comunicação do agente. Durante cada verificação, o mecanismo de alertas analisa os dados dos últimos 10 minutos. Um alerta é confirmado como recuperado somente após esse período, mesmo que a métrica não atenda mais à condição de alerta.
Tempo de recuperação: a notificação de recuperação é enviada cerca de 10 minutos após a métrica parar de acionar o alerta.
Detalhes do mecanismo: o Prometheus não possui um recurso nativo de recuperação automática. Ele depende do mecanismo de detecção do ARMS para essa funcionalidade.
O que devo fazer se a política de notificação for perdida após aplicar um modelo de regra de alerta?
Causa: os modelos de regras de alerta não contêm configurações de política de notificação. Ao reaplicar um modelo, o ID da regra pode mudar. Isso faz com que a política de notificação original falhe, pois não consegue mais corresponder ao rótulo _aliyun_arms_alert_rule_id.
Solução: acesse e localize a política afetada. Na seção Dispatch Conditions, use um rótulo mais estável, como alertname ou o nome do cluster cluster, para reassociar a regra, em vez de usar o ID da regra.
O que devo fazer se ainda receber alertas duplicados após alterar a expressão de alerta para increase?
Causa: se a política de notificação estiver configurada para reenviar notificações a cada N minutos e estiver definida para recuperação manual, o sistema continuará a gerar novos eventos de alerta enquanto a métrica atender às condições da nova expressão.
Solução: modifique a política de notificação. Altere a configuração de notificação repetida para 'Notify only on the first trigger' ou mude para o modo 'Automatic recovery'. Confirme também que a nova expressão está salva e ativa.
Como solucionar um problema de regra de alerta do Prometheus sem dados ou que não é acionada após a configuração?
Siga estas etapas para investigar:
Verifique os componentes: certifique-se de que o componente kube-state-metrics esteja instalado no cluster ACK. Se não estiver instalado, instale-o. Verifique o status do componente Prometheus. Se necessário, reinstale o componente ack-arms-prometheus.
Verifique o histórico de acionamentos: clique em Alert History ao lado da regra para verificar os registros de acionamento. A ausência de registros indica que as condições da regra não foram atendidas. As possíveis causas incluem nome de métrica incorreto, dados vazios ou intervalo de tempo de consulta inválido. Se existirem registros, mas nenhuma notificação foi enviada, verifique as regras de despacho na política de notificação. Certifique-se de que os rótulos, o nome do cluster e outras condições correspondam aos critérios das regras de despacho.
Recomendação: use os modelos de alerta mais recentes verificados pela Alibaba Cloud. Isso ajuda a evitar falsos positivos ou alertas que não são acionados, o que pode ocorrer com modelos mais antigos.
Verifique a sintaxe: se encontrar um erro na página, verifique a expressão regular na consulta PromQL. Uma expressão vazia, como
{pvc=~}, é inválida e causará um erro. Corrija para{pvc=~".*"}ou um valor específico.
Há cobranças para alertas de memória de pod do monitoramento do Prometheus em clusters ACS?
Sim. Os clusters ACS aceitam monitoramento e alertas para métricas de memória de pod. São cobrados os alertas enviados por mensagem de texto e chamada de voz. Os alertas enviados pelo DingTalk Robot e Webhook são gratuitos.