Container Service for Kubernetes:Monitor ACK Edge clusters with Managed Service for Prometheus

Etapa 1: Crie um contato

1. Faça login no ARMS console. No painel de navegação à esquerda, escolha Alert Management > Notification Objects.

2. Na aba Contacts, clique em Create Contact.

3. Na caixa de diálogo Create Contact, configure os parâmetros e clique em Confirm.

   Parâmetro	Descrição
   Name	Especifique um nome personalizado para o contato.
   Mobile phone number	Após especificar um número de celular, o contato poderá receber notificações de alerta por chamada telefônica e mensagem de texto. Nota Apenas números de celular verificados podem ser usados para notificações por chamada telefônica em uma política de notificação. Para obter informações sobre como verificar um número de celular, consulte Verificar um número de telefone.
   Email address	Após especificar um endereço de e-mail, o contato poderá receber notificações de alerta por e-mail.

   Importante

   Você pode adicionar até 100 contatos.

Etapa 2: Crie uma regra de alerta do Prometheus

Crie uma regra de alerta do Prometheus usando um limiar estático

O tipo de verificação de limiar estático fornece métricas de alerta predefinidas pelo sistema. Ao selecionar uma métrica de alerta existente, você pode criar rapidamente uma regra de alerta para essa métrica usando opções descritivas.

1. Faça login no ARMS console.

2. No painel de navegação à esquerda, escolha Prometheus Monitoring > Prometheus Alert Rules.

3. Na página Prometheus Alert Rules, clique em Create Prometheus Alert Rule.

4. Na página Create Prometheus Alert Rule, configure os seguintes parâmetros de alerta e clique em Save.

   Parâmetro	Descrição	Exemplo
   Alert Name	O nome do alerta.	prod-cluster-container-cpu-alert
   Check Type	Selecione Static threshold.	Static threshold
   Prometheus Instance	Selecione a instância do Prometheus para a qual você deseja criar o alerta.	Production Cluster
   Alert Group	Selecione um grupo de alertas. Diferentes tipos de Prometheus aceitam diferentes grupos de alertas. As opções de grupos de alertas disponíveis mudam com base no tipo de instância do Prometheus selecionado.	Kubernetes Workloads
   Alert Metric	Selecione a métrica para a qual deseja configurar o alerta. Cada grupo de alertas corresponde a diferentes métricas.	Container CPU utilization
   Alert Condition	Defina as condições que acionam um evento de alerta com base no conteúdo predefinido da métrica de alerta.	A condição de alerta é atendida quando a utilização da CPU do contêiner é greater than 80%.
   Filter Condition	Defina o escopo da regra de alerta com base na métrica de alerta. Um evento de alerta é acionado quando qualquer recurso que atenda às condições de filtro satisfaz a regra de alerta. As seguintes condições de filtro estão disponíveis: Traverse: A regra de alerta se aplica a todos os recursos na instância atual do Prometheus. Traverse é a condição de filtro padrão. Equal To: Após selecionar esta condição, insira um nome de recurso específico. A regra de alerta se aplica apenas a esse recurso. Não é possível inserir vários nomes de recursos. Not Equal To: Após selecionar esta condição, insira um nome de recurso específico. A regra de alerta se aplica a todos os recursos, exceto o especificado. Não é possível inserir vários nomes de recursos. Match Regular Expression: Após selecionar esta condição, insira uma expressão regular para corresponder aos nomes dos recursos conforme necessário. A regra de alerta se aplica a todos os recursos que correspondem à expressão regular. Do Not Match Regular Expression: Após selecionar esta condição, insira uma expressão regular para corresponder aos nomes dos recursos conforme necessário. A regra de alerta filtra todos os recursos que correspondem à expressão regular. Nota Após definir as condições de filtro, a área Data Preview é exibida. A condição de filtro não pode exceder 300 caracteres.	Traverse
   Data Preview	A área Data Preview exibe a instrução da Prometheus Query Language (PromQL) que corresponde à condição de alerta. Ela também mostra os valores da métrica de monitoramento como uma curva de série temporal. Por padrão, apenas o valor em tempo real de um recurso é exibido. Você pode selecionar um recurso de destino e um intervalo de tempo na caixa de filtro desta área para visualizar valores de diferentes recursos e intervalos de tempo. Nota O limiar de alerta aparece como uma linha reta vermelha na curva de série temporal. A parte da curva que atinge o limiar de alerta é exibida em vermelho escuro, e a parte que não atinge é exibida em azul. Passe o mouse sobre a curva de série temporal para visualizar os detalhes do recurso em um ponto específico no tempo. Selecione um intervalo de tempo na curva de série temporal para visualizar a curva desse período.	None
   Duration	Se uma condição de alerta for atendida, um evento de alerta será acionado imediatamente: um evento de alerta é acionado se qualquer ponto de dados atingir o limiar. Um evento de alerta é acionado somente após uma condição de alerta persistir por N minutos: um evento de alerta é acionado apenas se o tempo em que o limiar é atingido for maior ou igual a N minutos.	1
   Alert Level	Personalize o nível de alerta. O nível de alerta padrão é Default. A gravidade aumenta de Default, P4, P3, P2 até P1.	Default
   Alert Content	As informações de alerta que os usuários recebem. Você pode usar a sintaxe de modelo do Go para personalizar variáveis de parâmetros de alerta no conteúdo do alerta.	Namespace: {{$labels.namespace}} / Pod: {{$labels.pod_name}} / Container: {{$labels.container}} CPU utilization {{$labels.metrics_params_opt_label_value}} {{$labels.metrics_params_value}}%, Current value: {{ printf "%.2f" $value }}%
   Alert Notification	Simple Mode: Você pode definir o Notification Receiver, Notification Period e Whether to Resend Notifications. Standard Mode: Não especificar uma política de notificação: Se você selecionar esta opção, após criar a regra de alerta, poderá criar uma nova política de notificação na página Notification Policy e especificar regras e condições de correspondência, como o nome da regra de alerta, para corresponder à regra de alerta. Quando a regra de alerta é acionada e gera um evento de alerta, as informações do alerta são enviadas para os contatos ou grupos de contatos especificados na política de notificação. Para mais informações, consulte Políticas de notificação. Especificar uma política de notificação: Se você selecionar esta opção, o ARMS adiciona automaticamente uma regra de correspondência à política de notificação correspondente. O conteúdo da regra de correspondência é o ID da regra de alerta, que é apresentado como o nome da regra de alerta. Isso garante que os eventos de alerta gerados pela regra de alerta atual sejam correspondidos pela política de notificação selecionada. Importante Especificar rapidamente uma política de notificação garante apenas que os eventos de alerta da regra de alerta atual sejam correspondidos pela política de notificação selecionada e que os alertas correspondentes sejam gerados. No entanto, os eventos da regra de alerta atual também podem ser correspondidos por outras políticas de notificação configuradas com correspondência difusa, o que também gera alertas. A relação entre eventos de alerta e políticas de notificação é um mapeamento de muitos para muitos.	Do not specify a notification rule
   Advanced Settings
   Alert Check Interval	O intervalo no qual o sistema verifica a regra de alerta para determinar se os dados atendem às condições de alerta. O padrão é 1 minuto, e o mínimo é 1 minuto.	1
   Check after data is complete	Yes No	Yes
   Tags	Defina tags para o alerta. As tags podem ser usadas como opções para regras de correspondência de políticas de notificação.	None
   Annotations	Defina anotações para o alerta.	None

Crie uma regra de alerta do Prometheus usando PromQL personalizado

Para monitorar métricas diferentes das métricas predefinidas pelo sistema fornecidas pelo tipo de verificação de limiar estático, use o tipo de verificação de PromQL personalizado para criar uma regra de alerta.

Na página Create Prometheus Alert Rule, configure os seguintes parâmetros de alerta e clique em Save.

Taints:test-key=test-value:NoSchedule

Como visualizo a versão do add-on ack-arms-prometheus?

1. Faça login no ACK console. No painel de navegação à esquerda, clique em Clusters.

2. Na página Clusters, clique no nome do seu cluster. No painel de navegação à esquerda, clique em Components and Add-ons .

3. Na página Add-ons, clique na aba Logs and Monitoring e localize o add-on ack-arms-prometheus.

   A versão atual aparece abaixo do add-on. Se uma nova versão estiver disponível, clique em Upgrade à direita da versão para atualizar o add-on.

   Nota

   A opção Upgrade aparece apenas quando a versão do add-on instalado não é a mais recente.

ACK Edge cluster: Como os dados de monitoramento são obtidos?

Na computação de borda, os nós de borda estão localizados em data centers on-premises relativamente isolados. A Virtual Private Cloud (VPC) do lado da cloud e o lado da borda estão em planos de rede diferentes. O Prometheus Agent implantado na cloud não pode acessar diretamente o Node Exporter e o GPU Exporter no lado da borda por meio de endpoints para obter as métricas de monitoramento correspondentes. A partir da versão 1.1.4 do ack-arms-prometheus, o Visão geral do componente de comunicação O&M cloud-edge Tunnel integrado ao ACK Edge cluster permite que o ack-arms-prometheus estabeleça automaticamente um caminho de coleta de dados de monitoramento entre a cloud e a borda.

Por que a implantação do monitoramento de GPU falha?

Se um nó de GPU tiver taints, a implantação do monitoramento de GPU poderá falhar. Use as etapas a seguir para visualizar os taints no nó de GPU.

1. Execute o seguinte comando para visualizar os taints no nó de GPU de destino.

   Se o nó de GPU tiver taints personalizados, você poderá encontrar as entradas relacionadas aos taints. Este exemplo usa um taint com key definido como test-key, value definido como test-value e effect definido como NoSchedule:

   kubectl taint node cn-beijing.47.100.***.*** test-key=test-value:NoSchedule-

   Saída esperada:

   # 1. Run the following command to edit ack-prometheus-gpu-exporter.
   kubectl edit daemonset -n arms-prom ack-prometheus-gpu-exporter
   
   # 2. Add the following fields to the YAML file to declare a toleration for the taint.
   # Other fields are omitted.
   #tolerations field is added above the containers field, at the same level as the containers field.
   tolerations:
   - key: "test-key"
     operator: "Equal"
     value: "test-value"
     effect: "NoSchedule"
   containers:
   # Other fields are omitted.

2. Use um dos dois métodos a seguir para lidar com os taints no nó de GPU.

   • Execute o seguinte comando para remover o taint do nó de GPU.

     kubectl delete namespace arms-prom

   • Declare uma tolerância para o taint no nó de GPU para permitir que os pods sejam agendados para o nó com taint.

     kubectl delete ClusterRole arms-kube-state-metrics
     kubectl delete ClusterRole arms-node-exporter
     kubectl delete ClusterRole arms-prom-ack-arms-prometheus-role
     kubectl delete ClusterRole arms-prometheus-oper3
     kubectl delete ClusterRole arms-prometheus-ack-arms-prometheus-role
     kubectl delete ClusterRole arms-pilot-prom-k8s
     kubectl delete ClusterRole gpu-prometheus-exporter
     kubectl delete ClusterRole o11y:addon-controller:role
     kubectl delete ClusterRole arms-aliyunserviceroleforarms-clusterrole

A exclusão manual de recursos pode causar falha na reinstalação do Managed Service for Prometheus. Como excluo completamente o ARMS-Prometheus manualmente?

Excluir apenas o namespace do Managed Service for Prometheus deixa configurações residuais após a exclusão dos recursos e afeta a reinstalação. Execute as seguintes operações para excluir completamente a configuração residual do ARMS-Prometheus manualmente.

• Exclua o namespace arms-prom.

  kubectl delete ClusterRoleBinding arms-node-exporter
  kubectl delete ClusterRoleBinding arms-prom-ack-arms-prometheus-role-binding
  kubectl delete ClusterRoleBinding arms-prometheus-oper-bind2
  kubectl delete ClusterRoleBinding arms-kube-state-metrics
  kubectl delete ClusterRoleBinding arms-pilot-prom-k8s
  kubectl delete ClusterRoleBinding arms-prometheus-ack-arms-prometheus-role-binding
  kubectl delete ClusterRoleBinding gpu-prometheus-exporter
  kubectl delete ClusterRoleBinding o11y:addon-controller:rolebinding
  kubectl delete ClusterRoleBinding arms-kube-state-metrics-agent
  kubectl delete ClusterRoleBinding arms-node-exporter-agent
  kubectl delete ClusterRoleBinding arms-aliyunserviceroleforarms-clusterrolebinding

• Exclua os ClusterRoles.

  kubectl delete Role arms-pilot-prom-spec-ns-k8s
  kubectl delete Role arms-pilot-prom-spec-ns-k8s -n kube-system
  kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s
  kubectl delete RoleBinding arms-pilot-prom-spec-ns-k8s -n kube-system

• Exclua os ClusterRoleBindings.

• Exclua os Roles e RoleBindings.

Após excluir manualmente os recursos do ARMS-Prometheus, no ACK console, acesse Operations > Add-ons e reinstale o add-on ack-arms-prometheus.