O que fazer quando uma instância do ECS fica inativa e a mensagem de erro

Resolva a falha de uma instância do ECS causada pelo kernel panic Out of memory and no killable processes ao verificar vazamentos de memória e ajustar as configurações de OOM.

Sintoma

Uma instância falha durante a execução com um call stack semelhante ao seguinte:

[28663.625353] [ pid ]   uid  tgid total_vm      rss nr_ptes nr_pmds swapents oom_score_adj name
[28663.625363] [ 1799]     0  1799    26512      245      56       3        0         -1000 sshd
[28663.625367] [29219]     0 29219    10832      126      26       3        0         -1000 systemd-udevd
[28663.625375] Kernel panic - not syncing: Out of memory and no killable processes...
[28663.634374] CPU: 1 PID: 3578 Comm: kworker/u176:4 Tainted: G           OE   3.10.0-1062.9.1.el7.x86_64 #1
[28663.676873] Call Trace:
[28663.679312]  [<ffffffff8139f342>] dump_stack+0x63/0x81
[28663.684421]  [<ffffffff811b2245>] panic+0xf8/0x244
[28663.689184]  [<ffffffff811b98db>] out_of_memory+0x2eb/0x550
[28663.694726]  [<ffffffff811be254>] __alloc_pages_may_oom+0x114/0x1c0
[28663.700959]  [<ffffffff811bedb3>] __alloc_pages_slowpath+0x7d3/0xa40
[28663.707279]  [<ffffffff811bf229>] __alloc_pages_nodemask+0x209/0x260
[28663.713599]  [<ffffffff81216535>] alloc_pages_current+0x95/0x140
[28663.719573]  [<ffffffff811ba5ee>] __get_free_pages+0xe/0x40
[28663.725113]  [<ffffffff81075dae>] pgd_alloc+0x1e/0x160
[28663.730225]  [<ffffffff810875e4>] mm_init+0x184/0x240
[28663.735249]  [<ffffffff81088102>] mm_alloc+0x52/0x60
[28663.740186]  [<ffffffff81257640>] do_execveat_common.isra.37+0x250/0x780
[28663.759839]  [<ffffffff81257b9c>] do_execve+0x2c/0x30
[28663.764864]  [<ffffffff810a231b>] call_usermodehelper_exec_async+0xfb/0x150
[28663.777246]  [<ffffffff81741dd9>] ret_from_fork+0x39/0x50

Causa

O kernel não consegue alocar memória e não pode encerrar (kill) nenhum processo para liberá-la. A instância falha. Possíveis causas:

Um vazamento de memória do kernel esgota a memória disponível.
Processos com oom_score_adj definido como -1000 consomem memória em excesso e não podem ser encerrados.

null
oom_score_adj é um número inteiro que controla a prioridade de encerramento pelo OOM. Valores menores reduzem a chance de encerramento do processo; valores maiores aumentam essa chance.

Solução

null

Antes de prosseguir, crie snapshots para fazer backup dos dados da instância e evitar a perda de dados. Consulte Criar snapshot manualmente.

Verifique se há um vazamento de memória do kernel.

Consulte O que fazer quando uma instância tem alta porcentagem de memória slab_unreclaimable?
Verifique as configurações de oom_score_adj.
1. Obtenha o PID do processo de destino com ps, top ou pgrep:
```
ps aux | grep <Process name>
```
  Substitua <Process name> pelo nome real do processo.
2. Verifique o valor de oom_score_adj:
```
cat /proc/<PID>/oom_score_adj
```
  Substitua <PID> pelo PID real.
  
  Avalie se os valores de oom_score_adj são adequados para o seu ambiente. Um processo com oom_score_adj definido como -1000 fica imune ao encerramento pelo OOM, o que pode esgotar a memória disponível.