Elastic Compute Service：記憶體溢出（OOM）演練

演練準備

請確保您的ECS執行個體已安裝雲助手Agent，並且雲助手狀態為正常。具體操作，請參見查看雲助手狀態及異常狀態處理。

故障注入

1. 登入ECS執行個體。

   具體操作，請參見使用Workbench登入Linux執行個體。

2. 使用具有sudo存取權限的使用者，運行雲助手外掛程式ACS-ECS-HighMemory。

   sudo acs-plugin-manager --exec --plugin ACS-ECS-HighMemory --params inject,[score=paramA],[percent=paramB],[rate=paramC],[duration=paramD]

   命令格式中的方括弧[]僅用於表示參數為可選項，實際使用時請去掉方括弧。

   例如，要設定記憶體佔用率為90%、期間為120秒。sudo acs-plugin-manager --exec --plugin ACS-ECS-HighMemory --params inject,percent=90,duration=120

   參數說明：

   • score（可選）：用於設定注入進程的oom_score_adj取值範圍為 -1000到1000，通過設定該參數選擇在OOM發生時終止注入進程或業務進程。若需終止業務進程，請為注入進程設定一個負值，如-100，如業務進程未被終止，請調小score值。

   • percent（可選）：系統總記憶體目標佔用大小，不填該參數時預設觸發OOM。

   • rate（可選）：記憶體佔用速率，單位為MB/s，預設為0表示無限制。

   • duration（可選）：達到目標佔用記憶體後的期間，單位為秒，逾時自動釋放記憶體，預設為300（秒）。

3. 檢查故障注入是否成功。

   • 未發生OOM情境：

     • 執行top命令，系統已使用記憶體達到目標使用率，說明故障注入成功。

     • 在控制台執行個體監控或CloudMonitor中，若記憶體使用量率達到目標使用率，說明故障注入成功。

       

   • OOM情境：在系統日誌中搜尋與Out of memory相關的日誌。

     dmesg -T | grep "Out of memory" 

     如下所示，表示ECS執行個體中已發生OOM，說明故障注入成功。並判斷終止的進程是否為目標進程，如未殺死目標進程可調整score參數。

     

故障恢複

如指定目標記憶體使用量率，您可以使用以下方式，移除注入的故障。

• 方法一（推薦）：在ECS執行個體中執行故障恢複命令，查看記憶體使用量率是否下降到故障注入前的水平。

  sudo acs-plugin-manager --exec --plugin ACS-ECS-HighMemory --params recover

• 方法二：等待逾時自動釋放故障，系統預設在達到設定的記憶體使用量率後，持續300秒後自動釋放記憶體。

未指定目標記憶體使用量率，會觸發OOM情境，一般系統會自動回復。建議對ECS執行重啟，防止非預期的進程被意外終止。