Elastic Compute Service:OOM ドリル

前提条件

• クラウドアシスタントクライアント が、ドリルを実行する ECS インスタンスにインストールされています。

• ECS インスタンスで [クラウドアシスタント] のステータスが [正常] です。詳細については、「クラウドアシスタントのステータスを表示し、異常を処理する」をご参照ください。

障害を注入する

1. sudo 権限を持つユーザーとして ECS インスタンスに接続します。

   詳細については、「Workbench を使用して SSH 経由で Linux インスタンスに接続する」をご参照ください。

2. ACS-ECS-HighMemory クラウドアシスタントプラグインを実行します。

   sudo acs-plugin-manager --exec --plugin ACS-ECS-HighMemory --params inject,[score=paramA],[percent=paramB],[rate=paramC],[duration=paramD]

   オプションの障害注入パラメーターは、角かっこ ([]) で囲みます。

   • score: インジェクションプロセスの oom_score_adj パラメーターを -1000 ～ 1000 の範囲の値に設定します。このパラメーターは、OOM が発生したときにインジェクションプロセスまたはビジネスプロセスを終了するかどうかを決定します。ビジネスプロセスを終了するには、-100 などの負の値をインジェクションプロセスに設定します。ビジネスプロセスが終了しない場合は、スコア値を小さくします。

   • percent: ターゲットのメモリ使用量。このパラメーターを指定しない場合、OOM は常にトリガーされます。

   • rate: メモリ消費率。単位: MB/秒。デフォルト値: 0 (制限なし)。

   • duration: ターゲットのメモリ使用量に達するまでの時間。単位: 秒。期間が終了すると、メモリは自動的に解放されます。デフォルト値: 300。

3. 障害が注入されたかどうかを確認します。

   • OOM が発生しないシナリオ:

     • top コマンドを実行します。システムのメモリ使用量がターゲットの使用量に達すると、障害が注入されます。

     • [監視] タブで ECS コンソールのインスタンス詳細ページまたは CloudMonitor コンソールで、メモリ使用量がターゲットの使用量に達すると、障害が注入されます。

       

   • OOM が発生するシナリオ: システムログで Out of memory に関連するログを検索します。

     dmesg -T | grep "Out of memory" 

     次のエラーメッセージは、ECS インスタンスで OOM が発生したことを示しており、障害が注入されたことを示しています。終了したプロセスがターゲットプロセスであるかどうかを確認します。ターゲットプロセスが終了しない場合は、score パラメーターを調整します。

     

障害から回復する

ターゲットのメモリ使用量を指定した場合は、次の方法を使用して注入された障害を削除します。

• 方法 1 (推奨): ECS インスタンスで次の障害回復コマンドを実行し、メモリ使用量が障害注入前のレベルに低下するかどうかを確認します。

  sudo acs-plugin-manager --exec --plugin ACS-ECS-HighMemory --params recover

• 方法 2: 障害がタイムアウトした後、メモリが自動的に解放されるのを待ちます。デフォルトでは、ターゲットのメモリ使用量に達してから 300 秒後にシステムは自動的にメモリを解放します。

ターゲットのメモリ使用量を指定しなかった場合、OOM は常にトリガーされます。ほとんどの場合、システムは自動的に回復できます。予期しないプロセスが誤って終了しないように、ECS インスタンスを再起動することをお勧めします。