Container Service for Kubernetes:ノードの自動修復の有効化

シリアル修復の動作

ACK は、連鎖的な中断を防ぐための安全メカニズムとして、ノードをシリアルに (1 つずつ) 修復します。

• クラスターに複数のノードプールが含まれている場合、ACK は一度に 1 つのノードプールずつ修復します。

• ノードプールに複数の異常なノードが含まれている場合、ACK はそれらを 1 つずつ修復します。あるノードの修復に失敗した場合、ACK はそのノードプール内の他のすべての障害ノードに対する自動修復プロセスを停止します。

前提条件

• この機能では、ノードの例外を検出するために ack-node-problem-detector アドオンが、ノードプールイベントのアラートを受信するためにイベントセンターが必要です。詳細については、「イベント監視」をご参照ください。

• この機能は ACK マネージドクラスターでのみ利用可能で、マネージドノードプールと Lingjun ノードプールでサポートされています。

段階的リリースの機能

以下の機能は段階的にリリースされており、展開スケジュールが異なる場合があります。これらの機能を使用するには、チケットを送信してアクセスをリクエストしてください。

• ノードインスタンス例外の自動修復：これは許可リスト制です。

• Lingjun ノードプールのノード自動修復：これは許可リスト制です。

• アラートルールセット：ノードの自動修復を有効にした後、アラート管理を有効にし、[クラスターノード自動修復アラートルールセット] と [クラスター GPU 監視アラートルールセット] をアクティブ化することを推奨します。これにより、例外が発生した際にアラートを確実に受信できます。対応するルールセットは段階的にリリースされており、まだ表示されない場合があります。> ルールセットを有効にする方法については、「Container Service のアラート管理」をご参照ください。

• NPD バージョン：ノードインスタンス例外の自動修復には、NPD バージョン 1.2.26 以降が必要です。バージョン 1.2.26 は現在、段階的にリリースされています。

詳細な修復プロセス

ACK は、ノードの condition などの情報に基づいて修復タスクを開始します。kubectl describe node コマンドを実行して、condition フィールドでノードのステータスを確認できます。

ACK がシステムまたは Kubernetes アドオンの例外を検出し、それが指定されたしきい値を超えて持続する場合、自動的に修復プロセスを開始します：

1. ACK は、障害のあるシステムおよび Kubernetes アドオンの修復を試みます。たとえば、kubelet やコンテナーランタイムを再起動する場合があります。

2. [システム/Kubernetes コンポーネントの障害時にノードを再起動] が許可されており、初期修復操作が失敗した場合、ACK は以下の手順を実行します：

   1. ACK は、障害のあるノードを自動的にスケジュール不可としてマークします。

   2. ACK は、再起動が必要な障害ノードをドレインします。ドレイン操作は 30 分後にタイムアウトします。ノードをドレインする際、ACK は設定された Pod Disruption Budget (PDB) を尊重しながら Pod を退避させます。高いサービス可用性を確保するために、ワークロードを異なるノードにまたがって複数のレプリカでデプロイすることを推奨します。また、重要なサービスには PDB を設定して、同時中断を制御してください。ドレインが失敗した場合でも、ACK は後続のステップに進みます。

   3. ACK はノードを再起動します。

   4. ノードのステータスが正常に戻ると、ACK はノードを再度スケジュール可能にします。プロセス開始前にノードがすでにスケジュール不可だった場合、ACK は修復後に自動的にスケジュール可能にはしません。

自動修復をトリガーする条件

詳細な修復プロセス

ACK は、ノードインスタンスの例外が発生してから 5 分後に、以下の修復プロセスを自動的にトリガーします。

1. 例外を検出した後、ACK は障害のあるノードに以下の Taint を追加します：

   • キー： alibabacloud.com/node-needrepair

   • 値： Unschedulable

   • 効果： NoSchedule

2. [権限を取得した後にのみノードを修復] が有効な場合、ACK は続行する前にユーザーの承認を待ちます。> 異常なノード上のワークロードを先に処理する必要がある場合は、[権限を取得した後にのみノードを修復] を有効にすることを推奨します。ACK はユーザーが承認した後にのみ修復を開始します。

   1. ACK は、障害のあるノードに自動的にラベル alibabacloud.com/node-needrepair=Inquiring を追加します。

   2. まず、ノード上で実行されている Pod を処理したり、データをバックアップしたりできます。完了したら、alibabacloud.com/node-needrepair ラベルを削除するか、その値を Approved (alibabacloud.com/node-needrepair=Approved) に設定して修復を承認します。

   3. ユーザーの承認を受けると、ACK は次のステップに進みます。

3. [権限を取得した後にのみノードを修復] が有効でない場合、ACK は例外を検出した後、自動的に次のステップに進みます。

4. ACK はノードをドレインします。ドレイン操作は 30 分後にタイムアウトします。ノードをドレインする際、ACK は設定された PDB を尊重しながら Pod を退避させます。高いサービス可用性を確保するために、ワークロードを異なるノードにまたがって複数のレプリカでデプロイすることを推奨します。また、重要なサービスには PDB を設定して、同時中断を制御してください。ドレインが失敗した場合でも、ACK は後続のステップに進みます。

5. ACK は、ノードの再起動やハードウェア修復などの修復アクションを実行します。

6. ACK は、ノードのステータスが正常に戻ったかどうかを確認します。

   • 障害が解決された場合、ACK は Taint を削除し、ノードは正常な状態に戻ります。

   • 障害が持続するか、修復プロセスが失敗した場合、Taint は削除されません。ACK は定期的にイベント通知を送信します。イベントを確認してトラブルシューティングを行うか、してください。

7. (専用 GPU の場合) GPU カードのステータスが正常に戻ると、ACK はその隔離を解除します。

自動修復をトリガーする条件 (GPU 関連)

以下の表は、修復アクションごとにグループ化された、自動修復をトリガーする GPU 関連のノードの Condition を示しています。

ノードの自動修復が失敗した場合はどうすればよいですか？

一部の障害は複雑なため、自動修復ですべての障害を解決できるわけではありません。自動修復タスクが失敗した場合、またはタスク完了後も障害が解決しない場合、ACK はノードのステータスを [修復に失敗しました] に設定します。ノードが修復されない場合、ACK は、最初の障害が解決されるまで、そのノードプール内の他の障害が発生したノードに対する自動修復プロセスを停止します。チケットを起票して、テクニカルサポートにお問い合わせください。