Microservices Engine:Implement graceful shutdown based on MSE XXL-JOB

問題 1: オフラインノードにジョブがスケジュールされる

Executor がオフラインになった後、システムはジョブスケジューリングを完了せず、Executor リストをタイムリーに更新しません。この場合、ジョブがオフラインノードにスケジュールされ、スケジューリングが失敗する可能性があります。

概要: Executor の登録中に取得された Executor リストは、ジョブの実行のためにリアルタイムで取得された Executor リストと同期されていません。その結果、オンライン Executor リストはタイムリーに更新されません。

問題 2: ジョブが強制的に停止される

XXL-JOB Executor が無効になると、ジョブの JobThread スレッドが停止し、ジョブは失敗としてマークされます。さらに、キュー内のすべてのジョブのリクエストが破棄され、ジョブは失敗としてマークされます。

概要: 前述のシャットダウンプロセスでは、removeJobThread スレッドの下位レイヤーが JobThread スレッドを直接停止し、スレッドキュー内のジョブリクエストを無視し、ジョブを失敗としてマークします。

ステップ 1: アプリケーションノードからトラフィックを削除する

• XxlJobExecutor#destroy の stopEmbedServer() メソッドは、ハートビート登録メカニズムを停止し、registryRemove リクエストを XXL-JOB Admin に送信して、現在の Executor を削除します。

• XXL-JOB Admin はリクエストを受信した後、データベースの xxl_job_registry テーブルから現在の Executor を削除します。ただし、前述の分析に基づいて、xxl_job_group テーブルの address_list フィールドは同期されず、リアルタイムで更新されません。したがって、トラフィックは削除されません。

• トラフィックを削除するには、XXL-JOB Admin サーバーによって提供される機能を変更する必要があります。次のいずれかの方法を使用して、機能を変更できます。

  • 後続の処理ロジックを JobRegistryHelper.registryRemove メソッドに追加して、xxl_job_group テーブルの address_list フィールドを更新します。freshGroupRegistryInfo メソッドで更新ロジックを実装することもできます。

  • XxlJobTrigger#trigger() メソッドを変更して、xxl_job_group テーブルの address_list フィールドを読み取る方法を調整します。これにより、XXL-JOB Admin サーバーは、自動登録プロセス中に xxl_job_registry テーブルから address_list を直接読み取ることができます。

前述の操作を実行した後、トラフィックが削除されます。

ステップ 2: キュー内のジョブが完了するまで待機する

• XxlJobExecutor#destroy メソッドの後続の処理ロジックを変更して、キュー内のすべてのジョブが完了するまで待機します。次のサンプルコードは例を示しています。

  public void destroy(){
  
      // destroy executor-server
      stopEmbedServer();
  
      // destroy jobThreadRepository
      if (jobThreadRepository.size() > 0) {
          List keyList = new ArrayList(jobThreadRepository.keySet());
          for (int i=0; i < keyList.size(); i++) {
              JobThread jobThread = jobThreadRepository.get(keyList.get(i));
              // キュー内のすべてのジョブが完了するまで待機します。
              while (jobThread != null && jobThread.isRunningOrHasQueue()) {
                  try {
                      TimeUnit.SECONDS.sleep(1L);
                  } catch (InterruptedException e) {
                      e.printStackTrace();
                  }
              }
          }
      }
      jobHandlerRepository.clear();
  
      // destroy JobLogFileCleanThread
      JobLogFileCleanThread.getInstance().toStop();
  
      // destroy TriggerCallbackThread
      TriggerCallbackThread.getInstance().toStop();
  
  }

• 実行結果のキューがすべての実行結果をフィードバックするまで待機します。オープンソースの XXL-JOB では、TriggerCallbackThread.getInstance().toStop() メソッドは、TriggerCallbackThread スレッドが停止した後、最終的に実行結果を一度に同期します。したがって、追加の処理は必要ありません。

このステップを実行した後、実行中のジョブが完了するまで待機できます。ジョブタイプに基づいて、カスタムシャットダウン操作を実行することもできます。

ステップ 3: アプリケーションプロセスを停止する

• アプリケーションプロセスを停止するには、kill -15 をアプリケーションデプロイメントスクリプトに追加して、JVM シャットダウンフックをトリガーすることをお勧めします。ビジネス要件に基づいて、タイムアウト時にアプリケーションプロセスを強制的に停止することもできます。

• Spring Boot Actuator 機能を使用してグレースフルシャットダウン機能を XXL-JOB に統合し、/actuator/shutdown インターフェースを使用してアプリケーションをシャットダウンできます。