Microservices Engine：基於MSE XXL-JOB實現優雅下線

問題一：下線節點摘流延遲

執行器在下線時未能及時完成調度和執行機器列表更新，會出現定時調度至下線節點導致調度失敗。

總結說明：由於上述註冊執行器邏輯和觸發任務執行擷取列表資料不即時同步，是通過非同步定時更新，因此會產生可用線上機器列表重新整理延遲。

問題二：任務執行強制中斷

目前XXL-Job Executor在退出時會直接觸發任務運行線程中斷按失敗處理，且隊列中等待執行的任務執行請求會全部丟棄按失敗處理。

總結說明：在上述下線處理過程中，removeJobThread底層會直接中斷運行中的任務線程，且線程隊列中等待執行的任務會直接忽略執行按失敗處理。

步驟一：應用節點摘流

• 首先XxlJobExecutor#destroy方法中，存在stopEmbedServer()方法會停止心跳註冊並向調度中心發送registryRemove請求，以移除當前執行節點。

• 調度服務端在接收請求後會將資料庫xxl_job_registry表中當前節點移除，但參考原理剖析說明實際使用的是xxl_job_group表address_list（並未被同步更新），此時並未真正完成摘流動作。

• 需對調度服務端進行相應改造來實現摘流，改造點選擇（選其一）：

  • 對JobRegistryHelper.registryRemove方法中添加後續處理，直接重新整理xxl_job_group表address_list，也可在freshGroupRegistryInfo實現重新整理邏輯。

  • 改造XxlJobTrigger#trigger()方法，調整group中addressList的讀取方式，對於自動註冊直接從xxl_job_registry表讀取地址清單。

完成上述改造後，即可完成第一步摘流動作。

步驟二：等待執行中業務完成

• 改造XxlJobExecutor#destroy方法中的下一步，需要等待所有待執行任務處理完成，參考如下代碼：

  public void destroy(){
  
      // destroy executor-server
      stopEmbedServer();
  
      // destroy jobThreadRepository
      if (jobThreadRepository.size() > 0) {
          List keyList = new ArrayList(jobThreadRepository.keySet());
          for (int i=0; i < keyList.size(); i++) {
              JobThread jobThread = jobThreadRepository.get(keyList.get(i));
              // 等待所有任務隊列執行完成
              while (jobThread != null && jobThread.isRunningOrHasQueue()) {
                  try {
                      TimeUnit.SECONDS.sleep(1L);
                  } catch (InterruptedException e) {
                      e.printStackTrace();
                  }
              }
          }
      }
      jobHandlerRepository.clear();
  
      // destroy JobLogFileCleanThread
      JobLogFileCleanThread.getInstance().toStop();
  
      // destroy TriggerCallbackThread
      TriggerCallbackThread.getInstance().toStop();
  
  }

• 等待答應結果隊列反饋所有執行結果，目前開源實現的TriggerCallbackThread.getInstance().toStop()方法在中斷應答結果線程後會最終同步一次處理結果，因此可不做額外處理。

至此，等待運行中任務處理即可完成。另外，您可自行發揮對不同任務類型做個人化的下線處理。

步驟三：應用進程停機

• 應用停止建議在發布部署指令碼中通過kill -15來觸發上述JVM的Hook回調，可根據業務需要再控制逾時強制停止。

• 可以通過SpringBoot Actuator功能將任務調度優雅下線整合，再通過/actuator/shutdown介面下線應用。