微服务引擎MSE：基于MSE XXL-JOB实现优雅下线

问题一：下线节点摘流延迟

执行器在下线时未能及时完成调度和执行机器列表更新，会出现定时调度至下线节点导致调度失败。

总结说明：由于上述注册执行器逻辑和触发任务执行获取列表数据不实时同步，是通过异步定时更新，因此会产生可用在线机器列表刷新延迟。

问题二：任务执行强制中断

目前XXL-Job Executor在退出时会直接触发任务运行线程中断按失败处理，且队列中等待执行的任务执行请求会全部丢弃按失败处理。

总结说明：在上述下线处理过程中，removeJobThread底层会直接中断运行中的任务线程，且线程队列中等待执行的任务会直接忽略执行按失败处理。

步骤一：应用节点摘流

• 首先XxlJobExecutor#destroy方法中，存在stopEmbedServer()方法会停止心跳注册并向调度中心发送registryRemove请求，以移除当前执行节点。

• 调度服务端在接收请求后会将数据库xxl_job_registry表中当前节点移除，但参考原理剖析说明实际使用的是xxl_job_group表address_list（并未被同步更新），此时并未真正完成摘流动作。

• 需对调度服务端进行相应改造来实现摘流，改造点选择（选其一）：

  • 对JobRegistryHelper.registryRemove方法中添加后续处理，直接刷新xxl_job_group表address_list，也可在freshGroupRegistryInfo实现刷新逻辑。

  • 改造XxlJobTrigger#trigger()方法，调整group中addressList的读取方式，对于自动注册直接从xxl_job_registry表读取地址列表。

完成上述改造后，即可完成第一步摘流动作。

步骤二：等待执行中业务完成

• 改造XxlJobExecutor#destroy方法中的下一步，需要等待所有待执行任务处理完成，参考如下代码：

  public void destroy(){
  
      // destroy executor-server
      stopEmbedServer();
  
      // destroy jobThreadRepository
      if (jobThreadRepository.size() > 0) {
          List keyList = new ArrayList(jobThreadRepository.keySet());
          for (int i=0; i < keyList.size(); i++) {
              JobThread jobThread = jobThreadRepository.get(keyList.get(i));
              // 等待所有任务队列执行完成
              while (jobThread != null && jobThread.isRunningOrHasQueue()) {
                  try {
                      TimeUnit.SECONDS.sleep(1L);
                  } catch (InterruptedException e) {
                      e.printStackTrace();
                  }
              }
          }
      }
      jobHandlerRepository.clear();
  
      // destroy JobLogFileCleanThread
      JobLogFileCleanThread.getInstance().toStop();
  
      // destroy TriggerCallbackThread
      TriggerCallbackThread.getInstance().toStop();
  
  }

• 等待答应结果队列反馈所有执行结果，目前开源实现的TriggerCallbackThread.getInstance().toStop()方法在中断应答结果线程后会最终同步一次处理结果，因此可不做额外处理。

至此，等待运行中任务处理即可完成。另外，您可自行发挥对不同任务类型做个性化的下线处理。

步骤三：应用进程停机

• 应用停止建议在发布部署脚本中通过kill -15来触发上述JVM的Hook回调，可根据业务需要再控制超时强制停止。

• 可以通过SpringBoot Actuator功能将任务调度优雅下线集成，再通过/actuator/shutdown接口下线应用。