分布式情況下定時任務會出現哪些問題？

分布式集群的情況下，怎么保證定時任務不被重復執行

分布式定時任務解決方案

①使用zookeeper實現分布式鎖 缺點(需要創建臨時節點、和事件通知不易于擴展)

②使用配置文件做一個開關? 缺點發布后，需要重啟

③數據庫唯一約束，缺點效率低

④使用分布式任務調度平臺XXLJOB、Elastric-Job、TBSchedule

XXLJOB介紹

1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鐘上手；

2、動態：支持動態修改任務狀態、暫停/恢復任務，以及終止運行中任務，即時生效；

3、調度中心HA（中心式）：調度采用中心式設計，“調度中心”基于集群Quartz實現，可保證調度中心HA；

4、執行器HA（分布式）：任務分布式執行，任務"執行器"支持集群部署，可保證任務執行HA；

5、任務Failover：執行器集群部署時，任務路由策略選擇"故障轉移"情況下調度失敗時將會平滑切換執行器進行Failover；

6、一致性：“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行；

7、自定義任務參數：支持在線配置調度任務入參，即時生效；

8、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；

9、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；

10、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址群發報警郵件；

11、狀態監控：支持實時監控任務進度；

12、Rolling執行日志：支持在線查看調度結果，并且支持以Rolling方式實時查看執行器輸出的完整的執行日志；

13、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發布，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。

14、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；

15、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；

16、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;

17、任務注冊: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務并觸發執行。同時，也支持手動錄入執行器地址；

18、路由策略：執行器集群部署時提供豐富的路由策略，包括：第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；

19、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分布圖，調度成功分布圖等；

20、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python等類型腳本;

21、阻塞處理策略：調度過于密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄后續調度、覆蓋之前調度；

22、失敗處理策略；調度失敗時的處理策略，策略包括：失敗告警（默認）、失敗重試；

23、分片廣播任務：執行器集群部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發對應集群中所有執行器執行一次任務，同時傳遞分片參數；可根據分片參數開發分片任務；

24、動態分片：分片廣播任務以執行器為維度進行分片，支持動態擴容執行器集群從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。

25、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基于事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。

?

XXLJOBGitHub地址

https://github.com/xuxueli/xxl-job

?

文檔

http://www.xuxueli.com/xxl-job/#/?id=_21-%e5%88%9d%e5%a7%8b%e5%8c%96%e8%b0%83%e5%ba%a6%e6%95%b0%e6%8d%ae%e5%ba%93

傳統定時任務特征： 單點系統（Job不需集群）?

如果定時Job在高并發情況下宕機怎么辦？

定時任務代碼 和 業務執行的 服務器獨立的? 獨立的Jvm

? ? ?如果同一時間點執行多個任務，考慮高并發。同時執行的情況

解決方案： 心跳檢測自動重啟，補償機制（每個任務打一個小標記） 定時任務在執行時候突然報錯，日志紀律，跳過繼續執行。

再使用定時Jbo掃描日志記錄，進程補償信息。

?

?

定時任務 三個war包 分別放在三臺服務器上。定時Job可能會重復執行三次。分布式Job冪等性。

? ? ?1、使用zk實現分布式鎖

? ? ? ? 只有獲取到鎖的 才可以執行Job （效率低）

? ? ?2、配置文件中加啟動定時Job的開關

? ? ? 三個war包代碼相同。 war1 加開關flag=true? ??war2 加開關flag=fasle??war3 加開關flag=true? ?為true的才可以執行

? ? 3、啟動時候使用數據庫唯一標識

? ? ? ? ?啟動時候 表里插入數據 成功的才可以執行?

?

分布式任務調度平臺推薦使用

?XXL_Job? 和 ELastric-Job（依賴zk）

?

?

保證冪等性

1、支持Job集群（前提保證冪等性） Jbo負載均衡輪詢機制

比如：

第一次 8080

第二次 8081

第三次 8082

2、支持Job補償 Job失敗，重試，多次失敗發郵件。

3、支持Job日志記錄

4、動態配置定時規則，傳統定時Jbo觸發規則寫死，采用動態方式。

?

XXL-Job原理：

? ?執行器：定時Job實際執行的服務器地址

? ?任務管理：定時任務規則，路由策略，允許模式等

?

步驟:

①? 部署: xxl-job-admin? 作為注冊中心

②? 創建執行器（具體調度地址） 可以支持集群

③? 配置文件需要填寫xxl-job注冊中心地址

④? 每個具體執行job服務器需要創建一個netty連接端口號

⑤? 需要執行job的任務類，集成IJobHandler抽象類注冊到job容器中

⑥? Execute方法中編寫具體job任務

? ?

搭建XXL-Job Admin平臺：

?job服務器 通過這個框架創建的

平臺里面通過一系列步驟：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

步驟：

1、XXL-Job admin 平臺創建執行器（Job實際執行地址）

2、XXL-Job admin 平臺創建任務，填寫對應的執行器

3、Jbo服務器代碼中，使用JobHandler標識該類為Job執行方法

?

Job服務器啟動時候， 把信息注冊到 XXL-Job admin平臺

如果任何一個任務執行時候，現在xxl-job admin平臺觸發一次，獲取到任務的執行器（地址），直接調用job服務器地址。實現job管理。

?

?

如果有任務需要執行的時候，先再XXL-Job admin執行一次，獲取任務中執行器

?

轉載于:https://www.cnblogs.com/toov5/p/9975833.html

總結

以上是生活随笔為你收集整理的XXL-Job分布式任务调度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。