xxl子任务_XXL-JOB v2.0.2,分布式任务调度平台 | 多项特性优化更新
生活随笔
收集整理的這篇文章主要介紹了
xxl子任务_XXL-JOB v2.0.2,分布式任务调度平台 | 多项特性优化更新
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
v2.0.2 Release Notes
- 1、底層通訊方案優化:升級較新版本xxl-rpc,由"JETTY"方案調整為"NETTY_HTTP"方案,執行器內嵌netty-http-server提供服務,調度中心復用容器端口提供服務;
- 2、任務告警邏輯調整,改為通過掃描失敗日志方式觸發。一方面精確掃描失敗任務,降低掃描范圍;另一方面取消內存隊列,降低線程內存消耗;
- 3、Quartz觸發線程池廢棄并替換為 "XxlJobThreadPool",降低線程切換、內存占用帶來的消耗,提高調度性能;
- 4、調度線程池隔離,拆分為"Fast"和"Slow"兩個線程池,1分鐘窗口期內任務耗時達500ms超過10次,該窗口期內判定為慢任務,慢任務自動降級進入"Slow"線程池,避免耗盡調度線程,提高系統穩定性;
- 5、執行器熱部署時JobHandler重新初始化,修復由此導致的 "jobhandler naming conflicts." 問題;
- 6、新增Class的加載緩存,解決頻繁加載Class會使jvm的方法區空間不足導致OOM的問題;
- 7、任務支持更換綁定執行器,方便任務分組轉移和管理;
- 8、調度中心告警郵件發送組件改為 “spring-boot-starter-mail”;
- 9、記住密碼功能優化,選中時永久記住;非選中時關閉瀏覽器即登出;
- 10、項目依賴升級至較新穩定版本,如quartz、spring、jackson、groovy、xxl-rpc等等;
- 11、精簡項目,取消第三方依賴,如 commons-collections4、commons-lang3 ;
- 12、執行器回調日志落盤方案復用RPC序列化方案,并移除Jackson依賴;
- 13、底層Log調優,應用正常終止取消異常棧信息打印;
- 14、交互優化,盡量避免新開頁面窗口;僅WebIDE支持新開頁,并提供窗口快速關閉按鈕;任務啟、停、刪除、觸發等輕操作提示改為toast方式,
- 15、任務暫停、刪除優化,避免quartz delete不完整導致任務臟數據;
- 16、任務回調、心跳注冊成功日志優化,非核心常規日志調整為debug級別,降低冗余日志輸出;
- 17、調整首頁報表默認區間為本周,避免日志量太大查詢緩慢;
- 18、LRU路由更新不及時問題修復;
- 19、任務失敗告警郵件發送邏輯優化;
- 20、調度日志排序邏輯調整為按照調度時間倒序,兼容TIDB等主鍵不連續日志存儲組件;
- 21、執行器優雅停機優化;
- 22、連接池配置優化,增強連接有效性驗證;
- 23、JobHandler#msg長度限制,修復異常情況下日志超長導致內存溢出的問題;
- 24、升級xxl-rpc至較新版本,修復springboot 2.x版本兼容性問題;
簡介
XXL-JOB是一個輕量級分布式任務調度平臺,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。現已開放源代碼并接入多家公司線上產品線,開箱即用。
特性
- 1、簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鐘上手;
- 2、動態:支持動態修改任務狀態、啟動/停止任務,以及終止運行中任務,即時生效;
- 3、調度中心HA(中心式):調度采用中心式設計,“調度中心”基于集群Quartz實現并支持集群部署,可保證調度中心HA;
- 4、執行器HA(分布式):任務分布式執行,任務"執行器"支持集群部署,可保證任務執行HA;
- 5、注冊中心: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務并觸發執行。同時,也支持手動錄入執行器地址;
- 6、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務;
- 7、路由策略:執行器集群部署時提供豐富的路由策略,包括:第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;
- 8、故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器集群中某一臺機器故障,將會自動Failover切換到一臺正常的執行器發送調度請求。
- 9、阻塞處理策略:調度過于密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄后續調度、覆蓋之前調度;
- 10、任務超時控制:支持自定義任務超時時間,任務運行超時將會主動中斷任務;
- 11、任務失敗重試:支持自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支持分片粒度的失敗重試;
- 12、任務失敗告警;默認提供郵件方式失敗告警,同時預留擴展接口,可方面的擴展短信、釘釘等告警方式;
- 13、分片廣播任務:執行器集群部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發集群中所有執行器執行一次任務,可根據分片參數開發分片任務;
- 14、動態分片:分片廣播任務以執行器為維度進行分片,支持動態擴容執行器集群從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度。
- 15、事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支持基于事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。
- 16、任務進度監控:支持實時監控任務進度;
- 17、Rolling實時日志:支持在線查看調度結果,并且支持以Rolling方式實時查看執行器輸出的完整的執行日志;
- 18、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發布,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
- 19、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本;
- 20、命令行任務:原生提供通用命令行任務Handler(Bean任務,"CommandJobHandler");業務方只需要提供命令行即可;
- 21、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
- 22、一致性:“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行;
- 23、自定義任務參數:支持在線配置調度任務入參,即時生效;
- 24、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;
- 25、數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性;
- 26、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址群發報警郵件;
- 27、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
- 28、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分布圖,調度成功分布圖等;
- 29、全異步:任務調度流程全異步化設計實現,如異步調度、異步運行、異步回調等,有效對密集調度進行流量削峰,理論上支持任意時長任務的運行;
- 30、跨平臺:原生提供通用HTTP任務Handler(Bean任務,"HttpJobHandler");業務方只需要提供HTTP鏈接即可,不限制語言、平臺;
- 31、國際化:調度中心支持國際化設置,提供中文、英文兩種可選語言,默認為中文;
- 32、容器化:提供官方docker鏡像,并實時更新推送dockerhub,進一步實現產品開箱即用;
- 33、線程池隔離:調度線程池進行隔離拆分,慢任務自動降級進入"Slow"線程池,避免耗盡調度線程,提高系統穩定性;
軟件作者:許雪里
xxl-job 的詳細介紹,下載地址:↓↓↓
「鏈接」
總結
以上是生活随笔為你收集整理的xxl子任务_XXL-JOB v2.0.2,分布式任务调度平台 | 多项特性优化更新的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一个按键控制数码管的开和关_基于FPGA
- 下一篇: 满意度调查access模板_洪安镇推进综