xxljob执行源码分析

简介: 本文深入解析XXL-JOB分布式任务调度框架的源码实现,涵盖架构设计、核心执行流程与关键线程机制。内容包括任务触发、快慢线程池分离、注册与心跳检测、失败重试告警、日志清理、时间轮调度等核心模块,结合源码与流程图全面剖析其高性能设计原理。(239字)

已包含中文注释的源码压缩包:📎xxl-job-master.zip

分析流程:📎xxljob直播.xmind

1.架构分析

2.执行源码

核心代码位置如下:

1-initI18n()

  • 初始化国际化资源,对应配置文件:resources:i18n

2-JobTriggerPoolHelper.toStart()

触发器线程池:创建快慢线程池,提升任务执行效率

  • 如果一个任务在1min内超过10次提交,就默认是慢任务,为了防止慢任务影响系统吞吐量,将其放在慢线程池中运行
  • 快线程池定义:最大线程数=200,等待队列=1000
  • 慢线程池定义:最大线程数=100,等待队列=2000

addTrigger方法

  • 默认选择快线程池,如果任务在1min内超过10次提交,就是慢线程池
  • 真正的触发器操作代码

3-JobRegistryHelper.getInstance().start()

任务注册器线程池:将上线机器刷新(最近90s有心跳),将下线机器移除(90s内没心跳),更新执行组

  • 初始化服务上线/下线线程池:将新增的IP添加到组中,将断线的IP及时清理(因为执行器会上下线,xxl-job会保证及时更新当前在线的执行器)
  • 初始化心跳检测的线程池:xxl-job会把心跳信息保存在xxl_job_registry,借助心跳检测机制,保证机器下线能够及时清楚,机器上线及时发现

4-JobFailMonitorHelper.getInstance().start()

重试报警机制:因为任务是异步调用,需要有一个进程持续监听执行结果,主要做的是:读取本地数据,更新数据状态,未达到失败次数就重试,达到失败次数就告警

  • 借助mybatis查询本地数据库执行失败、且告警状态=0[未告警]的数据日志ID,读取表:xxl_job_log
  • 更新告警状态=-1[锁定,避免多线程并发干扰],0-默认、-1=锁定状态、1-无需告警、2-告警成功、3-告警失败
  • 基于日志ID取出完整的日志信息,读取表:xxl_job_log
  • 基于ID获取失败日志对应的任务信息,读取表:xxl_job_info
  • 如果失败任务可充实次数大于0,表示还能重试,就继续重试
  • 如果配置了告警信息,就实现报警
  • 报警后更新本地告警状态,2或3

5-JobCompleteHelper.getInstance().start()

调度系统调度执行器后,执行器突然宕机,调度系统就可以根据这个线程感知任务到底执行成功还是失败

  • 任务结果丢失处理:调度记录停留在 "运行中" 状态超过10min,且对应执行器心跳注册失败不在线,则将本地调度主动标记失败;

6-JobLogReportHelper.getInstance().start()

  • 清理过期日志,没什么需要详细讲解的

7-JobScheduleHelper.getInstance().start()

从xxl_job_info表中找出当前时间+5s的所有执行器数据,然后根据其调度时间判断立即调度还是加入时间戳

  • 取出当前时间 + 5s内所有待执行的执行器数据(避免循环本身导致错过执行时间)
  • 建立数据库链接
  • 关闭事务的自动提交
  • 悲观锁,锁定数据
  • 过期处理策略

可能过期的原因:服务重启;调度线程被阻塞,线程被耗尽;上次调度持续阻塞,下次调度被错过

  • 从数据库取出当前时间+5s的所有任务
  • 当前时间:超过调度时间+5s
  • 判断任务执行状态是否是:FIRE_ONCE_NOW,如果是就立马调度一次
  • 刷新调度时间,避免下一次再错过
  • 当前时间:超过调度时间,但还没超过5s
  • 调度一次
  • 更新调度时间,避免下一次再错过
  • 当前时间:没超过调度时间,把调度时间加入到时间轮中
  • 获取调度时间的秒
  • 将调度时间作为key,任务id作为value,放进调度任务时间轮的map中(其执行代码在:238行)
  • 刷新下一次调度时间(这里就不是new Date()了,而是真实的执行时间)
  • 更新每一个任务的最近一次执行时间、下一次执行时间、执行状态

时间轮执行原理

时间轮执行原理:com.xxl.job.admin.core.thread.JobScheduleHelper#ringThread

  • 先延迟0-1秒,以保证加载所有数据
  • 获取当前时间对应的秒数
  • 避免处理耗时太长,跨过刻度,向前校验一个刻度
  • 这里的ringData就是上面场景3中添加进去的数据,当前文件代码:149行
  • 当前秒+1是为了防止时间轮中的任务由于意外没有执行,从而有一个补偿机制
  • 调度任务
  • 清空已处理数据

相关文章
|
14小时前
|
SQL 运维 分布式计算
如何做好SQL质量监控
本文介绍如何通过CloudLens for SLS实现SQL质量监控,帮助用户全面掌握SQL使用情况。涵盖健康分、服务指标、运行明细、SQL Pattern分析及优化建议五大维度,助力识别性能瓶颈、优化资源使用,提升日志分析效率与治理能力。
 如何做好SQL质量监控
|
11小时前
|
SQL 数据库连接 数据库
Activity代码实现
本教程演示如何使用Activiti创建、部署并操作简单工作流。包括流程定义、启动实例、任务查询与完成,结合代码与数据库验证,实现审批流程自动化管理。
Activity代码实现
|
14小时前
|
运维 Devops 开发工具
生产环境缺陷管理
git-poison是一款基于go-git的生产环境缺陷管理工具,实现bug的分布式追溯与自动化卡点,有效避免多分支开发中的漏修、漏发问题,降低协同成本,提升发布安全性。
生产环境缺陷管理
|
14小时前
|
Java 测试技术 Linux
生产环境发布管理
本文介绍大型团队如何通过自动化部署平台实现多环境(dev/test/pre/prod)高效发布,涵盖各环境职责、基于Jenkins+K8S的CI/CD流程、分支管理与日志排查方案,提升发布效率与系统稳定性。
 生产环境发布管理
|
11小时前
|
Web App开发 Dubbo 关系型数据库
Soul网关接入与验证
本章节在前两章基础上集成Soul网关,讲解Provider与Consumer应用如何通过添加依赖、注解及配置文件接入Soul,实现服务注册与网关路由,并通过实际请求验证网关调用流程。
Soul网关接入与验证
|
11小时前
|
Dubbo Java 应用服务中间件
搭建dubbo-zk应用
基于Spring Boot 2.2.2与Dubbo 2.0.0,构建ZooKeeper注册的分布式服务架构,实现Provider与Consumer模块间高效RPC通信,含完整POM配置及启动验证流程。
搭建dubbo-zk应用
|
11小时前
|
Dubbo Java 应用服务中间件
入门运行Soul
Soul 是基于 WebFlux 构建的响应式 API 网关,支持高性能、异步处理与多协议集成,如 Dubbo、Spring Cloud。具备插件化架构、动态配置、流量控制、热插拔等特性,兼容多种语言,支持集群部署与 A/B 测试,网关延迟低至 1~2ms。
|
11小时前
|
Arthas 存储 运维
记Arthas实现一次CPU排查与代码热更新
本文介绍如何使用Arthas排查Java应用CPU占用过高问题,通过thread、watch、jad等指令定位线程阻塞与异常代码,并实现无需重启的热更新修复,结合profile生成火焰图进行性能分析,提升线上问题处理效率。
记Arthas实现一次CPU排查与代码热更新
|
11小时前
|
监控 Java Spring
.jvm相关
本系统提供实时数据监控与JVM诊断功能,涵盖线程、内存、系统属性、环境变量、日志级别及堆栈信息的查看与修改,支持动态调整JVM参数并分析性能计数器,助力Java应用调试与优化。
.jvm相关
|
11小时前
|
Arthas Java 测试技术
基础指令
Arthas 是一款Java诊断工具,支持查看线程信息(dashboard、thread)、反编译类(jad)、观测方法调用(watch)等。可通过命令查看最忙线程、阻塞线程、指定状态线程及方法入参出参,支持采样间隔设置,帮助快速定位性能问题。
基础指令

热门文章

最新文章