怎么设计一个网页,seo搜索引擎营销工具,国内免费crm系统,开发php网站建设最近有几个读者私信给我#xff0c;问我他们的业务场景#xff0c;要用什么样的定时任务。确实#xff0c;在不用的业务场景下要用不同的定时任务#xff0c;其实我们的选择还是挺多的。我今天给大家总结10种非常实用的定时任务#xff0c;总有一种是适合你的。一. linux自… 最近有几个读者私信给我问我他们的业务场景要用什么样的定时任务。确实在不用的业务场景下要用不同的定时任务其实我们的选择还是挺多的。我今天给大家总结10种非常实用的定时任务总有一种是适合你的。一. linux自带的定时任务crontab不知道你有没有遇到过这种场景有时需要临时统计线上的数据然后导出到excel表格中。这种需求有时较为复杂光靠写sql语句是无法满足需求的这就需要写java代码了。然后将该程序打成一个jar包在线上环境执行最后将生成的excel文件下载到本地。为了减小对线上环境的影响我们一般会选择在凌晨1-2点趁用户量少的时候执行统计程序。其实凌晨4点左右用户才是最少的由于时间太晚了我们完全没必要守在那里等执行结果一个定时任务就能可以搞定。那么这种情况用哪种定时任务更合适呢答案是linux系统的crontab。不过也不排除有些项目没部署在linux系统中运行crontab -e可以编辑定时器然后加入如下命令0 2 * * * /usr/local/java/jdk1.8/bin/java -jar /data/app/tool.jar /logs/tool.log
就可以在每天凌晨2点定时执行tool.jar程序并且把日志输出到tool.log文件中。当然你也可以把后面的执行java程序的命令写成shell脚本更方便维护。使用这种定时任务支持方便修改定时规则有界面可以统一管理配置的各种定时脚本。crontab命令的基本格式如下crontab [参数] [文件名]
如果没有指定文件名则接收键盘上输入的命令并将它载入到crontab。参数功能对照表如下参数功能-u指定用户-e编辑某个用户的crontab文件内容-l显示某个用户的crontab文件内容-r删除某用户的crontab文件-i删除某用户的crontab文件时需确认以上参数如果没有使用-u指定用户则默认使用的当前用户。通过crontab -e命令编辑文件内容具体语法如下[分] [小时] [日期] [月] [星期] 具体任务
其中分表示多少分钟范围0-59小时表示多少小时范围0-23日期表示具体在哪一天范围1-31月表示多少月范围1-12星期表示多少周范围0-70和7都代表星期日还有一些特殊字符比如*代表如何时间比如*1*** 表示每天凌晨1点执行。/代表每隔多久执行一次比如*/5 **** 表示每隔5分钟执行一次。,代表支持多个比如10 7,9,12 *** 表示在每天的7、9、12点10分各执行一次。-代表支持一个范围比如10 7-9 *** 表示在每天的7、8、9点10分各执行一次。此外顺便说一下crontab需要crond服务支持crond是linux下用来周期地执行某种任务的一个守护进程在安装linux操作系统后默认会安装crond服务工具且crond服务默认就是自启动的。crond进程每分钟会定期检查是否有要执行的任务如果有则会自动执行该任务。可以通过以下命令操作相关服务service crond status // 查看运行状态
service crond start //启动服务
service crond stop //关闭服务
service crond restart //重启服务
service crond reload //重新载入配置
使用crontab的优缺点优点方便修改定时规则支持一些较复杂的定时规则通过文件可以统一管理配好的各种定时脚本。缺点如果定时任务非常多不太好找而且必须要求操作系统是linux否则无法执行。二. jdk自带的定时任务1.Thread各位亲爱的朋友你没看错Thread类真的能做定时任务。如果你看过一些定时任务框架的源码你最后会发现它们的底层也会使用Thread类。实现这种定时任务的具体代码如下public static void init() {new Thread(() - {while (true) {try {System.out.println(doSameThing);Thread.sleep(1000 * 60 * 5);} catch (Exception e) {log.error(e);}}}).start();
}
使用Thread类可以做最简单的定时任务在run方法中有个while的死循环当然还有其他方式执行我们自己的任务。有个需要特别注意的地方是需要用try...catch捕获异常否则如果出现异常就直接退出循环下次将无法继续执行了。这种方式做的定时任务只能周期性执行不能支持定时在某个时间点执行。此外该线程可以定义成守护线程在后台默默执行就好。使用场景比如项目中有时需要每隔10分钟去下载某个文件或者每隔5分钟去读取模板文件生成静态html页面等等一些简单的周期性任务场景。使用Thread类的优缺点优点这种定时任务非常简单学习成本低容易入手对于那些简单的周期性任务是个不错的选择。缺点不支持指定某个时间点执行任务不支持延迟执行等操作功能过于单一无法应对一些较为复杂的场景。2.TimerTimer类是jdk专门提供的定时器工具用来在后台线程计划执行指定任务在java.util包下要跟TimerTask一起配合使用。Timer类其实是一个任务调度器它里面包含了一个TimerThread线程在这个线程中无限循环从TaskQueue中获取TimerTask该类实现了Runnable接口调用其run方法就能异步执行定时任务。我们需要继承TimerTask类实现它的run方法在该方法中加上自己的业务逻辑。实现这种定时任务的具体代码如下public class TimerTest {public static void main(String[] args) {Timer timer new Timer();timer.schedule(new TimerTask() {Overridepublic void run() {System.out.println(doSomething);}},2000,1000);}
}
先实例化一个Timer类然后调用它的schedule方法在该方法中实例化TimerTask类业务逻辑写在run方法中。schedule方法最后的两次参数分别表示延迟时间 和 间隔时间单位是毫秒。上面例子中设置的定时任务是每隔1秒执行一次延迟2秒执行。主要包含6个方法schedule(TimerTask task, Date time), 指定任务task在指定时间time执行schedule(TimerTask task, long delay), 指定任务task在指定延迟delay后执行schedule(TimerTask task, Date firstTime,long period),指定任务task在指定时间firstTime执行后进行重复固定延迟频率peroid的执行schedule(TimerTask task, long delay, long period), 指定任务task 在指定延迟delay 后进行重复固定延迟频率peroid的执行scheduleAtFixedRate(TimerTask task,Date firstTime,long period), 指定任务task在指定时间firstTime执行后进行重复固定延迟频率peroid的执行scheduleAtFixedRate(TimerTask task, long delay, long period), 指定任务task 在指定延迟delay 后进行重复固定延迟频率peroid的执行不过使用Timer实现定时任务有以下问题由于Timer是单线程执行任务如果其中一个任务耗时非常长会影响其他任务的执行。如果TimerTask抛出RuntimeExceptionTimer会停止所有任务的运行。使用Timer类的优缺点优点非常方便实现多个周期性的定时任务并且支持延迟执行还支持在指定时间之后支持功能还算强大。缺点如果其中一个任务耗时非常长会影响其他任务的执行。并且如果TimerTask抛出RuntimeExceptionTimer会停止所有任务的运行所以阿里巴巴开发者规范中不建议使用它。3.ScheduledExecutorServiceScheduledExecutorService是JDK1.5版本引进的定时任务该类位于java.util.concurrent并发包下。ScheduledExecutorService是基于多线程的设计的初衷是为了解决Timer单线程执行多个任务之间会互相影响的问题。它主要包含4个方法schedule(Runnable command,long delay,TimeUnit unit)带延迟时间的调度只执行一次调度之后可通过Future.get()阻塞直至任务执行完毕。schedule(CallableV callable,long delay,TimeUnit unit)带延迟时间的调度只执行一次调度之后可通过Future.get()阻塞直至任务执行完毕并且可以获取执行结果。scheduleAtFixedRate表示以固定频率执行的任务如果当前任务耗时较多超过定时周期period则当前任务结束后会立即执行。scheduleWithFixedDelay表示以固定延时执行任务延时是相对当前任务结束为起点计算开始时间。实现这种定时任务的具体代码如下public class ScheduleExecutorTest {public static void main(String[] args) {ScheduledExecutorService scheduledExecutorService Executors.newScheduledThreadPool(5);scheduledExecutorService.scheduleAtFixedRate(() - {System.out.println(doSomething);},1000,1000, TimeUnit.MILLISECONDS);}
}
调用ScheduledExecutorService类的scheduleAtFixedRate方法实现周期性任务每隔1秒钟执行一次每次延迟1秒再执行。这种定时任务是阿里巴巴开发者规范中用来替代Timer类的方案对于多线程执行周期性任务是个不错的选择。ScheduledExecutorService的优缺点优点基于多线程的定时任务多个任务之间不会相关影响支持周期性的执行任务并且带延迟功能。缺点不支持一些较复杂的定时规则。三. spring支持的定时任务1.spring taskspring task是spring3以上版本自带的定时任务实现定时任务的功能时需要引入spring-context包目前它支持xml 和 注解 两种方式。1. 项目实战由于xml方式太古老了我们以springboot项目中注解方式为例。第一步在pom.xml文件中引入spring-context相关依赖。dependencygroupIdorg.springframework/groupIdartifactIdspring-context/artifactId
/dependency
第二步在springboot启动类上加上EnableScheduling注解。EnableScheduling
SpringBootApplication
public class Application {public static void main(String[] args) {new SpringApplicationBuilder(Application.class).web(WebApplicationType.SERVLET).run(args);}
}
第三步使用Scheduled注解定义定时规则。Service
public class SpringTaskTest {Scheduled(cron ${sue.spring.task.cron})public void fun() {System.out.println(doSomething);}
}
第四步在applicationContext.properties文件中配置参数sue.spring.task.cron*/10 * * * * ?
这样就能每隔10秒执行一次fun方法了。2. cron规则spring4以上的版本中cron表达式包含6个参数[秒] [分] [时] [日期] [月] [星期]
还支持几个常用的特殊符号*表示任何时间触发任务,表示指定的时间触发任务-表示一段时间内触发任务/表示从哪一个时刻开始每隔多长时间触发一次任务。?表示用于月中的天和周中的天两个子表达式表示不指定值。cron表达式参数具体含义秒取值范围0-59支持*、,、-、/。分取值范围0-59支持*、,、-、/。时取值范围0-23支持*、,、-、/。日期取值范围1-31支持*、,、-、/。比秒多了?表示如果指定的星期触发了则配置的日期变成无效。月取值范围1-12支持*、,、-、/。星期取值范围1~71代表星期天6代表星期六其他的以此类推。支持*、,、-、/、?。比秒多了?表示如果指定的日期触发了则配置的星期变成无效。常见cron表达式使用举例0 0 0 1 * ? 每月1号零点执行0 0 2 * * ? 每天凌晨2点执行0 0 2 * * ? 每天凌晨2点执行0 0/5 11 * * ? 每天11点-11点55分每隔5分钟执行一次0 0 18 ? * WED 每周三下午6点执行spring task先通过ScheduledAnnotationBeanPostProcessor类的processScheduled方法解析和收集Scheduled注解中的参数包含cron表达式。然后在ScheduledTaskRegistrar类的afterPropertiesSet方法中默认初始化一个单线程的ThreadPoolExecutor执行任务。对spring task感兴趣的小伙伴可以加我微信找我私聊。使用spring task的优缺点优点spring框架自带的定时功能springboot做了非常好的封装开启和定义定时任务非常容易支持复杂的cron表达式可以满足绝大多数单机版的业务场景。单个任务时当前次的调度完成后再执行下一次任务调度。缺点默认单线程如果前面的任务执行时间太长对后面任务的执行有影响。不支持集群方式部署不能做数据存储型定时任务。2.spring quartzquartz是OpenSymphony开源组织在Job scheduling领域的开源项目是由java开发的一个开源的任务日程管理系统。quartz能做什么作业调度调用各种框架的作业脚本例如shell,hive等。定时任务在某一预定的时刻执行你想要执行的任务。架构图如下quartz包含的主要接口如下Scheduler 代表调度容器一个调度容器中可以注册多个JobDetail和Trigger。Job 代表工作即要执行的具体内容。JobDetail 代表具体的可执行的调度程序Job是这个可执行程调度程序所要执行的内容。JobBuilder 用于定义或构建JobDetail实例。Trigger 代表调度触发器决定什么时候去调。TriggerBuilder 用于定义或构建触发器。JobStore 用于存储作业和任务调度期间的状态。1. 项目实战我们还是以springboot集成quartz为例。第一步在pom.xml文件中引入quartz相关依赖。dependencygroupIdorg.springframework.boot/groupIdartifactIdspring-boot-starter-quartz/artifactId
/dependency
第二步创建真正的定时任务执行类该类继承QuartzJobBean。public class QuartzTestJob extends QuartzJobBean {Overrideprotected void executeInternal(JobExecutionContext context) throws JobExecutionException {String userName (String) context.getJobDetail().getJobDataMap().get(userName);System.out.println(userName: userName);}
}
第三步创建调度程序JobDetail和调度器Trigger。Configuration
public class QuartzConfig {Value(${sue.spring.quartz.cron})private String testCron;/*** 创建定时任务*/Beanpublic JobDetail quartzTestDetail() {JobDetail jobDetail JobBuilder.newJob(QuartzTestJob.class).withIdentity(quartzTestDetail, QUARTZ_TEST).usingJobData(userName, susan).storeDurably().build();return jobDetail;}/*** 创建触发器*/Beanpublic Trigger quartzTestJobTrigger() {//每隔5秒执行一次CronScheduleBuilder cronScheduleBuilder CronScheduleBuilder.cronSchedule(testCron);//创建触发器Trigger trigger TriggerBuilder.newTrigger().forJob(quartzTestDetail()).withIdentity(quartzTestJobTrigger, QUARTZ_TEST_JOB_TRIGGER).withSchedule(cronScheduleBuilder).build();return trigger;}
}
第四步在applicationContext.properties文件中配置参数sue.spring.quartz.cron*/5 * * * * ?
这样就能每隔5秒执行一次QuartzTestJob类的executeInternal方法了。CronTrigger配置格式:[秒] [分] [小时] [日] [月] [周] [年]
spring quartz跟spring task的cron表达式规则基本一致只是spring4以上的版本去掉了后面的年而quartz的CronTrigger的年是非必填的这里我就不做过多介绍了。使用spring quartz的优缺点优点默认是多线程异步执行单个任务时在上一个调度未完成时下一个调度时间到时会另起一个线程开始新的调度多个任务之间互不影响。支持复杂的cron表达式它能被集群实例化支持分布式部署。缺点相对于spring task实现定时任务成本更高需要手动配置QuartzJobBean、JobDetail和Trigger等。需要引入了第三方的quartz包有一定的学习成本。不支持并行调度不支持失败处理策略和动态分片的策略等。四. 分布式定时任务1.xxl-jobxxl-job是大众点评许雪里开发的一个分布式任务调度平台其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线开箱即用。xxl-job框架对quartz进行了扩展使用mysql数据库存储数据并且内置jetty作为RPC服务调用。主要特点如下有界面维护定时任务和触发规则非常容易管理。能动态启动或停止任务支持弹性扩容缩容支持任务失败报警支持动态分片支持故障转移Rolling实时日志支持用户和权限管理管理界面整体架构图如下使用quartz架构图如下项目实战xxl-admin管理后台部署和mysql脚本执行等这些前期准备工作我就不过多介绍了有需求的朋友可以找我私聊这些更偏向于运维的事情。假设前期工作已经OK了接下来我们需要第一步在pom.xml文件中引入xxl-job相关依赖。dependencygroupIdcom.xuxueli/groupIdartifactIdxxl-job-core/artifactId
/dependency
第二步在applicationContext.properties文件中配置参数xxl.job.admin.address: http://localhost:8088/xxl-job-admin/
xxl.job.executor.appname: xxl-job-executor-sample
xxl.job.executor.port: 8888
xxl.job.executor.logpath: /data/applogs/xxl-job/
第三步创建HelloJobHandler类继承IJobHandler类JobHandler(value helloJobHandler)
Component
public class HelloJobHandler extends IJobHandler {Overridepublic ReturnTString execute(String param) {System.out.println(XXL-JOB, Hello World.);return SUCCESS;}
}
这样定时任务就配置好了。建议把定时任务单独部署到另外一个服务中跟api服务分开。根据我以往的经验job大部分情况下会对数据做批量操作如果操作的数据量太大可能会对服务的内存和cpu资源造成一定的影响。使用xxl-job的优缺点优点有界面管理定时任务支持弹性扩容缩容、动态分片、故障转移、失败报警等功能。它的功能非常强大很多大厂在用可以满足绝大多数业务场景。缺点和quartz一样通过数据库分布式锁来控制任务不能重复执行。在任务非常多的情况下有一些性能问题。2.elastic-jobelastic-job是当当网开发的弹性分布式任务调度系统功能丰富强大采用zookeeper实现分布式协调实现任务高可用以及分片。它是专门为高并发和复杂业务场景开发。elastic-job目前是apache的shardingsphere项目下的一个子项目官网地址http://shardingsphere.apache.org/elasticjob/。elastic-job在2.x之后出了两个产品线Elastic-Job-Lite和Elastic-Job-Cloud而我们一般使用Elastic-Job-Lite就能够满足需求。Elastic-Job-Lite定位为轻量级无中心化解决方案使用jar包的形式提供分布式任务的协调服务外部仅依赖于Zookeeper。。主要特点如下分布式调度协调弹性扩容缩容失效转移错过执行作业重触发作业分片一致性保证同一分片在分布式环境中仅一个执行实例自诊断并修复分布式不稳定造成的问题支持并行调度整体架构图项目实战第一步在pom.xml文件中引入elastic-job相关依赖。dependencygroupIdcom.dangdang/groupIdartifactIdelastic-job-lite-core/artifactId
/dependency
dependencygroupIdcom.dangdang/groupIdartifactIdelastic-job-lite-spring/artifactId
/dependency
第二步增加ZKConfig类配置zookeeperConfiguration
ConditionalOnExpression(${zk.serverList}.length() 0)
public class ZKConfig {Beanpublic ZookeeperRegistryCenter registry(Value(${zk.serverList}) String serverList,Value(${zk.namespace}) String namespace) {return new ZookeeperRegistryCenter(new ZookeeperConfiguration(serverList, namespace));}}
第三步定义一个类实现SimpleJob接口public class TestJob implements SimpleJob {Overridepublic void execute(ShardingContext shardingContext){System.out.println(ShardingTotalCount:shardingContext.getShardingTotalCount());System.out.println(ShardingItem:shardingContext.getShardingItem());}
}
第四步增加JobConfig配置任务Configuration
public class JobConfig {Value(${sue.spring.elatisc.cron})private String testCron;Value(${sue.spring.elatisc.itemParameters})private String shardingItemParameters;Value(${sue.spring.elatisc.jobParameters})private String jobParameters ;Value(${sue.spring.elatisc.shardingTotalCount})private int shardingTotalCount;Autowiredprivate ZookeeperRegistryCenter registryCenter;Beanpublic SimpleJob testJob() {return new TestJob();}Beanpublic JobScheduler simpleJobScheduler(final SimpleJob simpleJob) {return new SpringJobScheduler(simpleJob, registryCenter, getConfiguration(simpleJob.getClass(),cron, shardingTotalCount, shardingItemParameters, jobParameters));}private geConfiguration getConfiguration(Class? extends SimpleJob jobClass,String cron,int shardingTotalCount,String shardingItemParameters,String jobParameters) {JobCoreConfiguration simpleCoreConfig JobCoreConfiguration.newBuilder(jobClass.getName(), testCron, shardingTotalCount).shardingItemParameters(shardingItemParameters).jobParameter(jobParameters).build();SimpleJobConfiguration simpleJobConfig new SimpleJobConfiguration(simpleCoreConfig, jobClass.getCanonicalName());LiteJobConfiguration jobConfig LiteJobConfiguration.newBuilder(simpleJobConfig).overwrite(true).build();return jobConfig;}
}
其中croncron表达式定义触发规则。shardingTotalCount定义作业分片总数shardingItemParameters定义分配项参数一般用分片序列号和参数用等号分隔多个键值对用逗号分隔分片序列号从0开始不可大于或等于作业分片总数。jobParameters作业自定义参数第五步在applicationContext.properties文件中配置参数spring.application.nameelasticjobDemo
zk.serverListlocalhost:2181
zk.namespaceelasticjobDemo
sue.spring.elatisc.cron0/5 * * * * ?
sue.spring.elatisc.itemParameters0A,1B,2C,3D
sue.spring.elatisc.jobParameterstest
sue.spring.elatisc.shardingTotalCount4
这样定时任务就配置好了创建定时任务的步骤相对于xxl-job来说要繁琐一些。使用elastic-job的优缺点优点支持分布式调度协调支持分片适合高并发和一些业务相对来说较复杂的场景。缺点需要依赖于zookeeper实现定时任务相对于xxl-job要复杂一些要对分片规则非常熟悉。3.其他分布式定时任务1. SaturnSaturn是唯品会开源的一个分布式任务调度平台。取代传统的Linux Cron/Spring Batch Job的方式做到全域统一配置统一监控任务高可用以及分片并发处理。Saturn是在当当开源的Elastic-Job基础上结合各方需求和我们的实践见解改良而成。使用案例唯品会、酷狗音乐、新网银行、海融易、航美在线、量富征信等。 github地址https://github.com/vipshop/Saturn/2. TBSchedule TBSchedule是阿里开发的一款分布式任务调度平台旨在将调度作业从业务系统中分离出来降低或者是消除和业务系统的耦合度进行高效异步任务处理。目前被广泛应用在阿里巴巴、淘宝、支付宝、京东、聚美、汽车之家、国美等很多互联网企业的流程调度系统中。github地址https://github.com/taobao/TBSchedule老实说优秀的定时任务还是挺多的不是说哪种定时任务牛逼我们就一定要用哪种而是要根据实际业务需求选择。每种定时任务都有优缺点合理选择既能满足业务需求又能避免资源浪费才是上上策。当然在实际的业务场景通常会多种定时任务一起配合使用。顺便说一句欢迎亲爱的小伙伴们找我一起聊聊你用过哪些定时任务遇到过哪些问题以及如何解决问题的。如果有相关问题也可以问我。希望我们能够共同进步一起成长。最后说一句(求关注别白嫖我)如果这篇文章对您有所帮助或者有所启发的话帮忙扫描下发二维码关注一下您的支持是我坚持写作最大的动力。
