Spark运行模式 Local 多用于本地测试，如在eclipse，idea中写程序测试等。 Standalone Standalone是Spark自带的一个资源调度框架，它支持完全分布式。 Yarn Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。 Mesos 资 ...
分类：
其他好文 时间：
2019-02-23 01:35:09
阅读次数：
214
部分摘自：https://www.cnblogs.com/qingyunzong/p/8886338.html 1.什么是Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开 ...
分类：
其他好文 时间：
2019-02-22 23:19:24
阅读次数：
187
在企业级应用中，经常会制定一些“计划任务”，即在某个时间点做某件事情，核心是以时间为关注点，即在一个特定的时间点，系统执行指定的一个操作。常见的任务调度框架有Quartz和SpringTask等。 一、SpringTask入门小demo 首先在spring的配置文件加入如下配置： 在com.xxx. ...
分类：
编程语言 时间：
2019-02-21 21:55:34
阅读次数：
176
1.介绍 鸿鹄云架构【定时调度平台】是一个完全由Java编写的开源任务调度框架，为企业在任务调度提供了简单却强大的机制。开发人员根据业务规则，使用调度平台简单配置，就可以让任务在特定时间特定阶段进行运行。特点如下：愿意了解源码的朋友直接求求交流分享技术 一七九一七四三三八零 1.强大的调度功能，例如 ...
分类：
编程语言 时间：
2019-02-19 17:43:50
阅读次数：
193
一，实现定时任务的方案： 1.使用JDK的Timer和TimerTask实现； 可以实现简单的间隔执行任务，无法实现按日历调度执行任务； 2.使用Quartz实现； Quartz是一个异步调度框架，功能丰富，可以实现日历调度； 3.SpringTask实现； Spring3.0后提供Spring T ...
分类：
编程语言 时间：
2019-02-18 18:42:59
阅读次数：
195
本文记录在SpringBoot中使用定时任务。 在我们的项目中，经常需要用到定时任务去帮我们做一些事情，比如服务状态监控，业务数据状态的更改等，SpringBoot中实现定时任务有2中方案，一种是自带的，我们只需要加上注解即可；另一种是集成Quartz来实现定时任务。 一 SpringBoot 提供 ...
分类：
编程语言 时间：
2019-02-13 11:10:24
阅读次数：
193
之前写过quartz或者引用过quartz的一些文章，有很多人给我发消息问quartz的相关问题， quartz 报错：java.lang.classNotFoundException quartz源码分析之深刻理解job，sheduler，calendar，trigger及listener之间的关 ...
分类：
其他好文 时间：
2019-01-28 17:48:59
阅读次数：
146
opensymphony提供的强大的开源任务调度框架 spring的默认调度框架，保存恢复调度现场。灵活，强大调度。 使用了 builder调度模式，factory模式，组件模式，链式写法。 三个核心概念：1.调度器（定时定期执行任务） 2.任务 3.触发器 体系结构：1.JobDetail 2.t ...
分类：
其他好文 时间：
2019-01-06 20:08:23
阅读次数：
167
有些时候我们的一些任务比较耗时，比如我们写了一个网站，用户注册的时候需要发送邮件。但是发送邮件的过程比较耗时，用户必须要等到我们将邮件发送成功之后才会得到响应。那么有没有一种办法，当用户点击发送邮件的时候，我们立即返回邮件已经发送成功呢？不需要等到邮件发送成功之后再返回，而是发送的同时就返回。 答案 ...
分类：
编程语言 时间：
2019-01-02 22:13:18
阅读次数：
189
原文地址：https://www.cnblogs.com/qiumingcheng/p/5573845.html 作者简介： 张亮，当当网架构师、当当技术委员会成员、消息中间件组负责人。对架构设计、分布式、优雅代码等领域兴趣浓厚。目前主导当当应用框架ddframe研发，并负责推广及撰写技术白皮书。 ...
分类：
其他好文 时间：
2018-12-21 13:17:27
阅读次数：
176
