首先说明一下，这里使用的是Springboot2.2.6.RELEASE版本，由于Springboot迭代很快，所以要注意版本问题。 1、Scheduled定时任务器：是Spring3.0以后自带的一个定时任务器。 1 <?xml version="1.0" encoding="UTF-8"?> 2 ...
分类：
编程语言 时间：
2020-05-22 17:19:10
阅读次数：
57
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and ...
分类：
编程语言 时间：
2020-05-21 21:20:50
阅读次数：
191
网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs ...
分类：
其他好文 时间：
2020-05-19 16:47:03
阅读次数：
82
const PENDING = 'pending' const FULFILLED = 'fulfilled' const REJECTED = 'rejected' function MyPromise(executor) { let self = this self.value = null s ...
分类：
其他好文 时间：
2020-05-16 18:33:45
阅读次数：
63
作为一个JVM进程，EXecutor的内存管理建立在JVM的内存管理之上，Spark对JVM的对内空间进行了更为详细的分配，以充分利用内存。同时，Spark引入了堆外内存，使之可以直接在工作节点的系统内存中开辟空间，进一步优化内存的使用。 堆内内存收到JVM统一管理，堆外内存是直接向操作系统进行内存 ...
分类：
其他好文 时间：
2020-05-13 23:30:58
阅读次数：
71
批处理代码： package com.wyh.wc import org.apache.flink.api.scala._ /** * 批处理代码 */ object WordCount { def main(args: Array[String]): Unit = { //创建一个批处理的一个环境 ...
分类：
其他好文 时间：
2020-05-11 23:28:06
阅读次数：
79
1.JS滚动,将页面滚动条拖到底部 JavascriptExecutor javascriptExecutor = (JavascriptExecutor)BrowserUtil.driver; javascriptExecutor.executeScript("window.scrollTo(0, ...
分类：
编程语言 时间：
2020-05-11 15:34:25
阅读次数：
117
Mybatis插件实现原理 本文如有任何纰漏、错误，请不吝指出，谢谢！ 首先，我并没有使用过 Mybatis的插件，但是这个和我写这篇文章并不冲突，估计能真正使用到插件的人也比较少，写这篇文章的目的主要是看源码时稍微看到了下它的插件实现，发现还挺绕的，于是就特意琢磨了下，然后留了一个记录。 中的插件 ...
分类：
其他好文 时间：
2020-05-09 10:41:49
阅读次数：
48
转： 线程池的三种队列区别：SynchronousQueue、LinkedBlockingQueue 和ArrayBlockingQueue 线程池的三种队列区别：SynchronousQueue、LinkedBlockingQueue 和ArrayBlockingQueue置顶 无名后生 2018 ...
分类：
数据库 时间：
2020-05-08 16:28:24
阅读次数：
140
@Bean("taskModuleExecutor") Executor getCrawler1(){ ThreadPoolTaskExecutor threadPoolTaskExecutor = new ThreadPoolTaskExecutor(); threadPoolTaskExecut ...
分类：
编程语言 时间：
2020-05-07 19:24:10
阅读次数：
59
