一、集群规划这里搭建一个3节点的Spark集群，其中三台主机上均部署Worker服务。同时为了保证高可用，除了在hadoop001上部署主Master服务外，还在hadoop002和hadoop003上分别部署备用的Master服务，Master服务由Zookeeper集群进行协调管理，如果主Master不可用，则备用Master会成为新的主Master。二、前置条件搭建Spark集群前，需要保证
分类：
其他好文 时间：
2019-09-22 01:43:37
阅读次数：
98
三、Web Worker 1.概述 JavaScript语言采用的是单线程模型，也就是说，所有任务只能在一个线程上完成，一次只能做一件事。前面的任务没做完，后面的任务只能等着。随着电脑计算能力的增强，尤其是多核 CPU 的出现，单线程带来很大的不便，无法充分发挥计算机的计算能力。 Web Worke ...
分类：
Web程序 时间：
2019-09-20 19:16:11
阅读次数：
81
ThreadPoolExecutor的几个重要属性 BlockingQueue workQueue 阻塞队列。存放将要执行的任务 HashSet workers 当前线程池的线程集合。下文会重点介绍Worker这个内部类 corePoolSize 核心线程数 maximumPoolSize 最大线程 ...
分类：
编程语言 时间：
2019-09-20 18:35:56
阅读次数：
100
原文:c# Task waitAll,WhenAll wait 阻塞的 when是异步的非阻塞的。 Task[] tlist = new Task[] { Task.Run(() => { Thread.Sleep(3000); }), Task.Factory.StartNew(() => { T... ...
错误如下 解决办法 在opentsdb.conf 这个配置文件中加上 tsd.http.request.max_chunk=4096000tsd.http.request.enable_chunked=true 关于文件位置，不同的方式安装，位置不同。我的在 /etc/opentsdb/opents ...
分类：
数据库 时间：
2019-09-17 17:26:57
阅读次数：
127
#定义Nginx运行的用户和用户组user www www; #nginx进程数，建议设置为等于CPU总核心数。worker_processes 8; #全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]error_log /var/ ...
分类：
其他好文 时间：
2019-09-17 09:40:59
阅读次数：
107
摸鱼鬼混的英文怎么说 （引用来源．世界公民文化中心） 如果你是老板，你会“hire”哪种员工？ 以下这两种人stepford worker（糊涂死忠型）和clocksucker（摸鱼鬼混型）的人，想想身边的同事，你是不是觉得似曾相识？ Stepfo... ...
分类：
其他好文 时间：
2019-09-16 14:19:00
阅读次数：
91
在 Java9 中，G1 GC 将成为默认的垃圾收集器，G1 垃圾收集器的关键特性之一是能够在不牺牲吞吐量的同时，限制 GC 暂停时间(即可以设置所需的最大停顿时间)。 由于 G1 GC 正在逐渐成为默认的垃圾收集器，它的使用与关注度也会逐渐增加。因此在调整 JVM 大小和排查问题的情况下，必须先理 ...
分类：
其他好文 时间：
2019-09-16 12:03:39
阅读次数：
108
Flink跟其他的流计算引擎相比,最突出或者做的最好的就是状态的管理.什么是状态呢?比如我们在平时的开发中,需要对数据进行count,sum,max等操作,这些中间的结果(即是状态)是需要保存的,因为要不断的更新,这些值或者变量就可以理解为是一种状态,拿读取kafka为例,我们需要记录数据读取的位置 ...
分类：
其他好文 时间：
2019-09-15 23:54:58
阅读次数：
297
