Executor ExecutorService ExecutorService相比Executor多了实现执行Callable多线程的方法，以及提供了具有返回值的执行方法 也可以传入Runnable对象并设置执行完成返回值 执行线程集合 invokeAny()方法与invokeAll()区别在于i ...
分类：
编程语言 时间：
2018-07-16 11:24:23
阅读次数：
153
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
一、Spark支持的安装模式： 1、伪分布式（一台机器即可） 2、全分布式（至少需要3台机器） 二、Spark的安装配置 1、准备工作 安装Linux和JDK1.8 配置Linux：关闭防火墙、主机名、免密码登陆 2、安装部署Spark 解压：tar z-xvf spark-2.1.0-bin-ha ...
分类：
其他好文 时间：
2018-07-15 13:50:23
阅读次数：
143
1、什么是线程池： java.util.concurrent.Executors提供了一个 java.util.concurrent.Executor接口的实现用于创建线程池 多线程技术主要解决处理器单元内多个线程执行的问题，它可以显著减少处理器单元的闲置时间，增加处理器单元的吞吐能力。 假设一个服 ...
分类：
编程语言 时间：
2018-07-12 20:00:33
阅读次数：
191
所以，FutureTask既可以由Executor来调度执行，也可以由调度线程调用FutureTask.run()直接执行。 FutureTask是通过AQS的模板设计模式来实现阻塞get方法的。 从get方法整个流程可以看出： FutureTask维护一个等待线程队列waiters，如果task还 ...
分类：
其他好文 时间：
2018-07-11 10:34:48
阅读次数：
292
1.创建线程的方式 1.继承Thread类创建线程 2.实现Runnable接口创建线程 3.使用Callable和Future创建线程 (参考:https://www.cnblogs.com/3s540/p/7172146.html) 2.Executor框架——将任务的提交过程和执行过程解耦 3 ...
分类：
其他好文 时间：
2018-07-10 21:30:05
阅读次数：
116
● Based on the recommendations mentioned above, Let's assign 5 core per executors => --executor-cores = 5 (for good HDFS throughput) ● Leave 1 core pe ...
分类：
其他好文 时间：
2018-07-10 00:26:54
阅读次数：
220
Java面试通关手册（Java学习指南，欢迎Star，会一直完善下去，欢迎建议和指导）：https://github.com/Snailclimb/Java_Guide历史优质文章推荐：Java并发编程指南专栏分布式系统的经典基础理论可能是最漂亮的Spring事务管理详解面试中关于Java虚拟机（jvm）的问题看这篇就够了目录：[TOC]本节思维导图：思维导图源文件+思维导图软件关注微信公众号：“
分类：
编程语言 时间：
2018-07-08 22:02:22
阅读次数：
227
***这里的executor在worker上分配策略以spreadOut 为例*** 1.3版本关键点： 以上红色代码清晰的展示了在平均分配的场景下，每次会给worker分配1个core，所以说在spark-submit中如果设置了 --executor-cores属性未必起作用； 但在2.x版本的 ...
分类：
其他好文 时间：
2018-07-07 13:53:25
阅读次数：
169
端口号标识了一个主机上进行通信的不同的应用程序。 1.HTTP协议代理服务器常用端口号：80/8080/3128/8081/9098 2.SOCKS代理协议服务器常用端口号：1080 3.FTP（文件传输）协议代理服务器常用端口号：21 4.Telnet（远程登录）协议代理服务器常用端口号：23 H ...
分类：
其他好文 时间：
2018-07-05 17:24:09
阅读次数：
206
