Worker所起的作用有以下几个： 1. 接受Master的指令，启动或者杀掉Executor 2. 接受Master的指令，启动或者杀掉Driver 3. 报告Executor/Driver的状态到Master 4. 心跳到Master，心跳超时则Master认为Worker已经挂了不能工作了 5 ...
分类：
其他好文 时间：
2017-12-21 17:19:25
阅读次数：
129
要点: 代码针对于 spark 1.6.1源码 1, TaskScheduler如何注册application, executor如何反注册 2, DAGScheduler 3, spark UI 一、SparkConf概述 SparkContext需要传入SparkConf来进行初始化，Spark ...
分类：
其他好文 时间：
2017-12-17 23:42:12
阅读次数：
172
一些概念 一个partition 对应一个task,一个task 必定存在于一个Executor,一个Executor 对应一个JVM. Partition 是一个可迭代数据集合 Task 本质是作用于Partition的线程 问题 Task 里如何使用Kafka Producer 将数据发送到Ka ...
分类：
数据库 时间：
2017-12-17 14:59:43
阅读次数：
236
Executor线程池框架 new Thread()的缺点 每次new Thread()耗费性能 调用new Thread()创建的线程缺乏管理，被称为野线程，而且可以无限制创建，之间相互竞争，会导致过多占用系统资源导致系统瘫痪。 不利于扩展，比如如定时执行、定期执行、线程中断 采用线程池的优点 重 ...
分类：
编程语言 时间：
2017-12-17 10:58:20
阅读次数：
181
简单几步，实现异步新线程调用。 1、在主类中添加@EnableAsync注解： [java] view plain copy @SpringBootApplication @EnableScheduling @EnableAsync public class MySpringBootApplicat ...
分类：
编程语言 时间：
2017-12-17 00:12:07
阅读次数：
3297
一 、端口大全 端口：0 服务：Reserved 说明：通常用于分析操作系统。这一方法能够工作是因为在一些系统中“0”是无效端口，当你试图使用通常的闭合端口连接它时将产生不同的结果。一种典型的扫描，使用IP地址为0.0.0.0，设置ACK位并在以太网层广播。 端口：1 服务：tcpmux 说明：这显 ...
1. Spark 程序在运行的时候分为 Driver 和 Executor 两部分； 2. Spark 的程序编写是基于 SparkContext 的，具体来说包含两方面： a) Spark 编程的核心基础 RDD， 是由 SparkContext 来最初创建 b) Spark 程序的调度优化也是基 ...
分类：
其他好文 时间：
2017-12-15 22:33:00
阅读次数：
134
因为某种需要，要编写类似于C++OpenMP的Java多线程程序。但是，由于对Java编程不熟悉。对于Java多线程编程，有大概4-5中实现方法。我采用的是Executor框架和线程池。 具体内容见链接 http://blog.csdn.net/ns_code/article/details/174 ...
分类：
编程语言 时间：
2017-12-11 00:59:04
阅读次数：
197
Tomcat整体结构 由上图可知Tomcat的顶层容器是Server,而且一个Tomcat对应一个Server,一个server有多个service提供服务.service包含两个重要组件:Connector和Container.这个后面详细讲解.这个Server由谁来管理呢?当然是Catalina ...
分类：
其他好文 时间：
2017-12-08 23:07:09
阅读次数：
242
一、客户端进行操作 1、根据yarnConf来初始化yarnClient，并启动yarnClient2、创建客户端Application，并获取Application的ID，进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源，如果不满足则抛出IllegalA ...
分类：
其他好文 时间：
2017-12-08 16:13:12
阅读次数：
164
