任务提交流程概述
在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了，本文继续分析整个Executor的启动与任务提交流程
Spark-submit提交一个任务到集群通过的是Spark-submit
通过启动脚本的方式启动它的主类，这里以WordCount为例子
`spark-submit –class cn.itcas...
分类：
其他好文 时间：
2016-04-22 20:58:09
阅读次数：
395
本文详细讲解了Hadoop2.6.0版本MapReudce示例之WordCount的测试数据准备、运行命令、运行过程展示、运行结果查看等过程，并展示了WordCount的代码。...
分类：
其他好文 时间：
2016-04-19 12:19:47
阅读次数：
116
spark编程练习 申明：以下代码仅作学习参考使用，勿使用在商业用途。 Wordcount UserMining TweetMining HashtagMining InvertedIndex Test Test代码 两个Utils方法 1.解析json的代码 2.实体类 reduced-tweet ...
分类：
其他好文 时间：
2016-04-16 21:28:01
阅读次数：
227
以wordcount为示例进行深入分析 1 objectwordcount{ 2 3 defmain(args:Array[String]){ ... ...
分类：
其他好文 时间：
2016-04-16 18:29:59
阅读次数：
208
[zznu@master file]$ hadoop jar ~/hadoop-2.5.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.2.jar wordcount /inputfile output16/04/11 22:31:02 ...
分类：
其他好文 时间：
2016-04-12 14:11:01
阅读次数：
182
上传两个文件到hdfs上的input目录下 代码例如以下： import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.ap ...
分类：
系统相关 时间：
2016-04-08 19:56:31
阅读次数：
244
Hadoop中的HelloWorld程序--WordCount！！！！ ...
分类：
其他好文 时间：
2016-04-07 01:23:42
阅读次数：
210
原始代码： 开始写时，也觉得这样的表述不够简洁。但由于当时写了好长时间的代码，思路也不是很清晰，就用这种相对来说比较笨的方法。事后也忘记来修改更新这一部分。 以下是更改后的代码： 使用的是ASCILL码来控制。char型变量i从a开始一直加到z,用来比较字符是否相等。int型变量j从0开始，用来控制 ...
分类：
其他好文 时间：
2016-04-03 10:24:19
阅读次数：
143
WordCount程序中Map和Reduce过程分析（网易云课堂Hadoop与大数据学习笔记） Map过程： （1）文件的拆分，测试用的文件较小，每个文件为一个split，并将文件按行分成<key,value>对，如下图，这一步是由框架完成： （2）将分割好的<key ,value>对交给用户定义的 ...
分类：
其他好文 时间：
2016-03-31 12:29:10
阅读次数：
203
起先我是在win7 64位上远程连接hadoop运行wordcount程序的，但是这总是需要网络，考虑到这一情况，我决定将这个环境转移到unbuntu上 需要准备的东西 一个hadoop的jar包，一个连接eclipse的插件（在解压的jar包里有这个东西），一个hadoop-core-*.jar（ ...
分类：
系统相关 时间：
2016-03-27 21:00:33
阅读次数：
326
