转自http://www.cnblogs.com/hseagle/p/3673123.html概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala...
分类：
Web程序 时间：
2014-12-18 14:49:26
阅读次数：
187
转自http://www.cnblogs.com/hseagle/p/3664933.html版本：未知楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具...
分类：
Web程序 时间：
2014-12-18 13:17:29
阅读次数：
285
转自:http://www.cnblogs.com/Scott007/p/3889959.html, 博客时间2014-08-05版本：未知1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Applicatio....
分类：
其他好文 时间：
2014-12-18 11:52:11
阅读次数：
559
Running Spark on YARNSupport for running onYARN (Hadoop NextGen)was added to Spark in version 0.6.0, and improved in subsequent releases.PreparationsR...
分类：
其他好文 时间：
2014-12-18 10:23:30
阅读次数：
506
Submitting ApplicationsThespark-submitscript in Spark’sbindirectory is used to launch applications on a cluster. It can use all of Spark’s supportedcl...
分类：
移动开发 时间：
2014-12-18 10:22:51
阅读次数：
430
如何做集成，其实特别简单，网上其实就是教程。http://blog.csdn.net/fighting_one_piece/article/details/40667035 看这里就成。 我用的是第一种集成。。做的时候，出现了各种问题。 大概从从2014.12.17 早晨5点搞到2014.12.1....
分类：
Web程序 时间：
2014-12-17 20:39:08
阅读次数：
241
Spark Programming GuideOverviewLinking with SparkInitializing SparkUsing the ShellResilient Distributed Datasets (RDDs)Parallelized CollectionsExterna...
分类：
其他好文 时间：
2014-12-17 18:13:49
阅读次数：
310
原文：http://www.tuicool.com/articles/r22YBrRDDRDD初始参数：上下文和一组依赖abstract class RDD[T: ClassTag]( @transient private var sc: SparkContext, @transient...
分类：
其他好文 时间：
2014-12-17 18:01:48
阅读次数：
249
开发注意事项版本: spark 1.1.1 , hadoop 2.4.0, hbase 0.98.3Guide：官网说明或者 博客园内转载1.Spark 1.1.1 uses Scala 2.10. To write applications in Scala, you will need to u...
分类：
其他好文 时间：
2014-12-17 17:49:06
阅读次数：
132
From apacheAdvanced Spark Internals and Tuning – Reynold Xin –SLIDES|VIDEOSpark SQL – Michael Armburst –SLIDES|VIDEOSpark Streaming – Tathagata Das –S...
分类：
其他好文 时间：
2014-12-17 12:33:45
阅读次数：
174
