Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术，也是大数据处理的核心技术，是每个云计算大数据工程师必修课。课程简介王家林老师(联系邮箱18610086859@126.com 电话：18610086859 QQ:1740415547 微信号：18610086859)大数据时...
分类：
其他好文 时间：
2014-12-20 02:05:27
阅读次数：
286
王家林老师(联系邮箱18610086859@126.com 电话：18610086859 QQ:1740415547 微信号：18610086859)Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。Spark亚太研究院院长和首席专家，移动互联网、云计算和大数据技术...
分类：
其他好文 时间：
2014-12-20 02:03:01
阅读次数：
353
object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new File(".").getCanonicalPath() System.getProperties().put("h...
分类：
Web程序 时间：
2014-12-18 20:32:51
阅读次数：
255
spark 、storm提供了向Cassandra直接存储数据的功能。但是国内对Cassandra本身的源码研究不深，参考资料较少。我将最近研究的源码分析贴上，和大家一起共享。...
分类：
其他好文 时间：
2014-12-18 18:49:24
阅读次数：
226
转自：http://www.cnblogs.com/hseagle/p/3673132.html概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。准备spark已经安装完毕spark运...
分类：
Web程序 时间：
2014-12-18 14:52:05
阅读次数：
267
转自http://www.cnblogs.com/hseagle/p/3673123.html概要本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。实验环境搭建在进行后续操作前，确保下列条件已满足。下载spark binary 0.9.1安装scala...
分类：
Web程序 时间：
2014-12-18 14:49:26
阅读次数：
187
转自http://www.cnblogs.com/hseagle/p/3664933.html版本：未知楔子源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。在对Spark的源码进行具...
分类：
Web程序 时间：
2014-12-18 13:17:29
阅读次数：
285
转自:http://www.cnblogs.com/Scott007/p/3889959.html, 博客时间2014-08-05版本：未知1 概述 Spark的on Yarn模式，其资源分配是交给Yarn的ResourceManager来进行管理的，但是目前的Spark版本，Applicatio....
分类：
其他好文 时间：
2014-12-18 11:52:11
阅读次数：
559
Running Spark on YARNSupport for running onYARN (Hadoop NextGen)was added to Spark in version 0.6.0, and improved in subsequent releases.PreparationsR...
分类：
其他好文 时间：
2014-12-18 10:23:30
阅读次数：
506
Submitting ApplicationsThespark-submitscript in Spark’sbindirectory is used to launch applications on a cluster. It can use all of Spark’s supportedcl...
分类：
移动开发 时间：
2014-12-18 10:22:51
阅读次数：
430
