众所周知,目前大数据时代数据分析处理最常提到的是两个框架,一是Hadoop,另一个无疑便是Spark,Spark基于mapreduce算法实现的分布式计算,虽然拥有着Hadoop的优点,但是关于这个架构网上的解释并不全面,此次王家林老师带我们从技术的角度去探索一下Spark。第二代大数据技术Sp.....
分类:
其他好文 时间:
2014-12-04 21:12:26
阅读次数:
201
基于Spark On Yarn的淘宝数据挖掘平台:http://www.doc88.com/p-7804379529208.htmlSpark之MLLib机器学习库:http://blog.csdn.net/johnny_lee/article/details/25656343Spark之ALS(推...
分类:
其他好文 时间:
2014-12-02 23:49:03
阅读次数:
230
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137969.html
分类:
Web程序 时间:
2014-12-02 19:10:37
阅读次数:
290
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137952.html
分类:
Web程序 时间:
2014-12-02 19:02:18
阅读次数:
137
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137979.html
分类:
Web程序 时间:
2014-12-02 18:58:17
阅读次数:
163
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137986.html
分类:
其他好文 时间:
2014-12-02 18:50:12
阅读次数:
166
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。? 1,动手实战Scala高阶函数 声明一个List集合实例: ? List集合所在的包已经被预定义自动导入,所以此处不需要导入包,同时,...
分类:
其他好文 时间:
2014-12-02 00:25:44
阅读次数:
173
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。1,动手实战Scala高阶函数声明一个List集合实例:List集合所在的包已经被预定义自动导入,所以此处不需要导入包,同时,这里直接使用List实例化对象,其实是用来List的object对象的apply方法;我们使用m...
分类:
其他好文 时间:
2014-12-02 00:01:29
阅读次数:
270
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4135808.html目录Web UI事件日志网络安全(配置端口)仅适用于Standalone模式的端口适用于所有集群管理器的通用端口 ...
分类:
Web程序 时间:
2014-12-01 20:42:53
阅读次数:
470
本文以Spark1.1.0版本为基础。 经过前一段时间的学习,基本上能够对Spark的工作流程有一个了解,但是具体的细节还是需要阅读源码,而且后续的科研过程中也肯定要修改源码的,所以最近开始Spark的源码的学习。首先以重要文件为基础分别分析,然后再整体的分析。(一)DAGScheduler....
分类:
其他好文 时间:
2014-12-01 14:16:48
阅读次数:
164