码迷,mamicode.com
首页 >  
搜索关键字:spark sort-based shuffle内幕彻底解密    ( 7004个结果
初探Spark
众所周知,目前大数据时代数据分析处理最常提到的是两个框架,一是Hadoop,另一个无疑便是Spark,Spark基于mapreduce算法实现的分布式计算,虽然拥有着Hadoop的优点,但是关于这个架构网上的解释并不全面,此次王家林老师带我们从技术的角度去探索一下Spark。第二代大数据技术Sp.....
分类:其他好文   时间:2014-12-04 21:12:26    阅读次数:201
Spark之MLLib学习
基于Spark On Yarn的淘宝数据挖掘平台:http://www.doc88.com/p-7804379529208.htmlSpark之MLLib机器学习库:http://blog.csdn.net/johnny_lee/article/details/25656343Spark之ALS(推...
分类:其他好文   时间:2014-12-02 23:49:03    阅读次数:230
【Spark学习】Apache Spark配置
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137969.html
分类:Web程序   时间:2014-12-02 19:10:37    阅读次数:290
【Spark学习】Apache Spark监控与测量
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137952.html
分类:Web程序   时间:2014-12-02 19:02:18    阅读次数:137
【Spark学习】Apache Spark for 第三方Hadoop分发版
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137979.html
分类:Web程序   时间:2014-12-02 18:58:17    阅读次数:163
【Spark学习】使用Maven创建Spark
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4137986.html
分类:其他好文   时间:2014-12-02 18:50:12    阅读次数:166
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节(1)
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。? 1,动手实战Scala高阶函数 声明一个List集合实例: ? List集合所在的包已经被预定义自动导入,所以此处不需要导入包,同时,...
分类:其他好文   时间:2014-12-02 00:25:44    阅读次数:173
【Spark亚太研究院系列丛书】Spark实战高手之路-第2章动手实战Scala第3小节:动手实战Scala函数式编程(1)
函数式编程的核心特色之一是把函数作为参数传递给函数、在函数内部可以定义函数等。1,动手实战Scala高阶函数声明一个List集合实例:List集合所在的包已经被预定义自动导入,所以此处不需要导入包,同时,这里直接使用List实例化对象,其实是用来List的object对象的apply方法;我们使用m...
分类:其他好文   时间:2014-12-02 00:01:29    阅读次数:270
【Spark学习】Apache Spark安全机制
Spark版本:1.1.1本文系从官方文档翻译而来,转载请尊重译者的工作,注明以下链接:http://www.cnblogs.com/zhangningbo/p/4135808.html目录Web UI事件日志网络安全(配置端口)仅适用于Standalone模式的端口适用于所有集群管理器的通用端口 ...
分类:Web程序   时间:2014-12-01 20:42:53    阅读次数:470
Spark源码学习1.1——DAGScheduler.scala
本文以Spark1.1.0版本为基础。 经过前一段时间的学习,基本上能够对Spark的工作流程有一个了解,但是具体的细节还是需要阅读源码,而且后续的科研过程中也肯定要修改源码的,所以最近开始Spark的源码的学习。首先以重要文件为基础分别分析,然后再整体的分析。(一)DAGScheduler....
分类:其他好文   时间:2014-12-01 14:16:48    阅读次数:164
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!