码迷,mamicode.com
首页 >  
搜索关键字:spark sort-based shuffle内幕彻底解密    ( 7004个结果
Spark深入浅出企业级最佳实践
课程介绍本课程是世界上第一Spark企业级最佳实践课程,课程包含:Spark的架构设计;Spark编程模型;Spark内核框架源码剖析;Spark的广播变量与累加器;Shark的原理和使用;Spark的机器学习;Spark的图计算GraphX;SparkSQL;Spark实时流处理;Spark程序的...
分类:其他好文   时间:2014-12-20 02:09:20    阅读次数:227
18小时内掌握Spark:把云计算大数据速度提高100倍以上
如何把云计算大数据处理速度提高100倍以上?Spark给出了答案。Spark是可以革命Hadoop的目前唯一替代者,能够做Hadoop做的一切事情,同时速度比Hadoop快了100倍以上,下图来自Spark的官方网站:LogisticregressioninHadoopandSpark可以看出在Sp...
分类:其他好文   时间:2014-12-20 02:07:34    阅读次数:361
Hadoop大数据时代:Hadoop&YarnSpark企业级最佳实践 (4天)
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课。大数据时代的精髓技术在于Hadoop、Yarn、Spark,是大数据时代公司和个人必须掌握和使用的核心内容。Hadoop、Yarn、Spark是Yahoo!、阿里淘宝...
分类:其他好文   时间:2014-12-20 02:06:55    阅读次数:314
决胜大数据时代:Hadoop&Yarn&Spark企业级最佳实践(8天完整版脱产式培训版本)
Hadoop、Yarn、Spark是企业构建生产环境下大数据中心的关键技术,也是大数据处理的核心技术,是每个云计算大数据工程师必修课。课程简介王家林老师(联系邮箱18610086859@126.com 电话:18610086859 QQ:1740415547 微信号:18610086859)大数据时...
分类:其他好文   时间:2014-12-20 02:05:27    阅读次数:286
王家林最新介绍
王家林老师(联系邮箱18610086859@126.com 电话:18610086859 QQ:1740415547 微信号:18610086859)Spark亚太研究院院长和首席专家,中国目前唯一的移动互联网和云计算大数据集大成者。Spark亚太研究院院长和首席专家,移动互联网、云计算和大数据技术...
分类:其他好文   时间:2014-12-20 02:03:01    阅读次数:353
分享一下spark streaming与flume集成的scala代码。
object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new File(".").getCanonicalPath() System.getProperties().put("h...
分类:Web程序   时间:2014-12-18 20:32:51    阅读次数:255
cassandra 服务启动流程
spark 、storm提供了向Cassandra直接存储数据的功能。但是国内对Cassandra本身的源码研究不深,参考资料较少。我将最近研究的源码分析贴上,和大家一起共享。...
分类:其他好文   时间:2014-12-18 18:49:24    阅读次数:226
Apache Spark源码走读之3 -- Task运行期之函数调用关系分析
转自:http://www.cnblogs.com/hseagle/p/3673132.html概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回。准备spark已经安装完毕spark运...
分类:Web程序   时间:2014-12-18 14:52:05    阅读次数:267
Apache Spark源码走读之2 -- Job的提交与运行
转自http://www.cnblogs.com/hseagle/p/3673123.html概要本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境搭建在进行后续操作前,确保下列条件已满足。下载spark binary 0.9.1安装scala...
分类:Web程序   时间:2014-12-18 14:49:26    阅读次数:187
Apache Spark源码走读之1 -- Spark论文阅读笔记
转自http://www.cnblogs.com/hseagle/p/3664933.html版本:未知楔子源码阅读是一件非常容易的事,也是一件非常难的事。容易的是代码就在那里,一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问题是什么。在对Spark的源码进行具...
分类:Web程序   时间:2014-12-18 13:17:29    阅读次数:285
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!