spark 、storm提供了向Cassandra直接存储数据的功能。但是国内对Cassandra本身的源码研究不深,参考资料较少。我将最近研究的源码分析贴上,和大家一起共享。...
分类:
其他好文 时间:
2014-12-18 18:49:24
阅读次数:
226
原文引自:原文引自:http://blog.csdn.net/hguisu/article/details/7996185 感谢1. PageRank算法概述 PageRank,即网页排名,又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早...
分类:
编程语言 时间:
2014-12-18 18:36:53
阅读次数:
199
原文引自:http://blog.csdn.net/hguisu/article/details/8005192,感谢前面的讨论提到。PageRank忽略了主题相关性,导致结果的相关性和主题性降低,对于不同的用户,甚至有很大的差别。例如,当搜索“苹果”时,一个数码爱好者可能是想要看 iphone 的...
分类:
编程语言 时间:
2014-12-18 18:13:17
阅读次数:
181
转自:http://www.cnblogs.com/hseagle/p/3673132.html概要本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的,另外试图讲清楚运行着的task其输入的数据从哪获取,处理的结果返回到哪里,如何返回。准备spark已经安装完毕spark运...
分类:
Web程序 时间:
2014-12-18 14:52:05
阅读次数:
267
转自http://www.cnblogs.com/hseagle/p/3673123.html概要本文以wordCount为例,详细说明spark创建和运行job的过程,重点是在进程及线程的创建。实验环境搭建在进行后续操作前,确保下列条件已满足。下载spark binary 0.9.1安装scala...
分类:
Web程序 时间:
2014-12-18 14:49:26
阅读次数:
187
转自http://www.cnblogs.com/hseagle/p/3664933.html版本:未知楔子源码阅读是一件非常容易的事,也是一件非常难的事。容易的是代码就在那里,一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计,设计之初要解决的主要问题是什么。在对Spark的源码进行具...
分类:
Web程序 时间:
2014-12-18 13:17:29
阅读次数:
285
转自:http://www.cnblogs.com/Scott007/p/3889959.html, 博客时间2014-08-05版本:未知1 概述 Spark的on Yarn模式,其资源分配是交给Yarn的ResourceManager来进行管理的,但是目前的Spark版本,Applicatio....
分类:
其他好文 时间:
2014-12-18 11:52:11
阅读次数:
559
Running Spark on YARNSupport for running onYARN (Hadoop NextGen)was added to Spark in version 0.6.0, and improved in subsequent releases.PreparationsR...
分类:
其他好文 时间:
2014-12-18 10:23:30
阅读次数:
506
Submitting ApplicationsThespark-submitscript in Spark’sbindirectory is used to launch applications on a cluster. It can use all of Spark’s supportedcl...
分类:
移动开发 时间:
2014-12-18 10:22:51
阅读次数:
430
本文引自http://blog.jobbole.com/23286/很早就对Google的PageRank算法很感兴趣,但一直没有深究,只有个轮廓性的概念。前几天趁团队outing的机会,在动车上看了一些相关的资料(PS:在动车上看看书真是一种享受),趁热打铁,将所看的东西整理成此文。本文首先会讨论...
分类:
编程语言 时间:
2014-12-18 10:09:45
阅读次数:
392