Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通...
分类:
其他好文 时间:
2014-09-12 11:27:23
阅读次数:
293
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类:
其他好文 时间:
2014-09-12 11:26:13
阅读次数:
279
1.查看执行过的命令(历史文件)执行过的命令,可以在终端按上下方向键来选择。用History命令会列出历史命令(只保存最近使用的一千条命令,保存在家目录.bash_history文件)前面是标号,后面是内容。!+标号:可以调用History命令所显示出的标号对应的命令!+命令前几个字母:..
分类:
系统相关 时间:
2014-09-12 02:30:43
阅读次数:
244
第一步:通过Spark的shell测试Spark的工作 ? Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下: Step2:启动Spark Shell: 此时可以通过如下Web控制台查看shell的情况: Step3:把Spark安装目...
分类:
其他好文 时间:
2014-09-11 13:59:12
阅读次数:
171
第一步:通过Spark的shell测试Spark的工作Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下:Step2:启动Spark Shell:此时可以通过如下Web控制台查看shell的情况:Step3:把Spark安装目录“README.md”拷贝到HDFS系统...
分类:
其他好文 时间:
2014-09-11 13:52:12
阅读次数:
228
近公司项目需要用到即时通讯功能,经过调研发现openfire+spark+smack可以实现。在网上找了很久,资料都十分有限,即使有些朋友实现了也说的不清不楚。于是决定自己研究,耗时一周的时间实现了文字通讯和文件传输的功能。现发帖分享给有需要的朋友,也希望大家能够把自己的资料都分享出来,不要敝扫自珍...
分类:
其他好文 时间:
2014-09-11 13:49:01
阅读次数:
170
spark:Cross-platform real-time collaboration client optimized for business and organizations.Spark is a full-features instant messaging (IM) and group...
分类:
其他好文 时间:
2014-09-11 13:43:01
阅读次数:
209
Spark之所以万人瞩目,除了内存计算,还有其ALL-IN-ONE的特性,实现了One stack rule them all。下面简单模拟了几个综合应用场景,不仅使用了sparkSQL,还使用了其他Spark组件:
店铺分类,根据销售额对店铺分类货品调拨,根据货品的销售数量和店铺之间的距离进行货品调拨
前者将使用sparkSQL+MLlib的聚类算法,后者将使用s...
分类:
数据库 时间:
2014-09-11 09:39:41
阅读次数:
292
之所以要写这个东西,因为一些感悟。还有就是对前人的尊重。各位看官随便看看。
1.为何叫Hunting-Girls Introduction
第二版?
History:在ACM界中有一位大师,人送江湖称号白衣少年。人称白神。大家可以再wiki里看: http://acmdiy.org/wiki/index.php?title=白衣少年;
Contents:白神精于把妹,有传说与《算法导论》与...
分类:
其他好文 时间:
2014-09-11 02:19:31
阅读次数:
183
sparkSpark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。所以这是把计算过程传递给数据。这和Hadoopmap/reduce非常相似,除了积极使用内存来避免I/O操作,以使得迭代算法(前一步计算输...
分类:
其他好文 时间:
2014-09-10 22:26:41
阅读次数:
191