码迷,mamicode.com
首页 >  
搜索关键字:spark history    ( 9960个结果
原理系列:Spark1.x 生态圈一览
Spark生态圈,也就是BDAS(伯克利数据分析栈),是伯克利APMLab实验室精心打造的,力图在算法(Algorithms)、机器(Machines)、人(People)之间通过大规模集成,来展现大数据应用的一个平台,其核心引擎就是Spark,其计算基础是弹性分布式数据集,也就是RDD。通...
分类:其他好文   时间:2014-09-12 11:27:23    阅读次数:293
开发系列:03、Spark Streaming Custom Receivers(译)
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类:其他好文   时间:2014-09-12 11:26:13    阅读次数:279
Linux学习笔记2
1.查看执行过的命令(历史文件)执行过的命令,可以在终端按上下方向键来选择。用History命令会列出历史命令(只保存最近使用的一千条命令,保存在家目录.bash_history文件)前面是标号,后面是内容。!+标号:可以调用History命令所显示出的标号对应的命令!+命令前几个字母:..
分类:系统相关   时间:2014-09-12 02:30:43    阅读次数:244
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(1)
第一步:通过Spark的shell测试Spark的工作 ? Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下: Step2:启动Spark Shell: 此时可以通过如下Web控制台查看shell的情况: Step3:把Spark安装目...
分类:其他好文   时间:2014-09-11 13:59:12    阅读次数:171
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第四步)(1)
第一步:通过Spark的shell测试Spark的工作Step1:启动Spark集群,这一点在第三讲讲的极为细致,启动后的WebUI如下:Step2:启动Spark Shell:此时可以通过如下Web控制台查看shell的情况:Step3:把Spark安装目录“README.md”拷贝到HDFS系统...
分类:其他好文   时间:2014-09-11 13:52:12    阅读次数:228
openfire+spark+smack实现即时通讯
近公司项目需要用到即时通讯功能,经过调研发现openfire+spark+smack可以实现。在网上找了很久,资料都十分有限,即使有些朋友实现了也说的不清不楚。于是决定自己研究,耗时一周的时间实现了文字通讯和文件传输的功能。现发帖分享给有需要的朋友,也希望大家能够把自己的资料都分享出来,不要敝扫自珍...
分类:其他好文   时间:2014-09-11 13:49:01    阅读次数:170
即时通信Spark安装和配置
spark:Cross-platform real-time collaboration client optimized for business and organizations.Spark is a full-features instant messaging (IM) and group...
分类:其他好文   时间:2014-09-11 13:43:01    阅读次数:209
sparkSQL1.1入门之八:sparkSQL之综合应用
Spark之所以万人瞩目,除了内存计算,还有其ALL-IN-ONE的特性,实现了One stack rule them all。下面简单模拟了几个综合应用场景,不仅使用了sparkSQL,还使用了其他Spark组件: 店铺分类,根据销售额对店铺分类货品调拨,根据货品的销售数量和店铺之间的距离进行货品调拨       前者将使用sparkSQL+MLlib的聚类算法,后者将使用s...
分类:数据库   时间:2014-09-11 09:39:41    阅读次数:292
把妹导论第二版(Hunting-Girls Introduction II)
之所以要写这个东西,因为一些感悟。还有就是对前人的尊重。各位看官随便看看。 1.为何叫Hunting-Girls Introduction 第二版? History:在ACM界中有一位大师,人送江湖称号白衣少年。人称白神。大家可以再wiki里看: http://acmdiy.org/wiki/index.php?title=白衣少年; Contents:白神精于把妹,有传说与《算法导论》与...
分类:其他好文   时间:2014-09-11 02:19:31    阅读次数:183
Storm和Spark比较
sparkSpark基于这样的理念,当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储(或缓存)它的数据集,然后任务被提交给节点。所以这是把计算过程传递给数据。这和Hadoopmap/reduce非常相似,除了积极使用内存来避免I/O操作,以使得迭代算法(前一步计算输...
分类:其他好文   时间:2014-09-10 22:26:41    阅读次数:191
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!