Spark生态圈，也就是BDAS（伯克利数据分析栈），是伯克利APMLab实验室精心打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成，来展现大数据应用的一个平台，其核心引擎就是Spark，其计算基础是弹性分布式数据集，也就是RDD。通...
分类：
其他好文 时间：
2014-09-12 11:27:23
阅读次数：
293
Spark Streaming can receive streaming data from any arbitrary data source beyond the one’s for which it has in-built support (that is, beyond Flume, K...
分类：
其他好文 时间：
2014-09-12 11:26:13
阅读次数：
279
1.查看执行过的命令（历史文件）执行过的命令，可以在终端按上下方向键来选择。用History命令会列出历史命令（只保存最近使用的一千条命令，保存在家目录.bash_history文件）前面是标号，后面是内容。！+标号：可以调用History命令所显示出的标号对应的命令！+命令前几个字母：..
分类：
系统相关 时间：
2014-09-12 02:30:43
阅读次数：
244
第一步：通过Spark的shell测试Spark的工作 ? Step1:启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下： Step2:启动Spark Shell： 此时可以通过如下Web控制台查看shell的情况： Step3:把Spark安装目...
分类：
其他好文 时间：
2014-09-11 13:59:12
阅读次数：
171
第一步：通过Spark的shell测试Spark的工作Step1:启动Spark集群，这一点在第三讲讲的极为细致，启动后的WebUI如下：Step2:启动Spark Shell：此时可以通过如下Web控制台查看shell的情况：Step3:把Spark安装目录“README.md”拷贝到HDFS系统...
分类：
其他好文 时间：
2014-09-11 13:52:12
阅读次数：
228
近公司项目需要用到即时通讯功能，经过调研发现openfire+spark+smack可以实现。在网上找了很久，资料都十分有限，即使有些朋友实现了也说的不清不楚。于是决定自己研究，耗时一周的时间实现了文字通讯和文件传输的功能。现发帖分享给有需要的朋友，也希望大家能够把自己的资料都分享出来，不要敝扫自珍...
分类：
其他好文 时间：
2014-09-11 13:49:01
阅读次数：
170
spark:Cross-platform real-time collaboration client optimized for business and organizations.Spark is a full-features instant messaging (IM) and group...
分类：
其他好文 时间：
2014-09-11 13:43:01
阅读次数：
209
Spark之所以万人瞩目，除了内存计算，还有其ALL-IN-ONE的特性，实现了One stack rule them all。下面简单模拟了几个综合应用场景，不仅使用了sparkSQL，还使用了其他Spark组件：
店铺分类，根据销售额对店铺分类货品调拨，根据货品的销售数量和店铺之间的距离进行货品调拨
前者将使用sparkSQL+MLlib的聚类算法，后者将使用s...
分类：
数据库 时间：
2014-09-11 09:39:41
阅读次数：
292
之所以要写这个东西，因为一些感悟。还有就是对前人的尊重。各位看官随便看看。
1.为何叫Hunting-Girls Introduction
第二版？
History：在ACM界中有一位大师，人送江湖称号白衣少年。人称白神。大家可以再wiki里看： http://acmdiy.org/wiki/index.php?title=白衣少年;
Contents：白神精于把妹，有传说与《算法导论》与...
分类：
其他好文 时间：
2014-09-11 02:19:31
阅读次数：
183
sparkSpark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。所以这是把计算过程传递给数据。这和Hadoopmap/reduce非常相似，除了积极使用内存来避免I/O操作，以使得迭代算法（前一步计算输...
分类：
其他好文 时间：
2014-09-10 22:26:41
阅读次数：
191
