欢迎关注我的新博客地址：http://cuipengfei.me/blog/2014/10/31/spark-fold-aggregate-why-not-foldleft/
大家都知道Scala标准库的List有一个用来做聚合操作的foldLeft方法。
比如我定义一个公司类：
1
case class Company(name:String, ...
/**Spark SQL源代码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，并且发展速度异常迅猛，究其原因，个人觉得有下面2点： 1、整合：将SQL类型的查...
分类：
数据库 时间：
2014-11-09 09:51:02
阅读次数：
375
今天在用Streaming-Python处理一个MapReduce程序时，发现reducer失败，原因为耗费内存达到极限了！仔细查看代码时，发现有一个集合里保存着URL，而URL长度是比较长的，直接保存确实是耗费内存，于是想到用压缩存储，然后用的时候再解压，虽然处理时间增加，但是耗费内存大大降低！
具体就是使用zlib模块
import zlib
raw_data = "hello,wor...
分类：
编程语言 时间：
2014-11-08 07:06:23
阅读次数：
323
EasyDarwin是在Apple开源流媒体服务器Darwin Streaming Server（v6.0.3）基础上进行开发和维护的免费开源、高效、易扩展的面向企业级的流媒体平台框架，开始于2013年，遵循 Apple开源License，为了敏捷流媒体服务器开发和简化企业流媒体应用开发而诞生的。 EasyDarwin一直以来保持Darwin原有体系结构和设计思想，在保持出色的性能和简洁的代码同时，也在不断优化其底层效率和上层通用性。在广大开源爱好者的积极参与和努力下， 易用性、扩展性和稳定性等方面不断优化...
mvn install:install-file -DgroupId=com.asiainfo -DartifactId=spark-assembly -Dversion=1.2.0 -Dpackaging=jar -Dfile=/home/spark/software/source/compile...
分类：
其他好文 时间：
2014-11-07 16:50:59
阅读次数：
166
Tigase是一个基于Java开发的XMPP服务器，类似于Openfire，可用于搭建一个即时通讯（Instant Messaging，简称IM）的平台。1、准备在安装Tigase之前，首先需要准备Java环境以及数据库（本文使用MySQL）。Tigase下载：https://projects.tigase.org/projects/tigase-server/files下载：tigase-ser...
分类：
系统相关 时间：
2014-11-07 14:54:36
阅读次数：
394
value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)]
分类：
其他好文 时间：
2014-11-06 19:08:13
阅读次数：
1293
Apache Mesos是一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行Hadoop、MPI、Hypertable、Spark。oschina.net -集群管理器 Apache Mesos
分类：
其他好文 时间：
2014-11-06 16:26:10
阅读次数：
794
这两天在看Spark HistoryServer的代码，发现里面使用了Jetty，下面简单描述下Jetty的使用有两个Servlet：HelloServlet和WorldServletpackage com.luogankun.servlet;import java.io.IOException;i...
分类：
其他好文 时间：
2014-11-06 12:51:02
阅读次数：
188
转载来自：http://www.cnblogs.com/spark-china/p/3941878.html在VMWare 中准备第二、第三台运行Ubuntu系统的机器；在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。与安装第一台Ubuntu机器不同的几...
分类：
系统相关 时间：
2014-11-05 19:38:56
阅读次数：
1295
