value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)]
分类：
其他好文 时间：
2014-11-06 19:08:13
阅读次数：
1293
Apache Mesos是一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行Hadoop、MPI、Hypertable、Spark。oschina.net -集群管理器 Apache Mesos
分类：
其他好文 时间：
2014-11-06 16:26:10
阅读次数：
794
这两天在看Spark HistoryServer的代码，发现里面使用了Jetty，下面简单描述下Jetty的使用有两个Servlet：HelloServlet和WorldServletpackage com.luogankun.servlet;import java.io.IOException;i...
分类：
其他好文 时间：
2014-11-06 12:51:02
阅读次数：
188
转载来自：http://www.cnblogs.com/spark-china/p/3941878.html在VMWare 中准备第二、第三台运行Ubuntu系统的机器；在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。与安装第一台Ubuntu机器不同的几...
分类：
系统相关 时间：
2014-11-05 19:38:56
阅读次数：
1295
即时通信功能已经开发完毕，现在还木有时间整理，打算后期抽时间整理后发一下源码跟教程。现在记录一下遇到的问题，首先是获取离线消息。
OfflineMessageManager是官方获取离线消息的，但是直接获取，是获取不到任何消息的，需要先设置离线，然后获取后，再上线。功能代码如下。
1、离线
// 初始化
public XMPPConnection init(LoginConfig lo...
分类：
系统相关 时间：
2014-11-05 13:07:21
阅读次数：
322
如何配置高性能的spark集群？如何配置Hadoop的配置文件？如何对spark配置进行合理的优化？...
分类：
其他好文 时间：
2014-11-04 09:26:07
阅读次数：
298
一、下载并安装openfire 1、下载最新的openfire安装文件 官方下载站点：http://www.igniterealtime.org/downloads/index.jsp#openfire openfire是服务器，下面还有一个spark，这个是一个XMPP协议通信聊天的C...
分类：
系统相关 时间：
2014-11-04 01:40:50
阅读次数：
219
结束historyserver的命令如下所示： 第四步：验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录，创建过程如下所示： Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果...
分类：
其他好文 时间：
2014-11-03 16:38:12
阅读次数：
215
结束historyserver的命令如下所示：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建..
分类：
其他好文 时间：
2014-11-03 16:35:08
阅读次数：
127
结束historyserver的命令如下所示：
第四步：验证Hadoop分布式集群
首先在hdfs文件系统上创建两个目录，创建过程如下所示：
Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建了两个文件夹：
...
分类：
其他好文 时间：
2014-11-03 16:31:40
阅读次数：
142
