/**Spark SQL源代码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，并且发展速度异常迅猛，究其原因，个人觉得有下面2点： 1、整合：将SQL类型的查...
分类：
数据库 时间：
2014-11-09 09:51:02
阅读次数：
375
mvn install:install-file -DgroupId=com.asiainfo -DartifactId=spark-assembly -Dversion=1.2.0 -Dpackaging=jar -Dfile=/home/spark/software/source/compile...
分类：
其他好文 时间：
2014-11-07 16:50:59
阅读次数：
166
Tigase是一个基于Java开发的XMPP服务器，类似于Openfire，可用于搭建一个即时通讯（Instant Messaging，简称IM）的平台。1、准备在安装Tigase之前，首先需要准备Java环境以及数据库（本文使用MySQL）。Tigase下载：https://projects.tigase.org/projects/tigase-server/files下载：tigase-ser...
分类：
系统相关 时间：
2014-11-07 14:54:36
阅读次数：
394
value reduceByKey is not a member of org.apache.spark.rdd.RDD[(String, Int)]
分类：
其他好文 时间：
2014-11-06 19:08:13
阅读次数：
1293
Apache Mesos是一个集群管理器，提供了有效的、跨分布式应用或框架的资源隔离和共享，可以运行Hadoop、MPI、Hypertable、Spark。oschina.net -集群管理器 Apache Mesos
分类：
其他好文 时间：
2014-11-06 16:26:10
阅读次数：
794
这两天在看Spark HistoryServer的代码，发现里面使用了Jetty，下面简单描述下Jetty的使用有两个Servlet：HelloServlet和WorldServletpackage com.luogankun.servlet;import java.io.IOException;i...
分类：
其他好文 时间：
2014-11-06 12:51:02
阅读次数：
188
转载来自：http://www.cnblogs.com/spark-china/p/3941878.html在VMWare 中准备第二、第三台运行Ubuntu系统的机器；在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。与安装第一台Ubuntu机器不同的几...
分类：
系统相关 时间：
2014-11-05 19:38:56
阅读次数：
1295
即时通信功能已经开发完毕，现在还木有时间整理，打算后期抽时间整理后发一下源码跟教程。现在记录一下遇到的问题，首先是获取离线消息。
OfflineMessageManager是官方获取离线消息的，但是直接获取，是获取不到任何消息的，需要先设置离线，然后获取后，再上线。功能代码如下。
1、离线
// 初始化
public XMPPConnection init(LoginConfig lo...
分类：
系统相关 时间：
2014-11-05 13:07:21
阅读次数：
322
如何配置高性能的spark集群？如何配置Hadoop的配置文件？如何对spark配置进行合理的优化？...
分类：
其他好文 时间：
2014-11-04 09:26:07
阅读次数：
298
一、下载并安装openfire 1、下载最新的openfire安装文件 官方下载站点：http://www.igniterealtime.org/downloads/index.jsp#openfire openfire是服务器，下面还有一个spark，这个是一个XMPP协议通信聊天的C...
分类：
系统相关 时间：
2014-11-04 01:40:50
阅读次数：
219
