用到的软件：Hadoop-2.4.0、scala-2.10.4、spark-1.1.0一、预备工作配好ssh二、配置工作首先配置Hadoop 这个可以参考官方网站电接点配置http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-...
分类：
其他好文 时间：
2014-11-10 11:23:08
阅读次数：
183
下载最新的openfire安装文件官方下载站点：http://www.igniterealtime.org/downloads/index.jsp#openfire我使用的是zip解压版的安装文件。其中openfire是服务器，下面还有一个spark，这个是一个XMPP协议通信聊天的CS的IM软件，...
分类：
其他好文 时间：
2014-11-10 11:17:46
阅读次数：
124
IDE：eclipseSpark:spark-1.1.0-bin-hadoop2.4scala:2.10.4创建scala工程，编写wordcount程序如下package com.luogankun.spark.baseimport org.apache.spark.SparkConfimport...
分类：
编程语言 时间：
2014-11-09 23:29:11
阅读次数：
231
一、zabbix数据库zabbix-server将采集到的数据存储在数据库中，最常用的Mysql,数据存储的大小和每秒处理的数据量有关，数据存储取决于每秒处理的数据量和Housekeeper的删除数据。zabbix-server讲采集到的数据主要存储在History和Trends表中History表...
分类：
其他好文 时间：
2014-11-09 22:11:04
阅读次数：
339
汇集了spark所支持的Transformation和Action...
分类：
其他好文 时间：
2014-11-09 15:15:51
阅读次数：
149
欢迎关注我的新博客地址：http://cuipengfei.me/blog/2014/10/31/spark-fold-aggregate-why-not-foldleft/大家都知道Scala标准库的List有一个用来做聚合操作的foldLeft方法。比如我定义一个公司类：1case class ...
Eclipse下还原文件做项目的时候，不小心把Eclipse下的么个文件删除了,虽然有svn但是最新修改的代码没有提交，怎么办，在网上查了下,eclipse是可以还原删除文件的。具体做法如下所示恢复删除的文件1 在项目上点击鼠标右键，选择Restore From Local History恢复修改的...
分类：
系统相关 时间：
2014-11-09 13:59:23
阅读次数：
219
欢迎关注我的新博客地址：http://cuipengfei.me/blog/2014/10/31/spark-fold-aggregate-why-not-foldleft/
大家都知道Scala标准库的List有一个用来做聚合操作的foldLeft方法。
比如我定义一个公司类：
1
case class Company(name:String, ...
/**Spark SQL源代码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，并且发展速度异常迅猛，究其原因，个人觉得有下面2点： 1、整合：将SQL类型的查...
分类：
数据库 时间：
2014-11-09 09:51:02
阅读次数：
375
题目来自:NYOJ
田忌赛马
时间限制：3000 ms | 内存限制：65535 KB
难度：3
描述Here is a famous story in Chinese history.
"That was about 2300 years ago. General Tian Ji was a high official in the country Qi...
分类：
其他好文 时间：
2014-11-08 12:06:48
阅读次数：
214
