1、同步时钟自动同步crontab -e输入如下内容 01*** /usr/sbin/ntpdate us.pool.ntp.org2、配置主机名gedit /etc/sysconfig/network 修改主机名如下NETWORKING=yes #启动网络NETWORKING_IPV6=noHOS...
分类：
其他好文 时间：
2014-11-10 21:45:00
阅读次数：
201
用到的软件：Hadoop-2.4.0、scala-2.10.4、spark-1.1.0一、预备工作配好ssh二、配置工作首先配置Hadoop 这个可以参考官方网站电接点配置http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-...
分类：
其他好文 时间：
2014-11-10 11:23:08
阅读次数：
183
下载最新的openfire安装文件官方下载站点：http://www.igniterealtime.org/downloads/index.jsp#openfire我使用的是zip解压版的安装文件。其中openfire是服务器，下面还有一个spark，这个是一个XMPP协议通信聊天的CS的IM软件，...
分类：
其他好文 时间：
2014-11-10 11:17:46
阅读次数：
124
IDE：eclipseSpark:spark-1.1.0-bin-hadoop2.4scala:2.10.4创建scala工程，编写wordcount程序如下package com.luogankun.spark.baseimport org.apache.spark.SparkConfimport...
分类：
编程语言 时间：
2014-11-09 23:29:11
阅读次数：
231
汇集了spark所支持的Transformation和Action...
分类：
其他好文 时间：
2014-11-09 15:15:51
阅读次数：
149
欢迎关注我的新博客地址：http://cuipengfei.me/blog/2014/10/31/spark-fold-aggregate-why-not-foldleft/大家都知道Scala标准库的List有一个用来做聚合操作的foldLeft方法。比如我定义一个公司类：1case class ...
欢迎关注我的新博客地址：http://cuipengfei.me/blog/2014/10/31/spark-fold-aggregate-why-not-foldleft/
大家都知道Scala标准库的List有一个用来做聚合操作的foldLeft方法。
比如我定义一个公司类：
1
case class Company(name:String, ...
/**Spark SQL源代码分析系列文章*/ 自从去年Spark Submit 2013 Michael Armbrust分享了他的Catalyst，到至今1年多了,Spark SQL的贡献者从几人到了几十人，并且发展速度异常迅猛，究其原因，个人觉得有下面2点： 1、整合：将SQL类型的查...
分类：
数据库 时间：
2014-11-09 09:51:02
阅读次数：
375
mvn install:install-file -DgroupId=com.asiainfo -DartifactId=spark-assembly -Dversion=1.2.0 -Dpackaging=jar -Dfile=/home/spark/software/source/compile...
分类：
其他好文 时间：
2014-11-07 16:50:59
阅读次数：
166
Tigase是一个基于Java开发的XMPP服务器，类似于Openfire，可用于搭建一个即时通讯（Instant Messaging，简称IM）的平台。1、准备在安装Tigase之前，首先需要准备Java环境以及数据库（本文使用MySQL）。Tigase下载：https://projects.tigase.org/projects/tigase-server/files下载：tigase-ser...
分类：
系统相关 时间：
2014-11-07 14:54:36
阅读次数：
394
