记录安装Spark环境的过程。前提是Hadoop集群已经安装,详见:Hadoop 2.X 集群安装环境:Centos 6.4 X64 & Hadoop 2.2(三节点集群) & Spark 1.01、获取Spark源码,可以去官网下载,解压。2、编译源码。1)先安装Maven。2)进入源码目录,执行...
分类:
其他好文 时间:
2014-07-16 19:28:29
阅读次数:
180
4.3 Map类 创建Map类和map函数,map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的,当处理每一个键值对的时候,都要调用一次map方法,用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次,...
分类:
其他好文 时间:
2014-07-14 08:35:18
阅读次数:
311
启动namenode,通过50070端口查看,发现livenode只有一个--namenode,查看datanode日志,发现有”Incompatible clusterIDs“错误,提示很明显,namenode和datanode的集群id不一致解决办法:找到core-site.xml配置文件,进入...
分类:
其他好文 时间:
2014-07-14 00:54:10
阅读次数:
196
Google声称内部已经抛弃Map-reduce几年了,并在今年的Google IO大会高调发布Cloud Dataflow系统。本文介绍了在这个新框架下如何进行分布式计算,并与现有基于Hadoop的Twitter Summingbird以及Spark框架进行了对比。
分类:
其他好文 时间:
2014-07-13 20:29:26
阅读次数:
353
异常截图:原因很简单,Hadoop对应的eclipse插件jar包版本不对,更换至响应版本即可。
分类:
编程语言 时间:
2014-07-13 19:48:47
阅读次数:
323
FATAL conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 1 of 1-byte UTF-8 sequence.
14/07/12 23:51:40 ERROR namenode....
分类:
其他好文 时间:
2014-07-13 18:40:22
阅读次数:
291
1:输入命令gredit /etc/hosts
这样你就打开了一个文本,然后在文本的末尾进行添加如下:
ip地址 主机名
192.168.0.125 hadoop
保存退出。...
分类:
系统相关 时间:
2014-07-13 18:14:09
阅读次数:
229
hadoop的安装不难,但是需要做不少的准备工作。
一、JDK
需要先安装jdk。centos下可以直接通过yum install java-1.6.0-openjdk来安装。不同发布版的安装方式可能不一样。
之后,需要设置ssh为密钥认证登录。如果没有这一步,那么以后每次hadoop运行的时候都会提示输入密码。可以直接ssh-keygen -t rsa一路回车生成ssh的密钥对,然...
分类:
其他好文 时间:
2014-07-13 18:12:08
阅读次数:
278
前面几章节谈论了企业如何利用大数据帮助企业建立精准营销模型,大家了解了"大数据"\"小数据",那么数据本身的问题解决了,今天我说一下另外一个非常重要的概念,就是"即时性"。可以说大数据最重要的意义之一是解决了营销上的“实时性”问题,在当下手机、平板多屏运作,快速处理用..
分类:
其他好文 时间:
2014-07-13 15:18:57
阅读次数:
183
最近一段时间,因为搞hadoop的缘故,考虑到启动linux桌面会给电脑带来比较卡。。所以就将图形界面的启动给关闭,完全在命令的模式下使用linux。
使用yum搭建了ftp服务。。yum的使用参考:http://blog.csdn.net/enson16855/article/details/9140623
windows使用FileZilla连接linux的ftp,比较郁闷的是上传问题,弄...
分类:
其他好文 时间:
2014-07-13 14:04:11
阅读次数:
324