这篇文章介绍的是简单的配置Hadoop集群的方法,适合实验和小型项目用,正式运行的集群需要用更正规的方法和更详细的参数配置,不适合使用这篇文章。安装
JDK在终端输入$ java -version如果有反应,说明已安装过jdk。如果显示的信息里出现了类似OpenJDK的字样,如java versio...
分类:
其他好文 时间:
2014-06-07 02:53:11
阅读次数:
336
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 13:26:48
阅读次数:
538
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 13:25:19
阅读次数:
400
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 13:12:51
阅读次数:
394
声明:
1)本文由我bitpeach原创撰写,转载时请注明出处,侵权必究。2)本小实验工作环境为Windows系统下的百度云(联网),和Ubuntu系统的hadoop1-2-1(自己提前配好)。如不清楚配置可看《Hadoop之词频统计小实验初步配置》3)本文由于过长,无法一次性上传。其相邻相关的博....
分类:
其他好文 时间:
2014-05-30 12:45:25
阅读次数:
563
在wordcount
程序的main函数中,没有读取运行环境中的各种参数的值,全靠hadoop系统的默认参数跑起来,这样做是有风险的,最突出的就是OOM错误。
自己在刚刚学习hadoop编程时,就是模仿wordcount程序编写。在数据量很小,作为demo程序跑,不会有什么问题,但当数据量激增,变成...
分类:
其他好文 时间:
2014-05-30 08:32:02
阅读次数:
176
前面提到,反省不是目的,目的是要改变自己。
最近自己在业余时间在研究微信公众平台开发,在成为开发者的时候,URL一直不知道该怎么写,百度云开发者平台也没有提供对应C#的服务器。下载了个PHP的照葫芦画瓢,连蒙带造的简单的做了一个小的Demo。对于里面语法什么自己完全不懂,果然是彻彻底底的PHP...
分类:
Web程序 时间:
2014-05-29 21:34:11
阅读次数:
355
a.
在hadoop解压目录下,找到src\contrib\eclipse-plugin\build.xml,增加如下几行: b. 在build.xml增加如下:c.
在build.xml,修改如下:d. 找到src\contrib\build-contrib....
分类:
系统相关 时间:
2014-05-29 20:48:43
阅读次数:
439
一开始始终找不到网上说得create_project.py,所以网上通过这个的方法行不通。所以就找了点关于3.0的资料,貌似在3.0正式版里是通过**/cocos2d-x-3.0/tools/cocos2d-console/bin/cocos.py来创建工程的。不过3.0正式版要先搞定环境变量。。1...
分类:
其他好文 时间:
2014-05-29 15:35:18
阅读次数:
338
http://dongxicheng.org/mapreduce/hadoop-join-two-tables/http://dongxicheng.org/mapreduce/run-hadoop-job-problems/http://dongxicheng.org/mapreduce/hdfs...
分类:
其他好文 时间:
2014-05-29 12:27:09
阅读次数:
260