Eclipse搭建hadoop开发环境

标签：hadoop

1、  软件环境

a)        Eclipse

b)        运行中的hadoop集群

2、  eclipse上安装hadoop插件

a)        首先将eclipse Hadoop的插件放置到eclipse/plugins目录下，重启eclipse

b)        如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。

PS：这个路径是hadoop的路径，eclipse会从这里获取一定的jar包

如图：

c)        配置Map/Reduce Locations，打开Windows—Open Perspective—other—Map/ReduceLocations—OK

如图：

d)        点击新增hadoop

如图：

3、  新建WordCount项目

a)        上传两个文件到hadoop集群里面

b)        分别写Mapper、Reducer、Main，如图所示：

c)        运行WordCountMain.java，Run As-----Run Configurations，然后配置如图：

d)        结果如图：

4、  碰到的错误

a)        Windows eclipse配置插件时候，碰到权限不够（org.apache.hadoop.security.AccessControlException），导致不能连接到hadoop，

解决方案：

1、  将windows的账户名和用户组都设置成hadoop启动的账号一样的名字

2、  如果是自己的测试机器，可以关闭dfs的权限检测，在conf/hdfs-site.xml 将dfs.permissions修改成false

b)        Exception inthread "main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to0700

这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。
　　解决方法是，修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）

5、  建议：

         在Ubuntu下面运行eclipse

Eclipse搭建hadoop开发环境

标签：hadoop

原文地址：http://blog.csdn.net/tec_feng/article/details/41660257