eclipse集成使用Hadoop插件运行WordCount程序

云地址:https://pan.baidu.com/s/1CmBAJMdcwCxLGuCwSTcJNw 密码:qocw

前提条件:启动集群 ，配置好JDK和hadoop环境变量 有必要删除 虚拟机中的output文件 使用  

[root@master sbin]# hadoop fs -rm -r /output
Deleted /output
[root@master sbin]# ll

 给hadoop文件权限  

[root@master sbin]# hadoop fs -chmod 777 /

1.打开eclopse的安装包

把下载好的hadoop插件 hadoop-eclipse-plugin-2.6.0.jar放到如上的目录下重启ecliplse

配置hadoop安装路径

选择 window-preferences-hadoop Map/Reduce - hadoop installation directory 命令选择hadoop的安装目录

注意安装目录是你配置环境变量的hadoop不然当你创建wordCount项目的时候会缺少jar包导致不能运行

配置Map/reduce

单击 window-show Perspective--other-Map/Reduce-ok 按钮配置 Map/Reduce视图

单机 window-show View-other-Map/reduce-ok按钮显示 Map/Reduce Locations 选项卡

如图所示配置主机对应

如果你的集群配置成功的话

[root@master sbin]# jps
14036 NameNode
19319 Jps
14570 ResourceManager
14302 SecondaryNameNode

这四个配置文件都有的化

出现如下界面说明连接成功 否侧会包一个

刷新项目

 如果到这里啦恭喜成功一半了

接下来需要更改hadoop的bin下的文件

如图打开目录 

复制我的百度云里面的jar包hadoop-common-2.2.0-bin-master 不同的eclipse版本可能不同

把这个目录下的所有文件copy到hadoop的bin目录下 替换并增加

回到开发环境

新建woredCount项目

正如上图描述hadoop如果配置成功这些jar包一个也不会少尤其是hadoop的jar

接下来需要我们下载的org包里面的类复制到src目录下为了防止报错

直接copy  org整个目录到hello项目的src目录下

接着找到hadoop自带的提供WordCount示例wordCount.java类

 改一下包明

就行了

由于文件没有输出所以到hadoop目录下copy一个日志文件

最后一步

hdfs://192.168.10.11:9000/input3
hdfs://192.168.10.11:9000/output/wordcount

直至控制台打印输出

成功