码迷,mamicode.com
首页 > 系统相关 > 详细

Hadoop在eclipse中的配置

时间:2016-10-30 19:15:26      阅读:294      评论:0      收藏:0      [点我收藏+]

标签:ref   个数   搭建   实现   编译   com   端口号   tar   hadoop   

在安装完linux下的hadoop框架,实现完所现有的wordCount程序,能够完美输出结果之后,我们开始来搭建在window下的eclipse的环境,进行相关程序的编写。

在网上有很多未编译版本,需要手动进行相关编辑,所以特地找了一个已经编译完好的插件

eclipse版本:SR2-kepler

java版本:1.8.101

Hadoop 版本:hadoop2.5.2.tar.gz

需要hadoop的插件:eclipse-hadoop-2.5.2-plugin        http://pan.baidu.com/s/1qYMtefq

安装步骤:

 

一、首先将hadoop-2.5.2.tar.gz解压,作为Hadoop的安装目录。

     设置Hadoop的环境变量。在环境变量中,添加HADOOP_HOME=安装目录,然后在PATH的变量中增加%HADOOP_HOME%\bin

 

二、修改电脑中hosts文件。

  进入到c:/window/system32/drive/etc 文件夹中,可以找到hosts文件。在hosts文件中添加相关的IP设置(主要是虚拟机的IP地址,进行相关的配置,可以将文件进行互相传递)

 

三、讲下载的hadoop插件复制到eclipse安装目录中的plugin文件夹中,重启eclipse,然后打开window->preferences中可以看到增加了Hadoop mapreduced的选项。结果如图所示:

技术分享

点击该选项后,出现右侧内容,添加hadoop的安装路径。

 

四、进行hadoop在eclipse中的相关端口配置。

点击window->open perspective->other中,出现如下内容:

技术分享

点击Map/Reduce,之后eclipse中的右侧边栏中,会出现DFS locations的选择,然后左键,之后在下方的控制栏中会出现一个Map/Reduced location的控制窗口,点击,在控制窗口下方右键,创建new hadoop location,

 技术分享

出现如图所示的编辑配置,然后填入你在hadoop中的配置的IP地址和端口号。

直到现在,所有的有关的eclipse的配置已经完成。如果在DFS location 中显示了原有Hadoop集群上的文件个数,那么说明连接是成功,如果没有出现,说明连接是失败的,需要进行相关的查询。纠正错误。

下面需要进入测试阶段。

①、创建新的项目

技术分享

 

选择Map/Reduce Project项目,进行相关的项目创建。

 

Hadoop在eclipse中的配置

标签:ref   个数   搭建   实现   编译   com   端口号   tar   hadoop   

原文地址:http://www.cnblogs.com/youngyan/p/6013579.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!