利用eclipse远程调试功能,实现sqoop本地环境集成:利用cygwin部署0、将sqoop-1.4.2放在/home/Administrator/hadoop1、sqoop中设置HOME_HOME:修改SQOOP_HOME/bin/configure-sqoop:HADOOP_HOME=/cygdrive/e/work/hadoop-1.0.3(cygwin的目录配置方式)2、hadoop配置java_home$..
分类:
其他好文 时间:
2015-06-03 13:56:58
阅读次数:
208
利用eclipse远程调试功能,实现sqoop 本地环境集成:利用cygwin部署0、将sqoop-1.4.2放在/home/Administrator/hadoop1、sqoop中设置HOME_HOME: 修改SQOOP_HOME/bin/configure-sqoop:HADOOP_HOME=/...
分类:
其他好文 时间:
2015-06-03 13:10:24
阅读次数:
161
Hadoop部署 Ubuntu14.04 Hadoop有3种部署方式。单机模式,伪分布模式,完全分布式(集群,3个节点)。一、单机模式1 基础环境1.1创建hadoop用户组sudo addgroup hadoop1.2创建hadoop用户sudo adduser -ingroup hadoop h...
分类:
系统相关 时间:
2015-06-02 17:25:12
阅读次数:
375
这是解压hadoop后,hadoop-1.2.1目录各目录结构及说明:Eclipse导入Hadoop源码项目:注意:如果没有ant的包可以去网上下,不是hadoop里面的。然后如果通过以上还报错的话,可以右键点击项目,然后如下图(配置**/*):
分类:
系统相关 时间:
2015-05-30 23:55:18
阅读次数:
284
原创文章,转载请注明:转载自工学1号馆欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章在hadoop-1.0中,不像0.20.2版本,有现成的eclipse-plugin源码包,而是在HADOOP_HOME/src/contrib/eclipse-plugin目...
分类:
系统相关 时间:
2015-05-30 07:01:29
阅读次数:
184
原创文章,转载请注明:转载自工学1号馆欢迎关注我的个人博客:www.wuyudong.com, 更多云计算与大数据的精彩文章1、在eclise中安装hadoop的插件并配置在上篇文章《编译hadoop eclipse的插件(hadoop1.0)》,已经介绍过怎样编译基于hadoop1.0的eclip...
分类:
系统相关 时间:
2015-05-30 07:01:22
阅读次数:
181
1.Hadoop配置文件的形式 Hadoop的配置文件是以XML的形式,跟元素是configuration,一般只包含子元素property。每一个property元素就是一个配置项,配置文件不支持分层或分级。每个配置项一般包括配置属性的名称name、值value和一个关于配置项的描述descri....
分类:
其他好文 时间:
2015-05-29 21:36:19
阅读次数:
137
1 /*********************************************** 2 这一百万数据只是在个人电脑上模拟,实际数据可能达到一亿。本人没有测试过 3 这一百万数据的文件存储格式如下: 4 4566 5 1321634 6 132132 7 165446...
分类:
其他好文 时间:
2015-05-29 20:01:54
阅读次数:
98
1.hadoop的伪分布安装1.1 设置ip地址 执行命令 service network restart 验证: ifconfig1.2 关闭防火墙 执行命令 service iptables stop 验证: service iptables status1.3 关闭防火墙的自动运行 执行命令....
分类:
其他好文 时间:
2015-05-29 15:21:51
阅读次数:
101