配置Hadoop1.2.1+eclipse(Juno版)开发环境，并运行WordCount程序一、 需求部分在ubuntu上用Eclipse IDE进行hadoop相关的开发，需要在Eclipse上安装hadoop的开发插件。最新释放出的hadoop包含源码的包，以 hadoop-1.X为例，包含相...
分类：
系统相关 时间：
2015-01-21 22:02:39
阅读次数：
302
Hadoop1.2.1安装——单节点方式和单机伪分布方式一、 需求部分在Linux上安装Hadoop之前，需要先安装两个程序：1）JDK 1.6（或更高版本）。Hadoop是用Java编写的程序，Hadoop的编译及MapReduce的运行都需要使用JDK。因此在安装Hadoop前，必须安装JDK ...
分类：
其他好文 时间：
2015-01-21 21:48:27
阅读次数：
238
必备软件这里以Hadoop1.1.2为学习的版本。jdk-6u24-linux-i586.binhadoop-1.1.2.tarhbase-0.94.7-security.tarhive-0.9.0.tarsqoop-1.4.3.bin__hadoop-1.0.0.tarzookeeper-3.4.5.tar2.安装步骤linux系统环境配置，jdk和hadoop的安装参考http://www.cnblogs.com/xia520pi/archiv..
分类：
其他好文 时间：
2015-01-20 06:38:02
阅读次数：
205
一、背景最近由于项目和论文的需要，需要搭建一个垂直搜索的环境，查阅了很多资料，决定使用Apache的一套解决方案hadoop+hbase+nutch+es。这几样神器的作用就不多作介绍了，自行参考各类百科就行了。我选择这样的方案主要是基于以下考虑：1、可扩展，虽然只是实验环境，但是以后在项目中是要应...
分类：
其他好文 时间：
2015-01-10 16:27:38
阅读次数：
155
环境：Hadoop1.2. 例1：读取一个大约200k大小的本地文件，并将其第101-120字节的内容写入HDFS成为一个新文 import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org....
分类：
编程语言 时间：
2015-01-09 01:55:19
阅读次数：
285
PS:/etc/hosts:127.0.1.1ubuntu-hadoop01192.168.56.102ubuntu-hadoop02192.168.56.103ubuntu-hadoop03/etc/hostname:ubuntu-hadoop013、安装并运行Hadoopconf/hadoop-env.sh:exportJAVA_HOME=/usr/lib/jvm/jdk1.6.0_45conf/core-site.xml:<configuration><property&g..
分类：
其他好文 时间：
2015-01-09 01:40:28
阅读次数：
203
环境：Hadoop1.2.1 例：直接使用FileSystem以标准输出格式显示Hadoop文件系统中的文件 编写JAVA文件 import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache...
分类：
编程语言 时间：
2015-01-09 00:22:33
阅读次数：
243
1.hadoop1.0与hadoop2.0的区别： hadoop1.0生态如下图： hadoop2.0生态： 2.HDFS描述：HDFS是google的GFS的开源克隆，HDFS的架构如下图： 1) NameNode：管理HDFS的名称空间，管理数据块映射信息，配置副本策略，处理...
分类：
系统相关 时间：
2015-01-06 13:48:52
阅读次数：
267
1、首先，我看的是hadoop1.2.1 这个里边，有点奇怪ClientDatanodeProtocol的versionID是4，但是InterDatanodeProtocol的versionID是3， 而且这两个还不再同一个包下，InterDatanodeProtocol位于org.apache....
分类：
其他好文 时间：
2015-01-04 15:02:05
阅读次数：
113
环境：Hadoop1.2.1 配置SecondaryNameNode节点 [grid@hadoop1 hadoop-1.2.1]$ cat ./conf/masters
hadoop2 配置NameNode节点、同步检查时间 [grid@hadoop1 hadoop-1.2.1]$ cat ./conf/core-site.xml
<?xml versio...
分类：
其他好文 时间：
2015-01-03 22:33:04
阅读次数：
199
