Eclipse Idigo、JDK1.7-32bit、hadoop1.2.1、hadoop-eclipse-plugin-1.2.1.jar（自己网上下载） 1）将hadoop-eclipse-plugin-1.2.1.jar放到eclipse安装目录的plugins文件夹中，重新启动eclipse
分类：
编程语言 时间：
2016-03-15 12:04:25
阅读次数：
176
1.环境： hadoop 2.6.0 jdk 1.7x64 centos7 eclipse j2ee 2.安装hadoop 1.关闭防火墙 centos7.0以上使用此命令 systemctl start firewalld.service #临时关闭 systemctl disable firew
分类：
系统相关 时间：
2016-03-04 01:53:11
阅读次数：
207
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： 1.HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性； 2.MapReduce将J
分类：
其他好文 时间：
2016-03-03 01:30:59
阅读次数：
125
环境 win7+hadoop_1.2.1+eclipse 3.7+maven 3 1.安装hadoop的eclipse插件，注意eclipse 4.x版本下，hadoop插件会有问题，一定不能用4.x版本的eclipse，我用的是eclipse Indigo 也就是3.7 版本。 http://bl
近期准备開始学习Hadoop1.2.1的源码，感觉最好的方法还是能够在运行Hadoop及hadoop作业时跟踪调试代码的实际运行情况。因为选择的IDE为eclipse，所以准备编译一下hadoop的eclipse插件，以下就直接进入正题。Hadoop的eclipse插件源码位于hadoop-1.2.
分类：
系统相关 时间：
2016-02-24 14:06:22
阅读次数：
322
1.本地模式 本地模式的安装 将hadoop 安装包解压后不用任何配置就是默认的本地模式 此时 core-site.xml ,hdfs-site.xml , marped.site.xml 三个配置文件都为空 此时没有hdfs文件系统，可以执行mapreduce hadoop fs -ls / 会列
分类：
其他好文 时间：
2016-02-21 14:22:03
阅读次数：
200
主要配置 core-site.xml hdfs-site.xml mapred-site.xml
分类：
其他好文 时间：
2016-02-20 22:54:07
阅读次数：
200
1、手工切换ha的环境的搭建（比hadoop1多出来journalnode的配置） namenode：hadoop110和hadoop111 datanode：hadoop112、hadoop113、hadoop114 journalnode：hadoop110、hadoop111、hadoop11
分类：
其他好文 时间：
2016-02-19 21:55:39
阅读次数：
223
kvm虚拟机的克隆分为两种情况：kvm主机本机虚拟机直接克隆和通过复制配置文件与磁盘文件的虚拟机复制克拢接下来我们一一进行测试：（一）kvm主机虚拟机的直接克隆1，查看虚拟机的配置文件和磁盘文件：[root@KVMqemu]#cat/etc/libvirt/qemu/hadoop1.xml
<!--
WARNING:THISISA..
分类：
其他好文 时间：
2016-02-04 19:14:56
阅读次数：
604
首先来看一下HDFS的结构，如下图： 如上图，在HDFS架构中，NameNode是职责是管理元数据信息，DataNode的职责是负责数据存储，那么SecondaryNameNode的作用是什么呢？ 其实SecondaryNameNode是hadoop1.x中HDFS HA的一个解决方案，下面我们来看
分类：
其他好文 时间：
2016-01-31 21:20:15
阅读次数：
222
