一、安装Eclipse二、在eclipse上安装hadoop插件1、下载hadoop插件http://download.csdn.net/detail/tondayong1981/86805892、把插件放到eclipse/plugins目录下3、重启eclipse，配置Hadoopinstallationdirectory如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Ha..
分类：
系统相关 时间：
2015-06-18 01:55:55
阅读次数：
288
Hadoop 2.6安装文档
版本说明：hadoop 2.6 linux-64位
Zookeeper3.4.6
jdk 1.7.0_75
1、 Ssh无密码
ssh-keygen
vimauthorized_keys
把每台机子上的id_rsa.pub内容拷贝到authorized_keys
Scp到其它机器上
2、 jdk安装
解压...
分类：
其他好文 时间：
2015-06-17 16:40:02
阅读次数：
136
1、安装JDK2、SSH互信免登陆3、/etc/profileHADOOP_PREFIX=/opt/hadoopJAVA_HOME=/opt/jdk18PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbinexportHADOOP_PREFIXPATHJAVA_HOME4、hadoop安装目录/etc/hadoop/hadoop-en.shexportJAVA_HOME=/opt/jdk18exportHA..
分类：
其他好文 时间：
2015-06-17 02:01:58
阅读次数：
174
HDFS数据管理1、设置元数据与数据的存储路径，通过
dfs.name.dir，dfs.data.dir，fs.checkpoint.dir(hadoop1.x)、
hadoop.tmp.dir，dfs.namenode.name.dir，dfs.namenode.edits.dir，dfs.datanode.data.dir(hadoop2.x)等属性来设置；2、经常执行HDFS文件系统检查工...
分类：
其他好文 时间：
2015-06-16 23:03:33
阅读次数：
329
【如果觉得我的笔记写的好，您可以小额赞助我：支付宝 15202166392】本文环境：OS:CentOS 6.6JDK:1.7.0_79Hadoop:2.7.0User:xavier一、伪分布式Hadoop配置[备注]Hadoop位于：/home/xavier/下Hadoop目录下建立：tmp,df...
分类：
其他好文 时间：
2015-06-16 22:27:32
阅读次数：
182
使用的教程为：1. windows7+eclipse+hadoop2.5.2环境配置http://www.cnblogs.com/huligong1234/p/4137133.html2. Hadoop 在Windows7操作系统下使用Eclipse来搭建Hadoop开发环境http://www.....
一、安装hadoop前的准备工作1.修改主机字符显示vi /etc/sysconfig/i18n修改为LANG="zh_CN"2. 修改主机名称1) vi /etc/sysconfig/network修改为HOSTNAME=master(/slave1/slave2)------每台主机改成自己的名...
分类：
其他好文 时间：
2015-06-15 23:30:18
阅读次数：
242
Hadoop2对HDFS的改进很大，支持HDFS(NameNode)和ResourceManager高可用性，避免集群中单点故障造成整个集群不可用。那么，从本文开始将部署一套高可用Hadoop集群及家族中相关开源系统，具体根据下面规划来，本文只部署高可用Hadoop集群，后续很快更新其他软件部署。一、部署前..
分类：
其他好文 时间：
2015-06-12 22:28:03
阅读次数：
267
上一篇文章——Hadoop2.6.0集群部署中，我们可以看到，Hadoop集群启动后的服务情况：[hadoop@iZ94cjwg86gZ~]$jps
27888SecondaryNameNode
27688NameNode
28430Jps
28044ResourceManager
31596JobHistoryServer如果你已经搜索过Hadoop了，或者听说过mapreduce，可能网上资料更多..
分类：
编程语言 时间：
2015-06-12 15:11:33
阅读次数：
213
使用Maven构建Hadoop Web项目，此项目是一个样例Demo，方便开发专注于后台以及Hadoop开发的人员在其上构建自己定制的项目。该Demo提供了两个样例：
查看HDFS文件夹内容及其子文件/夹；
运行WordCount MR任务；项目下载地址：Maven构建Hadoop Web项目
系统软件版本
Spring4.1.3
Hibernate4.3.1
Struts2.3.1
hadoop2...
分类：
Web程序 时间：
2015-06-09 23:47:28
阅读次数：
255
