准备工作：1、笔记本4G内存 ，操作系统WIN7 （屌丝的配置）2、工具VMware Workstation3、虚拟机：CentOS6.4共四台虚拟机设置：每台机器：内存512M，硬盘40G，网络适配器：NAT模式选择高级，新生成虚机Mac地址（克隆虚拟机，Mac地址不会改变，每次最后手动重新生成）...
分类：
其他好文 时间：
2015-01-07 18:35:19
阅读次数：
214
hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说，这真是个天大的好消息。官网上hadoop streaming的介绍在：http://hadoop.apache.org/docs/r2.6.0/hadoop-ma...
分类：
编程语言 时间：
2015-01-07 12:51:28
阅读次数：
151
这几天一直在搭建hadoop环境，由于2.5以及2.6的版本需要在64位环境下重新编译，所以中间走了不少弯路。现在总结一下，由于手头资源紧张，只能在pc上模拟环境，具体环境如下：宿主机：联想的笔记本，win8.1系统，4g内存（刚好后安装3太linux的虚拟机）虚拟机：Ubuntu宿主与虚拟机会话工...
分类：
其他好文 时间：
2015-01-06 21:30:23
阅读次数：
178
最近在支持业务部门将数据从hadoop0.20.203迁移到hadoop2.4.0的时候，distcp报了几个错误，在这里记录一下：...
分类：
其他好文 时间：
2015-01-06 13:52:39
阅读次数：
375
1.hadoop1.0与hadoop2.0的区别： hadoop1.0生态如下图： hadoop2.0生态： 2.HDFS描述：HDFS是google的GFS的开源克隆，HDFS的架构如下图： 1) NameNode：管理HDFS的名称空间，管理数据块映射信息，配置副本策略，处理...
分类：
系统相关 时间：
2015-01-06 13:48:52
阅读次数：
267
可参阅官方文档http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html文件下载：http://mirrors.hust.edu.cn/apache/hadoop/common/注：可直接使用2.5.2或2.6.0版本都解决了2.5.1中不稳定bug1伪分布式部署以测试通过的为例Linuxversion..
分类：
其他好文 时间：
2015-01-04 19:36:21
阅读次数：
254
最近在玩hadoop,发现官网下的二进制包经常包警告,不爽,不如自己编译安装 1. 下载源码 2. 安装编译环境(gccbuild-essential ....) 3. 安装protobuf (编译hadoop需要用) 4. 安装mvn 5. 在解压源码目录执行mvn -Pdist,nat...
分类：
其他好文 时间：
2015-01-03 23:42:24
阅读次数：
257
环境：Hadoop1.2.1 配置SecondaryNameNode节点 [grid@hadoop1 hadoop-1.2.1]$ cat ./conf/masters
hadoop2 配置NameNode节点、同步检查时间 [grid@hadoop1 hadoop-1.2.1]$ cat ./conf/core-site.xml
<?xml versio...
分类：
其他好文 时间：
2015-01-03 22:33:04
阅读次数：
199
前言 hadoop是分布式系统，运行在linux之上，配置起来相对复杂。对于hadoop1，很多同学就因为不能搭建正确的运行环境，导致学习兴趣锐减。不过，我有免费的学习视频下载，请点击这里。 hadoop2出来后，解决了hadoop1的几个固有缺陷，比如单点故障、资源利用率低、支持作业类型少等问题，...
分类：
其他好文 时间：
2015-01-03 13:11:26
阅读次数：
310
Hive安装部署（安装会有版本问题 hadoop1.0版本以上的请安装hive-0.90测试hadoop2.0以上请安装hive-0.12.0或者最新版测试）hive-0.9.0 下载地址：http://pan.baidu.com/s/1rj6f8hive-0.12.0下载地址：http://mir...
分类：
其他好文 时间：
2015-01-02 17:26:11
阅读次数：
307
