安装前一定要注意版本兼容！安装前一定要注意版本兼容！安装前一定要注意版本兼容！重要的话说三遍，参考《HADOOP&HBASE&HIVE整合》中的兼容原则。由于之前Hadoop是2.4，亲测在Hadoop2.4上hbase1.0.1是可以工作的。而0.94版本存在兼容性的问题。配置所有的配置文件位于附...
分类：
其他好文 时间：
2015-05-21 19:24:50
阅读次数：
150
1.Hadoop核心配置文件：# gedit core-site.xml fs.default.name hdfs://localhost:9000 # gedit hdfs-site.xml dfs.replication 1 （注解：dfs.replication指定...
分类：
其他好文 时间：
2015-05-18 22:56:47
阅读次数：
454
我们知道hadoop1.x之前的namenode存在两个主要的问题：1、namenode内存瓶颈的问题，2、namenode的单点故障的问题。针对这两个问题，hadoop2.x都对它进行改进和解决。其中，问题1中对namenode内存瓶颈的问题采用扩展namenode的方式来解决。对于问题2中的.....
分类：
其他好文 时间：
2015-05-18 20:35:39
阅读次数：
119
使用Maven创建Hadoop2项目 <dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.5.2</vers...
分类：
其他好文 时间：
2015-05-17 02:20:28
阅读次数：
129
1、查看hadoop启动的进程有哪些？2、查看hdfs里面有哪些文件3、查看某个文件里面的内容4、删除某个文件5、其他的可以查询api
分类：
其他好文 时间：
2015-05-17 00:36:28
阅读次数：
115
一、安装系统
虚拟软件 ： VMware workstation 10
系统： Centos 6.4 32bit
Master IP : 192.168.56.131
Slave IP : 192.168.56.132
User & pass: hadoop
注：一台充当master(namenode)，一台充当slave(datanode)。这是最小...
分类：
其他好文 时间：
2015-05-15 19:57:42
阅读次数：
128
这几天乘着工作之余，学习了一下hadoop技术，跌跌撞撞的几天，终于完成了一个初步的hadoop的安装及测试，具体如下：
动力：工作中遇到的数据量太大，服务器已经很吃力，sql语句运行老半天，故想用大数据技术来改善一下
环境：centos5.11+jdk1.7+hadoop2.5.2
1. 伪分布安装步骤
关闭防火墙
修改ip
修改hostname
设置ssh自动登录...
分类：
其他好文 时间：
2015-05-14 16:38:09
阅读次数：
136
转 mapreduce中wordcount详细介绍（包括hadoop1和hadoop2版本）发表于1年前(2014-04-24 10:08) 阅读（1458）|评论（0） 1人收藏此文章, 我要收藏 赞05月23日 西安 OSC 源创会开始报名啦，存储、虚拟机、Docker 等干货分享摘要 mapr...
分类：
移动开发 时间：
2015-05-14 13:53:12
阅读次数：
259
本文地址：http://www.cnblogs.com/myresearch/p/hadoop-standalone-pseudo-distributed-operation.html，转载请注明源地址。基本环境配置可以使用命令uname -a 查看linux的版本：master@ubuntu:~$...
分类：
其他好文 时间：
2015-05-14 11:47:23
阅读次数：
184
1、Hadoop生态系统概况Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。Hadoop的核心是HDFS和MapReduce，hadoop2.0还包括YARN。下图为hadoop的生态系统：2、HDFS（Hadoop分布式文件系统）源自于Google的GFS论...
分类：
其他好文 时间：
2015-05-14 09:57:51
阅读次数：
211
