HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类：
其他好文 时间：
2014-05-27 17:39:15
阅读次数：
328
点击browserFilesystem，和命令查看结果一样
当我们查看hadoop源码时，我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量，肯定在其他文件有定义，在core-default.xml中查看到，这两个配置文件有个共同点：
就是不要修改此文件，但可以复制信息到core-site.xml和hdfs-sit...
分类：
Web程序 时间：
2014-05-25 02:02:13
阅读次数：
388
1. 概括适合一次写入多次查询情况，不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中，通过linux
shell只能看见block，看不见文件（HDFS将客户端的大文件存放在很多节点的数据块中，Block本质上是一个逻辑概念，它是hdfs读写数据的基本单位...
分类：
编程语言 时间：
2014-05-17 18:38:16
阅读次数：
364
尝试了简单的安装hadoop2后，我们再来尝试一下hdfs的一项新功能：FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式，每个namenode属于不同的namespace。下面是我们的安装信息Hadoop
版本:2.2.0OS 版本: Ce...
分类：
其他好文 时间：
2014-05-17 10:54:41
阅读次数：
518
目前Hadoop的稳定版本为1.2.1，我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本:
Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode,
datanode,secondNameNodejobtrac...
分类：
其他好文 时间：
2014-05-13 19:29:35
阅读次数：
3175
hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
分类：
其他好文 时间：
2014-05-13 05:40:21
阅读次数：
460
本Hadoop与HBase集群有1台NameNode, 7台DataNode
1. /etc/hostname文件
NameNode:
node1
DataNode 1:
node2
DataNode 2:
node3
.......
DataNode 7:
node8
2. /etc/hosts文件
N...
分类：
其他好文 时间：
2014-05-10 04:55:08
阅读次数：
386
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
根据当初 hadoop 安装目录下 conf 目录的 core-site.xml
的设置，找到该目录：进入该目录在 data 和 name 文件夹下均有 current 文件夹 ，和 current 文件夹下有 VERSION
文件主要要做的是使这两个文件中的 namespaceID 相同接下来就是...
分类：
其他好文 时间：
2014-05-09 05:15:30
阅读次数：
305
hadoop 启动的时候datanode报错 Problem connecting to server 解决方案...
分类：
其他好文 时间：
2014-05-09 02:07:46
阅读次数：
313
