1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储
了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:
其他好文 时间:
2014-06-10 12:40:13
阅读次数:
275
由于从官网下载的hadoop中依赖包native hadoop
library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO
org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:
其他好文 时间:
2014-06-06 23:38:29
阅读次数:
494
总的来说,正确的做法是优先通过配置文件,再在具体机器上进行相应进程的启动/停止操作。
网上一些资料说在调整配置文件的时候,优先使用主机名而不是IP进行配置。
总的来说添加/删除DataNode和TaskTracker的方法非常相似,只是操作的配置项和使用的命令有微小差异。
1. DataNode
1.0 配置文件
在namenode下修改配置文件conf/mapred-site.xml。
关键参数dfs.hosts和dfs.hosts.exclude。
注意:不同hado...
分类:
其他好文 时间:
2014-06-01 10:45:08
阅读次数:
340
HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类:
其他好文 时间:
2014-05-27 17:39:15
阅读次数:
328
点击browserFilesystem,和命令查看结果一样
当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息
我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点:
就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-sit...
分类:
Web程序 时间:
2014-05-25 02:02:13
阅读次数:
388
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中,通过linux
shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:
编程语言 时间:
2014-05-17 18:38:16
阅读次数:
364
尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace。下面是我们的安装信息Hadoop
版本:2.2.0OS 版本: Ce...
分类:
其他好文 时间:
2014-05-17 10:54:41
阅读次数:
518
目前Hadoop的稳定版本为1.2.1,我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本:
Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode,
datanode,secondNameNodejobtrac...
分类:
其他好文 时间:
2014-05-13 19:29:35
阅读次数:
3175
hbase shell命令的使用
再使用hbase 命令之前先检查一下hbase是否运行正常
hadoop@Master:/usr/hbase/bin$ jps
2640 HMaster
27170 NameNode
27533 SecondaryNameNode
3038 Jps
27795 TaskTracker
27351 DataNode
2574 HQuorumPeer
...
分类:
其他好文 时间:
2014-05-13 05:40:21
阅读次数:
460
本Hadoop与HBase集群有1台NameNode, 7台DataNode
1. /etc/hostname文件
NameNode:
node1
DataNode 1:
node2
DataNode 2:
node3
.......
DataNode 7:
node8
2. /etc/hosts文件
N...
分类:
其他好文 时间:
2014-05-10 04:55:08
阅读次数:
386