码迷,mamicode.com
首页 >  
搜索关键字:jamp datanode    ( 860个结果
HDFS使用
1HDFS概述HDFS是Hadoop应用用到的一个最主要的分布式存储系统。一个HDFS集群主要由一个NameNode和很多个Datanode组成:Namenode管理文件系统的元数据,而Datanode存储 了实际的数据。本文档主要关注用户以及管理员怎样和HDFS进行交互。基本上,客户端联系Name...
分类:其他好文   时间:2014-06-10 12:40:13    阅读次数:275
hadoop-2.2.0编译
由于从官网下载的hadoop中依赖包native hadoop library是基于32位版本的,在64位机器上安装,会出现以下错误:2014-05-30 19:47:49,703 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: regis...
分类:其他好文   时间:2014-06-06 23:38:29    阅读次数:494
Hadoop动态添加/删除节点(datanode和tacktracker)
总的来说,正确的做法是优先通过配置文件,再在具体机器上进行相应进程的启动/停止操作。 网上一些资料说在调整配置文件的时候,优先使用主机名而不是IP进行配置。 总的来说添加/删除DataNode和TaskTracker的方法非常相似,只是操作的配置项和使用的命令有微小差异。 1. DataNode 1.0 配置文件 在namenode下修改配置文件conf/mapred-site.xml。 关键参数dfs.hosts和dfs.hosts.exclude。 注意:不同hado...
分类:其他好文   时间:2014-06-01 10:45:08    阅读次数:340
HDFS体系结构
HDFS的设计目标检测以及快速恢复硬件问题.流式的数据访问.移动计算比移动数据的代价小.简化一致性模型.超大规模数据集异构软硬件平台之间的可移植性.HDFS的结构模型HDFS是一个主从的结构模型.一个HDFS集群是由一个NameNode和若干个DataNode组成.NameNode主节点是主服务器....
分类:其他好文   时间:2014-05-27 17:39:15    阅读次数:328
hadoop源码解读namenode高可靠:HA;web方式查看namenode下信息;dfs/data决定datanode存储位置
点击browserFilesystem,和命令查看结果一样 当我们查看hadoop源码时,我们看到hdfs下的hdfs-default.xml文件信息 我们查找${hadoop.tmp.dir}这是引用变量,肯定在其他文件有定义,在core-default.xml中查看到,这两个配置文件有个共同点: 就是不要修改此文件,但可以复制信息到core-site.xml和hdfs-sit...
分类:Web程序   时间:2014-05-25 02:02:13    阅读次数:388
HDFS基础和java api操作
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:编程语言   时间:2014-05-17 18:38:16    阅读次数:364
Hadoop2的FN安装(federated namespace)
尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace。下面是我们的安装信息Hadoop 版本:2.2.0OS 版本: Ce...
分类:其他好文   时间:2014-05-17 10:54:41    阅读次数:518
hadoop的simple认证
目前Hadoop的稳定版本为1.2.1,我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本: Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode, datanode,secondNameNodejobtrac...
分类:其他好文   时间:2014-05-13 19:29:35    阅读次数:3175
Hbase常用命令
hbase shell命令的使用 再使用hbase 命令之前先检查一下hbase是否运行正常 hadoop@Master:/usr/hbase/bin$ jps 2640 HMaster 27170 NameNode 27533 SecondaryNameNode 3038 Jps 27795 TaskTracker 27351 DataNode 2574 HQuorumPeer ...
分类:其他好文   时间:2014-05-13 05:40:21    阅读次数:460
Hadoop配置文件与HBase配置文件
本Hadoop与HBase集群有1台NameNode, 7台DataNode 1. /etc/hostname文件  NameNode:        node1 DataNode 1:        node2 DataNode 2:        node3 ....... DataNode 7:        node8 2. /etc/hosts文件 N...
分类:其他好文   时间:2014-05-10 04:55:08    阅读次数:386
860条   上一页 1 ... 83 84 85 86 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!