OK，现在是想要学习一下hdfs的api和shell的使用方法。
首先，需要了解的是hdfs是什么？它有什么特点？它能用来做什么？
hdfs：
使用方式：hdfs --config confdir command
dfs运行一个文件系统的命令，在hadoop支持的文件系统中。
namenode -format 格式化dfs文件系统
secondar...
分类：
其他好文 时间：
2015-07-01 18:29:10
阅读次数：
118
今天布置hadoop集群，尝试单独将secondarynamenode分属到一台独立的虚拟机上，当格式化后，start-dfs.sh。namenode没启动。查看日志。报错例如以下查看权限才发现，/current/VERSION是隶属root的。须要更改用户。之后。再start-dfs.sh,依旧提...
分类：
编程语言 时间：
2015-06-30 20:15:22
阅读次数：
261
Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为64M每个块信息按照配置的参...
分类：
其他好文 时间：
2015-06-30 12:29:40
阅读次数：
221
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
Hadoop分布式文件系统（Hadoop Distributed File System, HDFS）分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。
hdfs只是其中一种。适用于一次写入、多次查询的情况，不支持并发写情况，小文件不合适。2.HDFS架构HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数...
分类：
其他好文 时间：
2015-06-27 16:31:09
阅读次数：
100
一般来说Livenodes是0
的情况是由于namenode和datanode中的clusterID号不同，诱因是因为重复格式化。如果不需要保存数据，直接重做的话，需要下面这些步骤。sshhd1rm/home/hadoop/namenode/*-rfsshhd1rm/home/hadoop/hdfs/*-rfsshhd2rm/home/hadoop/hdfs/*-rfsshhd3rm/home/had..
分类：
其他好文 时间：
2015-06-23 18:20:50
阅读次数：
157
NameNode将对文件系统的改动追加保存到本地文件系统上的一个日志文件（edits）。当一个NameNode启动时，它首先从一个映像文件（fsp_w_picpath）中读取HDFS的状态，接着应用日志文件中的edits操作。然后它将新的HDFS状态写入（fsp_w_picpath）中，并使用一个空的edits文件开始正..
分类：
其他好文 时间：
2015-06-23 18:16:44
阅读次数：
128
前提：一定要保证iptables是关闭的并且selinux是disabled1、准备硬件1台namenode和3台datanodenamenode192.168.137.100datanode1192.168.137.101datanode2192.168.137.102datanode3192.168.137.1032、在4台机器上建立hadoop用户（也可以是别的用户名）useraddhadoop3、在4台机..
分类：
其他好文 时间：
2015-06-23 15:54:41
阅读次数：
212
MRv1: 当一个客户端向一个 Hadoop 集群发出一个请求时，此请求由 JobTracker 管理。JobTracker 与 NameNode 联合将工作分发到离它所处理的数据尽可能近的位置。NameNode 是文件系统的主系统，提供元数据服务来执行...
分类：
其他好文 时间：
2015-06-19 15:30:02
阅读次数：
120
HDFS集群中以Master-Slave模式运行，主要有两类节点：一个Namenode节点(即master)和多个Datanode节点。Namenode管理文件系统的Namespace.他维护着文件系统树以及文件树中所有的文件和文件夹的元数据。hdfs架构图：Namenode:Namenode管理文件系统的Namespace。它维护着文件系统..
分类：
其他好文 时间：
2015-06-17 02:07:14
阅读次数：
261
