HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数。集群中的DataNode一般是一个节点一个，负责管理它所在节...
分类：
其他好文 时间：
2015-05-25 16:46:16
阅读次数：
94
HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控Dat...
分类：
其他好文 时间：
2015-05-25 16:03:54
阅读次数：
103
这几天阅读《hadoop实战》，初步了解了一下hadoop的核心思想，简要的比较如下：
1. hadoop是一个开源框架，可编写和运行分布式应用处理大数据，具有方便、简单、健壮性、可扩展性等优点
2. MapReduce程序的执行分为两个阶段，为mapping和reducing。每个阶段均定义为数据处理函数，分别被称为mapper和reducer。在mapping阶段，MapReduce获...
分类：
其他好文 时间：
2015-05-25 11:30:41
阅读次数：
190
一直没有重视三者之间的通信问题，在此整理一下提问：datanode之间有没有交互？Hadoop安装时ssh如何配置？1.背景知识：在Hadoop系统中，master/slaves/client的对应关系是：master---namenode；slaves---datanode；client---df...
分类：
其他好文 时间：
2015-05-25 00:57:54
阅读次数：
424
一、Hadoop核心项目
HDFS: Hadoop Distributed File System 分布式文件系统 MapReduce：并行计算框架
二、HDFS的架构
主从结构
? 主节点，只有一个: namenode? 从节点，有很多个: datanodes? namenode负责：? 接收用户操作请求? 维护文件系统的目录结构? 管理文...
分类：
其他好文 时间：
2015-05-24 12:59:35
阅读次数：
211
准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh】
下载稳定版2.6.0
修改etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml
启动
验证
下面主要配置文件：
core-site.xml：
fs.defau...
分类：
其他好文 时间：
2015-05-23 18:29:52
阅读次数：
215
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/45935387...
分类：
其他好文 时间：
2015-05-23 16:54:01
阅读次数：
123
一、 RPC(remote procedure call)
不同java进程间的对象方法的调用。
一方称作服务端(server)，一方称作客户端(client)。
server端提供对象，供客户端调用的，被调用的对象的方法的执行发生在server端。
RPC是hadoop框架运行的基础。
二、通过rpc小例子获得的认识
1.服务端提供的对象必须是一个接口，接...
分类：
其他好文 时间：
2015-05-23 00:02:53
阅读次数：
177
1.对hdfs的操作方式：hadoop fs xxx
hadoop fs -ls / 查看hdfs的根目录下的内容的
hadoop fs -lsr / 递归查看hdfs的根目录下的内容的
hadoop fs -mkdir /d1 在hdfs上创建文件夹d1
hadoop fs -put 把数据从linux上传到hdfs的特定路径中
hadoop...
分类：
其他好文 时间：
2015-05-21 22:42:56
阅读次数：
175
格式化HDFS命令：user@namenode:Hadoop$bin/hadoop namenode -format启动HDFS命令：user@namenode:hadoop$bin/start-dfs.sh列出HDFS上的文件命令：user@namenode:hadoop$bin/hadoop d...
分类：
其他好文 时间：
2015-05-21 18:56:35
阅读次数：
108
