上一节，讲过了，执行hadoop namenode -format后 实际上是执行 /root/hadoop-2.7.0-bin/bin/hdfs?namenode?-format 下面就来分析这个脚本 --- bin=`which?$0`
bin=`dirname?${bin}`
bin=`cd?"$bin"?>?/de...
分类：
其他好文 时间：
2015-06-02 08:09:40
阅读次数：
135
前言
HDFS 是一个能够面向大规模数据使用的，可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。让实际上是通过网络来访问文件的动作，由程序与用户看来，就像是访问本地的磁盘一般。即使系统中有某些节点脱机，整体来说系统仍然可以持续运作而不会有数据损失。
一、HDFS体系结构1、Namenode
Namenode是整个文件系统...
分类：
其他好文 时间：
2015-06-01 22:34:39
阅读次数：
11455
一、什么是安全模式 hadoop安全模式是name node的一种状态，处于该状态时有种量特性： 1.namenode不接受任何对hfds文件系统的改变操作（即此时整个文件系统处于只读状态）； 2.不执行block的replica和delete动作。二、安全模式的原理 安全模式实在n...
分类：
其他好文 时间：
2015-05-29 19:59:01
阅读次数：
124
首先我们先回顾一下Hadoop的一些概念： Apache Hdoop 1.x 组成 NameNode(元数据服务器) Secondary NameNode(辅助元数据服务器) JobTracker(任务调度员) DataNodes(块存储) TaskTrac...
分类：
其他好文 时间：
2015-05-28 22:56:15
阅读次数：
230
client调用FileSystem.open(),该FileSystem指向的实例是DistrbutedFileSystem（DFS），它通过RPC请求到Namenode.
Namenode收到请求后，对于每一个块返回存有该副本的Datanode地址。并且依照“网络拓扑”来排序。（就近原则）DFS获取到BlockLocations后，可以根据当前读取偏移量计算指定DataNode并进行通讯，返...
分类：
其他好文 时间：
2015-05-28 09:40:55
阅读次数：
236
文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode的mkdirs（）方法，最终这个调用PUSH到FSNameSystem的mkdirsInter...
分类：
其他好文 时间：
2015-05-26 20:32:10
阅读次数：
130
文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode的mkdirs（）方法，最终这个调用PUSH到FSN...
分类：
其他好文 时间：
2015-05-26 19:18:41
阅读次数：
218
文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode的mkdirs（）方法，最终这个调用PUSH到FSNameSystem的mkdirsInternal方法，这个方法主要就是检验访问权限..
分类：
其他好文 时间：
2015-05-26 19:09:18
阅读次数：
185
文件夹的创建是一个相对简单的过程，主要是通过FileSystem中的mkdirs（）方法，这个方法在DFSClient实例中调用同名方法mkdirs（），通过Hadoop本身的RPC机制调用Namenode的mkdirs（）方法，最终这个调用PUSH到FSNameSystem的mkdirsInternal方法，这个方法主要就是检验访问权限，最后通过FSDirectory的unprotectedMk...
分类：
其他好文 时间：
2015-05-26 18:52:19
阅读次数：
244
我们开始来分析Hadoop MapReduce的内部的运行机制。用户向Hadoop提交Job（作业），作业在JobTracker对象的控制下执行。Job被分解成为Task（任务），分发到集群中，在TaskTracker的控制下运行。Task包括MapTask和ReduceTask，是MapReduce的Map操作和Reduce操作执行的地方。这中任务分布的方法比较类似于HDFS中NameNode和...
分类：
其他好文 时间：
2015-05-26 12:47:45
阅读次数：
146
