hadoop报错：org.apache.hadoop.hdfs.DFSClient:Failed to close file org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.LeaseExpir...
分类：
其他好文 时间：
2015-04-19 15:56:42
阅读次数：
119
Hdfs环境搭建
下载最新版本的Hadoop编译好的tar包：http://hadoop.apache.org/releases.html确认HDFS namenode和datanode的角色，并将namenode以及datanode的ip机器名对应关系写进每台机器的/etc/hosts文件。
确认namenode可以不需要密码就一个通过ssh联通datanode结点。
执行如下...
分类：
其他好文 时间：
2015-04-15 21:33:56
阅读次数：
152
下图描述了在文件读过程中，client、NameNode和DataNode三者之间是如何互动的。
1. client调用get方法得到HDFS文件系统的一个实例（DistributedFileSystem）。然后调用它的open方法。
2. DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息。对于每一个bolc...
分类：
其他好文 时间：
2015-04-14 11:12:18
阅读次数：
121
HDFS配置：
客户端中的配置参数可以覆盖服务端的参数。
例如：副本数，切块大小
HDFS文件存储：
服务端存储block的实际大小，但是不适合存储小文件，小文件会占用namenode的元数据空间。
对于小文件数据的优化，可以在上传之前先合并再上传。
例如：压缩、文本文件合并
HDFS扩展：
hdfs支持rest API，与平台无关
jetty 容器
hdfs支持rest command
分布式任务...
分类：
其他好文 时间：
2015-04-11 22:38:55
阅读次数：
180
整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。? ??HDFS采用主从（Master/Slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataN...
分类：
其他好文 时间：
2015-04-10 18:15:29
阅读次数：
142
看到市面上很多书在讲解Hadoop的时候都轻描淡写的提到了HDFS的设置问题。大多采取的是默认设置，最多也就是设置一些副本数量之类。笔者在工作中遇到了这样一种情况：每次重启系统之后，NameNode就会消失。重新尝试下面的命令:hdfs namenode –formatsbin/start-all....
分类：
其他好文 时间：
2015-04-09 15:10:26
阅读次数：
125
集群分布式Hadoop系统安装及测试
本系统一共有三个节点，一个namenode，两个datanode，IP和主机名对应如下：
192.168.1.19 namenode
192.168.1.7 datanode1
192.168.1.20 datanode2
1、安装配置
1）、安装配置JDK，在三个节点都需要安装，下面...
分类：
其他好文 时间：
2015-04-08 18:15:17
阅读次数：
252
HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarnhadoop-2.2.0]$bin/hdfsnamenode–format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode–format–clusteridyarn-clusterStep02：启动Nam..
分类：
系统相关 时间：
2015-04-07 19:58:53
阅读次数：
326
windows下配置hadoop
hadoop 安装包解压，路径不要有特殊字符
lib和bin直接解压出来的不可用，需要自己重新编译
配置环境变量：HADOOP_HOME,path中添加：bin目录
namenode
整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。
响应客户端的请求，上传文件：
client申请上传文件，n...
分类：
其他好文 时间：
2015-04-07 09:54:54
阅读次数：
144
core-site.xml -------指定NameNode主机名与端口号 fs.default.name hdfs://localhost:9000 hadoop.tmp.dir /opt/data/tmp hdfs-site.xml ...
分类：
其他好文 时间：
2015-04-06 21:35:49
阅读次数：
146
