一个磁盘有它的块大小，代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节，而磁盘块一般为512个字节。这些信息，对于仅仅在一个...
分类：
其他好文 时间：
2015-04-01 13:40:35
阅读次数：
110
一个磁盘有它的块大小，代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节，而磁盘块一般为512个字节。这些信息，对于仅仅在一个文件上读或写任意长度的文件系统用户来说是透明的。但是，有些工..
分类：
其他好文 时间：
2015-04-01 13:29:55
阅读次数：
90
一个磁盘有它的块大小，代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节，而磁盘块一般为512个字节。这些信息，对于仅仅在一个文件上读或写任意长度的文件系统用户来说是透明的。但是，有些工具会维护文件系统，如df 和 fsck， 它们都在系统块级上操作。
HDFS也有块的概念，不过是更大的单元，默认为64 MB。与单一磁盘上...
分类：
其他好文 时间：
2015-04-01 13:28:26
阅读次数：
175
刚才遇到一个问题：从本地文件系统上传一个文件夹至HDFS作为Hadoop程序的输入数据，但是程序报错，原因是Ubuntu针对每个.txt文件生成了.txt~备份文件，所以我要把这些备份文件批量删除然后再上传进入文件夹所在目录，然后执行命令：hadoop@myUbuntu:/usr/local/had...
分类：
系统相关 时间：
2015-04-01 12:54:59
阅读次数：
427
#hadoop version 查看版本号1 、获取默认配置hadoop2系列配置文件一共包括6个，分别是hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml和slaves。除了hdfs-site.xml文件在...
分类：
其他好文 时间：
2015-03-31 17:28:40
阅读次数：
145
参考链接：Hadoop 2.0 NameNode HA和Federation实践Posted on2012/12/10一、背景天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案，由于行业的特殊性，客户对服务的可用性有着非常高的要求，而HDFS长久...
分类：
其他好文 时间：
2015-03-31 00:41:38
阅读次数：
244
对namenode启动时的相关操作及相关类有一个大体了解，后续深入研究时，再对本文进行补充>实现类HDFS启动脚本为$HADOOP_HOME/sbin/start-dfs.sh，查看start-dfs.sh可以看出，namenode是通过bin/hdfs命令来启动$ vi start-dfs.sh....
分类：
其他好文 时间：
2015-03-31 00:38:19
阅读次数：
238
最近我遇到过一次solr的文件权限问题，导致索引崩溃。同事也遇到一次FS的类似现象问题。多次经历发现hadoop目前对目录的权限管理有同步问题。正常情况下，以某个用户启动，则目录权限会变成该用户。至于用户所在的组，可以直接忽略，没有看到用处。但是有时候会出现这样的情形..
分类：
其他好文 时间：
2015-03-30 19:06:32
阅读次数：
135
Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，众所周知，这两个系统的设计缺陷是单点故障，即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题，该问题在很长时间内没有解决，这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣...
分类：
其他好文 时间：
2015-03-30 18:08:59
阅读次数：
145
1.Namenode岩机处理:重启集群无法恢复的情况下
这时候解决的办法很简单，把namenode镜像存储的路径下内容删除掉，再把secondnamenode镜像存储的路径下内容拷贝过来，重启即可。
默认namenode镜像存储的路径是 /opt/hdfs/dfs/name
默认secondnamenode镜像存储的路径 /opt/hdfs/dfs/nameseconda...
分类：
其他好文 时间：
2015-03-30 11:25:07
阅读次数：
129
