HDFS特点概述
Hadoop整合抽象了众多的文件系统类，HDFS只是其中一种的具体实现。它是基于流数据模式和处理超大文件的需求开发的，主要特点如下：
处理超大文件
这里的超大文件通常是指MB到TB级别的数据文件，在实际应用中已经可达到PB级。
流式地访问数据
HDFS提供一次写入，多次读取的服务。...
分类：
其他好文 时间：
2014-09-27 20:51:00
阅读次数：
665
1. CURL安装
cURL是一个利用URL语法在命令行下工作的文件传输工具，1997年首次发行。它支持文件上传和下载，所以是综合传输工具，但按传统，习惯称cURL为下载工具。cURL还包含了用于程序开发的libcurl。CURL官方网站：http://curl.haxx.se/
1.1 Linux安装
这个网上资料比较多，只要搜索“curl 安装 linux”就应该有不少介绍。
1....
1 dfsadmin -setQuota的问题
dfsadmin -setQuota 限制文件数量
dfsadmin -setSpaceQuota 限制磁盘空间
2 解决Hadoop小文件问题？
数据块的默认大小是64M，如果一个文件的大小小于64M，那么它就属于Hadoop的小文件。
这样会浪费空间，所以要使用archive的方式来实现归并小文件。数据块的大小可以使用...
分类：
其他好文 时间：
2014-09-24 20:35:57
阅读次数：
143
1、确认java已经安装[root@carefree~]#java-version
javaversion"1.7.0_51"
Java(TM)SERuntimeEnvironment(build1.7.0_51-b13)
JavaHotSpot(TM)64-BitServerVM(build24.51-b03,mixedmode)Hadoop2.2官方建议使用jdk1.6（sun）以上，我们这里使用1.7。Jdk安装比较简单，不做演示..
分类：
系统相关 时间：
2014-09-24 19:07:18
阅读次数：
318
在Hadoop中fsimage保存最新的检查点信息，edits保存自最新检查点后的命名空间的变化。在分析hdfs namenode–format的源代码时，已经明确了该过程根据配置文件的信息创建fsimage和edits文件，这篇文章具体分析一下创建fsimage和edits文件的源代码。...
分类：
其他好文 时间：
2014-09-24 17:22:37
阅读次数：
210
namevalueDescriptiondfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小，通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小，需要设置一些，主要是给非...
分类：
其他好文 时间：
2014-09-24 13:11:26
阅读次数：
175
作者：张华 发表于：2014-06-21版权声明：能够随意转载，转载时请务必以超链接形式标明文章原始出处和作者信息及本版权声明(http://blog.csdn.net/quqi99 ) 作者将又一次研究ceph, 先温习一下之前作者大半年前发表在openstack中国社区的一篇理论文章(http:...
分类：
编程语言 时间：
2014-09-23 21:08:55
阅读次数：
886
在启动Hadoop时，NameNode节点上会默认启动一个SecondaryNameNode进程，使用JSP命令可以查看到。SecondaryNameNode光从字面上理解，很容易让人认为是NameNode的热备进程。其实不是，SecondaryNameNode是HDFS架构中的一个组成部分。它并不...
分类：
其他好文 时间：
2014-09-23 00:54:43
阅读次数：
273
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套....
分类：
Web程序 时间：
2014-09-22 20:46:13
阅读次数：
286
shell操作命令：hdfs的路径，在core-site.xml中定义fs.default.namehdfs://master.hadoop:9000 master.hadoop namenode主机名用/ 代替当前绝对路径hadoop fs -ls / 查看hdfs的根目录下的内容hadoop ....
分类：
其他好文 时间：
2014-09-22 18:45:42
阅读次数：
161
