1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错...
分类：
其他好文 时间：
2014-12-08 21:12:24
阅读次数：
268
putmerge程序的大体流程是？ 1、根据用户定义的参数设置本地目录和HDFS的目录文件 2、提取本地输入目录中每个文件的信息 3、创建一个输出流写入到HDF文件 4、遍历本地目录中的每个文件，打开一个输入流来读取该文...
分类：
其他好文 时间：
2014-12-08 18:03:01
阅读次数：
182
HDFS文件操作 你可以把一个大数据集（100TB）在HDFS中存储为单个文件，而大多数其他的文件系统无力实现这一点。虽然该文件存在多个副本分布在多台机器上来支持并行处理，你也不必考虑这些细节。 ? HDFS （Hadoo...
分类：
其他好文 时间：
2014-12-08 14:03:18
阅读次数：
226
发布Apache Hadoop 2.6.0——异构存储，长时间运行的服务与滚动升级支持
我很高兴地宣布，在Apache的Hadoop社区已经发布的Apache Hadoop的2.6.0:http://markmail.org/message/gv75qf3orlimn6kt！
特别是，我们很高兴在此版本中相关的三个主要片：异构存储在HDFS使用SSD和内存层，支持长时间运行在YARN服务和滚动升级，将升级您的集群软件，然后重新启动升级的节点而无需关闭群集或丢失正在进行的工作。YARN作为其架构中心，Hado...
分类：
Web程序 时间：
2014-12-08 12:28:20
阅读次数：
224
Hadoop核心项目：HDFS（Hadoop Distributed File System分布式文件系统），MapReduce（并行计算框架）
HDFS架构的主从结构：主节点，只有一个namenode，负责接收用户操作请求，维护文件系统的目录结构，管理文件与block之间关系，block与datanode之间的关系。
从节点，有很多个datanodes，负责存储文件，文件被分成block存储...
分类：
其他好文 时间：
2014-12-08 09:23:22
阅读次数：
231
扩展HadoopDefaultAuthenticator类的setConf方法，实现可以代理用户运行的功能，主要需求如下：1.不传入参数时，按本用户执行2.传入参数时，按传入参数执行3.对设置为hdfs用户进行限制主要更改HiveConf类和HadoopDefaultAuthenticator类HiveConf增加：HIVE_USE_CUSTOM_PROXY("u..
分类：
其他好文 时间：
2014-12-07 15:10:35
阅读次数：
257
为了优化MapReduce及MR之前的各种工具的性能，在Hadoop内建的数据存储格式外，又涌现了一批各种各样的存储方式。如优化Hive性能的RCFile，以及配合Impala实现出Google Dremel功能(类似甚至是功能的超集)的Parquet等。今天就来一起学习一下HDFS中数据存储的进化历程。数据摆放结构数据摆放结构(data placement structure)，顾名思义，就是数...
分类：
其他好文 时间：
2014-12-06 19:32:48
阅读次数：
620
用了一段时间的hadoop，现在回来看看源码发现别有一番味道，温故而知新，还真是这样的 在使用hadoop之前我们需要配置一些文件，hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml。那么这些文件在什么时候被hadoop使用？ ...
分类：
其他好文 时间：
2014-12-05 22:32:08
阅读次数：
241
Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146398.html概述HDFS中的集中化缓存管理是一个明确的缓存机制，它允许用户指定要缓存的HDFS路径。NameNode会和保存...
分类：
其他好文 时间：
2014-12-05 17:08:04
阅读次数：
209
Hadoop版本：2.6.0本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接：http://www.cnblogs.com/zhangningbo/p/4146410.html简介本文描述了超级用户如何用一种安全的方法以其他用户的名义提交作业或者访问HDFS。使用场景下一节描述的代码示例...
分类：
其他好文 时间：
2014-12-05 13:59:41
阅读次数：
172
