在工作中总会时不时与JVM打交道，尤其是在做性能调优或是看见OOM时，就需要对jvm启动参数做些调整，而我总是头疼于那些参数的含义，特记之。 ? 引用博文： The Java Memory Architecture?http://blog.codecentr...
分类：
其他好文 时间：
2014-08-18 16:39:34
阅读次数：
218
Hadoop的各个组件是通过XML配置的。
2.0以后，配置文件的位置发生了小变化，我安装的Hadoop 2.4.1，配置文件的位置在$HADOOP_INSTALL/etc/hadoop/
在初期运行MapReduce DEMO时，我们只需关注三个基本配置就好：
core-site.xml
hdfs-site.xml
yarn-site.xml(2.0后的版本，MapReduce运行在y...
分类：
其他好文 时间：
2014-08-18 14:33:26
阅读次数：
272
摘要 Hadoop分布式文件系统（HDFS）设计用来可靠的存储超大数据集，同时以高速带宽将数据集传输给用户应用。 在一个超大集群中，数以千计的服务器直接接触存储器和执行用户应用任务。通过许多服务器的分布式存储和...
分类：
其他好文 时间：
2014-08-18 12:43:04
阅读次数：
356
HDFS Hadoop的核心就是HDFS与MapReduce。那么HDFS又是基于GFS的设计理念搞出来的。 HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文...
分类：
其他好文 时间：
2014-08-18 12:21:14
阅读次数：
228
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
上一节分析了Job由JobClient提交到JobTracker的流程，利用RPC机制，JobTracker接收到Job ID和Job所在HDFS的目录，够早了JobInProgress对象，丢入队列，另一个线程从队列中取出JobInProgress对象，并丢入线程池中执行，执行JobInProgr...
分类：
其他好文 时间：
2014-08-17 03:45:51
阅读次数：
383
hadoop是一种分布式系统的平台，通过它可以很轻松的搭建一个高效、高质量的分布系统，而且它还有许多其它的相关子项目，也就是对它的功能的极大扩充，包括Zookeeper,Hive,Hbase等。MapReduce是hadoop的核心组件之一，hadoop要分布式包括两部分，一是分布式文件系统hdfs,一部是..
分类：
其他好文 时间：
2014-08-17 01:11:02
阅读次数：
241
HDFS可靠性冗余副本策略机架策略心跳机制安全模式校验和回收站元数据保护在数据节点启动后，会把本地的文件系统遍历一次，产生一份数据块以及本地文件对应关系的清单叫做块报告，会汇报给NameNodeHadoop机架感知集群中各个节点之间会相互传递信息包心跳机制nameNode周期性从dat..
分类：
其他好文 时间：
2014-08-16 17:15:21
阅读次数：
317
转自：http://www.blogjava.net/mstar/archive/2006/08/24/65505.html——————————————————————————————————————————————————当JVM（Java虚拟机）启动时，会形成由三个类加载器组成的初始类加载器层次...
分类：
其他好文 时间：
2014-08-16 13:48:50
阅读次数：
228
框架（Framework）是整个或部分系统的可重用设计，表现为一组抽象构件及构件实例间交互的方法;另一种定义认为，框架是可被应用开发者定制的应用骨架。前者是从应用方面而后者是从目的方面给出的定义。
可以说，一个框架是一个可复用的设计构件，它规定了应用的体系结构（我认为框架（Framework）是整个或部分系统的可重用设计）。
架构（software architecture）是一系列相关的抽象模式（其实我理解就是应用了设计模式），用于指导大型软件系统各个方面的设计...
分类：
Web程序 时间：
2014-08-15 22:33:29
阅读次数：
377
