1）Hadoop学习总结 （1）HDFS简介 （2）HDFS读写过程解析 （3）Map-Reduce入门 （4）Map-Reduce的过程解析 （5）Hadoop的运行痕迹 （6）Apache Hadoop 版本2）Hadoop-0.20.0源代码分析 （1）Hadoop-0.20.0...
分类：
其他好文 时间：
2014-07-19 23:14:35
阅读次数：
208
DistributedCache是Hadoop提供的文件缓存工具，它能够自动将指定的文件分发到各个节点上，缓存到本地，供用户程序读取使用。它具有以下几个特点：缓存的文件是只读的，修改这些文件内容没有意义；用户可以调整文件可见范围（比如只能用户自己使用，所有用户都可以使用等），进而防止重复拷贝现象；按...
分类：
其他好文 时间：
2014-07-19 17:23:15
阅读次数：
233
在看hadoop 的二次排序的时候，改写了下， 加了第三个参数, 本来以为是在 public int compareTo(IntPair o) { System.out.println("-----------compareTo"); if (first != o.first...
分类：
其他好文 时间：
2014-07-19 17:10:26
阅读次数：
256
Hadoop创始人 Doug Cutting，现任cloudera公司CTODoug Cutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。”Hadoop是一个能够对...
分类：
其他好文 时间：
2014-07-19 13:38:13
阅读次数：
250
Why Hadoop2? 自从Hadoop2出现之后，其迅速取代了Hadoop1的地位，并丰富了Hadoop的应用场景。如果现在有公司使用Hadoop的话，往往直接采用Hadoop2了。
Hadoop2能被如此广泛的使用，肯定有其自身的优势，本文将对其进行梳理...
分类：
其他好文 时间：
2014-07-19 12:01:58
阅读次数：
179
1.打开eclipse之后，建立wordcount项目package wordcount;import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurati.....
分类：
系统相关 时间：
2014-07-19 09:06:50
阅读次数：
435
声明：个人原创，转载请注明出处。文中引用了一些网上或书里的资料，如有不妥之处请告之。本文是我阅读Hadoop 0.20.2第二遍时写的笔记，在阅读过程中碰到很多问题，最终通过各种途径解决了大部分。Hadoop整个系统设计精良，源码值得学习分布式的同学们阅读，以后会将所有笔记一一贴出，希望能方便大家阅...
分类：
其他好文 时间：
2014-07-19 09:02:01
阅读次数：
248
一、Hadoop构造模块
运行Hadoop的意思其实就是运行一组守护进程（daemons），每个进程都有各自的角色，有的仅运行在单个服务器上，有的则运行在集群多个服务器上，它们包括：
NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker
Hadoop是一个分布式存储与计算系统，分布式存储部分是HDFS，分布...
分类：
其他好文 时间：
2014-07-19 02:31:56
阅读次数：
188
1、启动journalnode时存在警告信息，sbin/hadoop-daemon.shstopjournalnodestartingjournalnode,loggingto/app/hadoop-2.2.0/logs/hadoop-root-journalnode-qasdba.outJavaHotSpot(TM)64-BitServerVMwarning:Youhaveloadedlibrary/app/hadoop-2.2.0/lib/native/libhadoop.sowhi..
分类：
其他好文 时间：
2014-07-19 02:31:55
阅读次数：
275
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：（1）ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clouder...
分类：
其他好文 时间：
2014-07-19 00:28:52
阅读次数：
426
