近来工作不怎么忙，一直在想一个问题，今年刚刚毕业，对于我们这应届生到底应该学习那些技术呢？ 面对着现在技术横生，到底哪项是适合自己的呢？自己一直都在迷茫，若有那位大神再次经过，望给出您宝贵的建议。 最近思来想去，觉得首先应该将分布式和云计算学习好，云计算赶脚很高端大气上档次，自觉打好基础在学习，提....
分类：
其他好文 时间：
2014-07-19 19:16:20
阅读次数：
197
2014年2月20日，Hadoop 2.3.0版本发布，这是apache 在2014年发布的第一个Hadoop版本，揭开了Hadoop 2014发展的序幕。该版本引入了很多大家期待已久的特性，包括HDFS 的异构层次化存储架构、DataNode Cache，YARN的单点故障解决方案，以及MapRe...
分类：
其他好文 时间：
2014-07-19 18:04:01
阅读次数：
239
DistributedCache是Hadoop提供的文件缓存工具，它能够自动将指定的文件分发到各个节点上，缓存到本地，供用户程序读取使用。它具有以下几个特点：缓存的文件是只读的，修改这些文件内容没有意义；用户可以调整文件可见范围（比如只能用户自己使用，所有用户都可以使用等），进而防止重复拷贝现象；按...
分类：
其他好文 时间：
2014-07-19 17:23:15
阅读次数：
233
在看hadoop 的二次排序的时候，改写了下， 加了第三个参数, 本来以为是在 public int compareTo(IntPair o) { System.out.println("-----------compareTo"); if (first != o.first...
分类：
其他好文 时间：
2014-07-19 17:10:26
阅读次数：
256
1.打开eclipse之后，建立wordcount项目package wordcount;import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configurati.....
分类：
系统相关 时间：
2014-07-19 09:06:50
阅读次数：
435
声明：个人原创，转载请注明出处。文中引用了一些网上或书里的资料，如有不妥之处请告之。本文是我阅读Hadoop 0.20.2第二遍时写的笔记，在阅读过程中碰到很多问题，最终通过各种途径解决了大部分。Hadoop整个系统设计精良，源码值得学习分布式的同学们阅读，以后会将所有笔记一一贴出，希望能方便大家阅...
分类：
其他好文 时间：
2014-07-19 09:02:01
阅读次数：
248
EEPlat的开发内容主要包括配置开发和基于API的扩展开发两块内容，
EEPlat的配置开发基于后台的配置环境，直接通过界面操作配置即可。EEPlat的配置平台是用EEPlat自解释构建的，本身就是EEPlat上开发的产物，因而整个配置环境是基于B/S模式，可以在浏览器上通过后台用户名密码登录后在线实用的。
EEPlat基于API的开发可以使用在线模式和传统代码级模式，在线开发模式通过浏览器...
分类：
其他好文 时间：
2014-07-19 02:41:16
阅读次数：
186
一、Hadoop构造模块
运行Hadoop的意思其实就是运行一组守护进程（daemons），每个进程都有各自的角色，有的仅运行在单个服务器上，有的则运行在集群多个服务器上，它们包括：
NameNodeSecondary NameNodeDataNodeJobTrackerTaskTracker
Hadoop是一个分布式存储与计算系统，分布式存储部分是HDFS，分布...
分类：
其他好文 时间：
2014-07-19 02:31:56
阅读次数：
188
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：（1）ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clouder...
分类：
其他好文 时间：
2014-07-19 00:28:52
阅读次数：
426
windows下eclipse+hadoop2.4开发手册1.解压下载的hadoop2.4，到任意盘符，例如D:\hadoop-2.4.0。2.设置环境变量①新建系统变量，如下所示。②将新建的HADOOP_HOME变量“%HADOOP_HOME%\bin;”加入到PATH变量里，如下图。3.将had...
