2014年2月20日，Hadoop 2.3.0版本发布，这是apache 在2014年发布的第一个Hadoop版本，揭开了Hadoop 2014发展的序幕。该版本引入了很多大家期待已久的特性，包括HDFS 的异构层次化存储架构、DataNode Cache，YARN的单点故障解决方案，以及MapRe...
分类：
其他好文 时间：
2014-07-19 18:04:01
阅读次数：
239
DistributedCache是Hadoop提供的文件缓存工具，它能够自动将指定的文件分发到各个节点上，缓存到本地，供用户程序读取使用。它具有以下几个特点：缓存的文件是只读的，修改这些文件内容没有意义；用户可以调整文件可见范围（比如只能用户自己使用，所有用户都可以使用等），进而防止重复拷贝现象；按...
分类：
其他好文 时间：
2014-07-19 17:23:15
阅读次数：
233
本文介绍Hadoop YARN最近版本中增加的几个非常有用的特性，包括：（1）ResourceManager HA在apache hadoop 2.4或者CDH5.0.0版本之后，增加了ResourceManger HA特性，支持基于Zookeeper的热主备切换，具体配置参数可以参考Clouder...
分类：
其他好文 时间：
2014-07-19 00:28:52
阅读次数：
426
windows下eclipse+hadoop2.4开发手册1.解压下载的hadoop2.4，到任意盘符，例如D:\hadoop-2.4.0。2.设置环境变量①新建系统变量，如下所示。②将新建的HADOOP_HOME变量“%HADOOP_HOME%\bin;”加入到PATH变量里，如下图。3.将had...
安装配置 Eclipse + PyDev + Robotframework 集成开发环境1.安装JDK安装目录下的jdk-7u17-windows-i586.exe文件（JAVA开发、运行环境）安装完毕后，在系统变量（右键点击计算机->属性->高级系统设置->环境变量->）中找到path变量，在变量...
分类：
编程语言 时间：
2014-07-18 18:27:22
阅读次数：
532
Hadoop代码测试版本：Hadoop2.4原理：在进行MR程序之前对输入数据进行随机提取样本，把样本排序，然后在MR的中间过程Partition的时候使用这个样本排序的值进行分组数据，这样就可以达到全局排序的目的了。难点：如果使用Hadoop提供的方法来实现全局排序，那么要求Mapper的输入、输出的key不变才可以，因为在源码InputSampler中提供的随机抽取的数据是输入数据最原始的ke...
分类：
其他好文 时间：
2014-07-18 18:04:00
阅读次数：
314
最近项目中遇到了存储在HDFS上的数据格式不对，是由于数据中带有\r\n的字符，程序处理的时候没有考虑到这些情况。历史数据大概有一年的时间，需要把错误的数据或者重复的数据给删除了，保留正确的数据，项目中使用Pig来进行数据处理，所以我写了一个UDF的JAVA类去过滤那些错误的数据，把错误的数据和正确...
分类：
其他好文 时间：
2014-07-18 17:33:40
阅读次数：
246
lamp环境搭建1、apahce安装（1）安装相关的依赖包[root@localhost~]#yum–yinstallgccmakeopenssl-develc++libxml2-devel（2）．编译安装apahce[root@localhostsrc]#tar-zxfhttpd-2.2.25[root@localhostsrc]#cdhttpd-2.2.25[root@localhostsrc]#./configure--prefix=/usr/loca..
分类：
其他好文 时间：
2014-07-18 13:09:49
阅读次数：
283
昨天又搭建了一次Android的开发环境，尝试了好几种方式，也遇到了一些问题，在此分享一下。 注意：官网公布的最新版本号的SDK和ADT(23.0.0)，对于和Eclipse集成的开发环境是有BUG存在的。搭建完毕建立HelloWorld測试的时候，src和layout文件下的文件都为空。...
分类：
移动开发 时间：
2014-07-18 12:01:25
阅读次数：
345
