SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件。基于压缩类型CompressType，共有三种SequenceFileWriter：publicstaticenumCompressionType{
/**不压缩*/
NONE,
/**只压缩value*/
RECORD,
/**压缩很多记录的key/value成一块*/
BLOCK
}Therearethre..
分类：
其他好文 时间：
2014-07-31 03:19:07
阅读次数：
486
为了方便自己回顾记忆，将今天实验的hadoop命令总结一下，方便后续查看。注意，下述命令是在hadoop/bin 下操作的。1.hadoop fs -ls \ ->查看当前下面的所有目录。2.hadoop fs -mkdir xxx ->创建xxx文件夹在hadoop文件系统上。3.hadoop ....
分类：
其他好文 时间：
2014-07-31 02:18:05
阅读次数：
283
1、做好下文中的所有配置：Hadoop1.2.1分布式安装-1-准备篇。 2、Hadoop2.x的发行版中有个小问题：libhadoop.so.1.0.0在64位OS中存在问题，因为它是32位的，在64位OS中hadoop启动时会报一个WARN的日志。这个包的作...
分类：
其他好文 时间：
2014-07-31 00:13:05
阅读次数：
286
最近项目需要用到hadoop，自己动手一步一步安装hadoop...
分类：
其他好文 时间：
2014-07-31 00:07:25
阅读次数：
410
Hadoop MapReduce Next Generation - Setting up a Single Node Cluster.PurposeThis document describes how to set up and configure a single-node Hadoop in...
分类：
其他好文 时间：
2014-07-30 23:41:45
阅读次数：
284
本文介绍在centos7上面通过hadoop2.4.1源码构建hadoop distribution 版本，即hadoop的运行版本。 为何要自己building，而不用Apache的distribution 【bin】版本，因为hadoop涉及到Linux系统的底层实现，如： hado...
分类：
其他好文 时间：
2014-07-30 23:41:25
阅读次数：
284
jpshadoop namenode -formatdfs directory : /home/hadoop/dfs --data --current/VERSION#Wed Jul 30 20:41:03 CST 2014storageID=DS-ab96ad90-7352-4cd5-a0de.....
分类：
其他好文 时间：
2014-07-30 23:16:25
阅读次数：
228
HDFS和MapReduce是Hadoop的两大核心。整个Hadoop体系结构主要是通过HDFS来实现分布式存储的底层支持的，并且通过MapReduce来实现分布式并行任务处理的程序支持。...
分类：
其他好文 时间：
2014-07-30 20:57:44
阅读次数：
238
代码测试环境：Hadoop2.4应用场景：在Reducer端一般是key排序，而没有value排序，如果想对value进行排序，则可以使用此技巧。应用实例描述：比如针对下面的数据：a,5
b,7
c,2
c,9
a,3
a,1
b,10
b,3
c,1如果使用一般的MR的话，其输出可能是这样的：a 1
a 3
a 5
b 3
b 10
b 7
c 1
c 9
c 2从数据中可以看到其键是排序的，但...
分类：
其他好文 时间：
2014-07-30 17:29:34
阅读次数：
358
敏捷数据科学：用Hadoop创建数据分析应用（数据分析最佳实践入门敏捷大数据首作分步骤|全流程演示思路、工具与方法）【美】Russell Jurney(拉塞尔·朱尔尼) 著 冯文中 朱洪波 译ISBN 978-7-121-23619-82014年7月出版定价：49.00元 184页16开编辑推荐对大...
分类：
其他好文 时间：
2014-07-30 17:21:04
阅读次数：
253
