常见数据压缩算法压缩文件压缩主要有两个好处，一是减少了存储文件所占空间，另一个就是为数据传输提速。在hadoop大数据的背景下，这两点尤为重要，那么我现在就先来了解下hadoop中的文件压缩。hadoop里支持很多种压缩格式，我们看一个表格：
LZO和LZ4算法已经不在Hadoop1.x中使用了。1、DEFLATE是同时使用了LZ77与哈夫曼编码的一个无损数据压缩算法，
源代码可以在zlib...
分类：
编程语言 时间：
2015-06-05 21:17:42
阅读次数：
354
原创文章，转载请注明：转载自工学1号馆欢迎关注我的个人博客：www.wuyudong.com, 更多云计算与大数据的精彩文章在hadoop-1.0中，不像0.20.2版本，有现成的eclipse-plugin源码包，而是在HADOOP_HOME/src/contrib/eclipse-plugin目...
分类：
系统相关 时间：
2015-05-30 07:01:29
阅读次数：
184
一直没有重视三者之间的通信问题，在此整理一下提问：datanode之间有没有交互？Hadoop安装时ssh如何配置？1.背景知识：在Hadoop系统中，master/slaves/client的对应关系是：master---namenode；slaves---datanode；client---df...
分类：
其他好文 时间：
2015-05-25 00:57:54
阅读次数：
424
本文通过两种方式来讲解hadoop中对HDFS文件系统的操作，第一种方式是命令行，第二种方式是通过java代码来实现。
一、命令行方式：hadoop fs xxx
hadoop fs xxx hadoop fs -ls / 查看hdfs的根目录下的内容的
hadoop fs -lsr / 递归查看hdfs的根目录下的内容的...
分类：
其他好文 时间：
2015-05-22 22:37:35
阅读次数：
165
http://jiezhu2007.iteye.com/blog/2041422大学里面数据结构里面有专门的一章图论，可惜当年没有认真学习，现在不得不再次捡 起来。真是少壮不努力，老大徒伤悲呀！什么是DAG（Directed Acyclical Graphs），先来看下教科书上的定义吧：如果一个有向...
分类：
编程语言 时间：
2015-05-18 12:31:48
阅读次数：
190
Hadoop中MapReduce 的执行也是采用Master/Slave 主从结构的方式。其中JobTracker 充当了Master的角色，而TaskTracker 充当了Slave 的角色。Master负责接受客户端提交的Job，然后调度Job的每一个子任务Task运行于Slave上，并监控.....
分类：
其他好文 时间：
2015-05-06 22:39:19
阅读次数：
207
Hadoop 中的MapReduce库支持几种不同格式的输入数据。例如，文本模式的输入数据的每一行被视为一个key/value pair,其中key为文件的偏移量，value为那一行的内容。每一种输入类型的实现都必须能够把输入数据分割成数据片段，并能够由单独的Map任务来对数据片段进行后续处理。一....
分类：
其他好文 时间：
2015-05-05 23:24:26
阅读次数：
197
本例子采用hadoop1.1.2版本采用气象数据作为处理数据1、MultipleOutputs例子，具体解释在代码中有注释packageStationPatitioner;
importjava.io.IOException;
importjava.util.Iterator;
importorg.apache.hadoop.conf.Configured;
importorg.apache.hadoop.fs.Path;
importo..
分类：
其他好文 时间：
2015-04-28 00:02:16
阅读次数：
374
参考刘鹏的《实战Hadoop》一书，按照hadoop0.20.2几个注意的地方。第一，首先理解Hadoop中的几个后台进程。NameNode，SecondaryNameNode，JobTracker,TaskTracker,DataNode这几个角色。NameNode：负责如何切分数据块，和切完放哪个节点。它对内存和I/O集中管理。这个进程部署在..
分类：
其他好文 时间：
2015-04-26 01:33:16
阅读次数：
151
Combiner作用是合并Mapper的输出，Combiner的输出作为Reducer的输入，这样可以减少map任务和reducer任务之间的数据传输。1、在Job中设置Combiner和不设置Combiner，观察Reducer输入情况使用如下代码设置Combinerjob.setCombinerClass(MaxTemperatureReducer.class);@Override p..
分类：
其他好文 时间：
2015-04-24 16:33:08
阅读次数：
143
