1.WritableComparable查看HadoopAPI,如图所示：WritableComparable继承自Writable和java.lang.Comparable接口，是一个Writable也是一个Comparable，也就是说，既可以序列化，也可以比较！再看看它的实现类，发现Boole...
分类：
其他好文 时间：
2014-12-12 16:29:10
阅读次数：
239
当时，hadoop已经安装成功，但是secondarynamenode没有启动
后来经过研究，原来是配置的目录有问题
首先修改一下shell文件
文件路径：/home/work/hadoop/bin
原来：master 现在：secondarynamenode
[work@master bin]$ cat start-dfs.sh
#!/usr/bin/env bash
...
分类：
其他好文 时间：
2014-12-11 15:56:46
阅读次数：
224
1.压缩和输入分片 Hadoop中文件是以块的形式存储在各个DataNode节点中，假如有一个文件A要做为输入数据，给MapReduce处理，系统要做的，首先从NameNode中找到文件A存储在哪些DataNode中，然后，在这些DataNode中，找到相应的数据块，作为一个单独的数据分块，作为ma...
分类：
其他好文 时间：
2014-12-11 15:22:37
阅读次数：
185
概念
SequenceFile是一个由二进制序列化过的key/value的字节流组成的文本存储文件，它可以在map/reduce过程中的input/output
的format时被使用。在map/reduce过程中，map处理文件的临时输出就是使用SequenceFile处理过的。 所以一般的SequenceFile均是在FileSystem中生成，供map调用的原始文件。
...
分类：
其他好文 时间：
2014-12-10 22:48:16
阅读次数：
280
Configuration是hadoop中五大组件的公用类，所以放在了core下，org.apache.hadoop.conf.Configruration。这个类是作业的配置信息类，任何作用的配置信息必须通过Configuration传递，因为通过Configuration可以实现在多个mappe...
分类：
其他好文 时间：
2014-12-10 22:45:41
阅读次数：
230
1.CompressionCodecFactory简介 当在读取一个压缩文件的时候，可能并不知道压缩文件用的是哪种压缩算法，那么无法完成解压任务。在Hadoop中，CompressionCodecFactory通过使用其getCodec()方法，可以通过文件扩展名映射到一个与其对应的Compress...
分类：
其他好文 时间：
2014-12-10 19:47:30
阅读次数：
343
Hadoop中作业(job)、任务(task)和task attempt之间的关系，及其命名方式...
分类：
其他好文 时间：
2014-12-08 23:07:04
阅读次数：
321
导读：云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad Hedlund撰写，他曾在思科工作多年，专长是数据中心、云网络等。文章素材基于作者自己的研究、实验和Cloudera的培训资料。本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基...
分类：
其他好文 时间：
2014-12-04 21:24:35
阅读次数：
291
说明：本来研究开源日志的系统是flume，后来发现配置比较麻烦，网上搜索到fluentd也是开源的日志收集系统，配置简单多了，性能不错，所以就改研究这个东东了！官方主页，大家可以看看：fluentd.org，支持300+的plugins，应该是不错的！fluentd是通过hadoop中的webHDFS与HDFS进..
分类：
其他好文 时间：
2014-12-04 18:18:05
阅读次数：
497
实例讲解Hadoop中MapReduce中的partition分组...
分类：
其他好文 时间：
2014-12-01 22:27:01
阅读次数：
453
