虽然现在都在说大内存时代，不过内存的发展怎么也跟不上数据的步伐吧。所以，我们就要想办法减小数据量。这里说的减小可不是真的减小数据量，而是让数据分散开来。分开存储、分开计算。这就是 MapReduce 分布式的核心。...
分类：
其他好文 时间：
2016-05-12 12:28:56
阅读次数：
218
运行Hadoop 进入Hadoop的安装目录的bin目录下，采用-format命令格式化文件系统。$Hadoop NameNode -format 注意：在执行格式化-format命令时，要避免NameNode的namespace ID与DataNode的namespace ID的不一致。这是因为每... ...
分类：
其他好文 时间：
2016-05-11 11:22:39
阅读次数：
217
Combiner和Partitioner是用来优化MapReduce的，可以提高MapReduce的运行效率。下面我们来具体学习这两个组件 Combiner 我们以WordCount为例，首先通过下面的示意图直观的了解一下Combiner的位置和作用 从上图可以看出，Combiner介于 Mappe ...
分类：
其他好文 时间：
2016-05-09 09:46:37
阅读次数：
175
在之前的工作中，主要做了三件事情：1 如何完成Hadoop的完全分布式集群搭建
2 如何运行Hadoop自带示例WordCount，验证集群的运行
3 如何基于eclipse插件实现Hadoop编程完成每一件事都需要经过谨慎的操作、反复的验证，还有耐心。安装完之后一下成功是很难的，仍需要检验每一步的操作、查看错误问题的日志、分析网上类似问题的各类解决方法，于是在千转百回之下，柳暗花明。我分享了以...
分类：
其他好文 时间：
2016-05-07 10:12:56
阅读次数：
268
1.准备工作
操作系统：windows 10
开发工具：eclipse 4.5
java虚拟机 ：jdk-8u91-windows-x64.exe
hadoop版本：hadoop-2.6.4.tar.gz
hadoop-eclipse插件：hadoop-eclipse-plugin-2.6.0.jar
2. 安装过程
2.1 jdk安装
略
2.2 hadoop安装
解压 h...
该程序使用pthread来统计某一文本中每个单词出现次数。每一个thread处理一行字符串。使用一个map<string,size_t>word_count作为全局变量。kernelfunction中，使用pthread_mutex_lock来控制对全局变量word_count的改变。使用stringstream来处理字符串。输入：firstsentenc..
分类：
其他好文 时间：
2016-05-06 02:20:34
阅读次数：
138
一、前言在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境。既然环境已经搭建好了，那么现在我们就应该来干点正事嘛！比如来一个Hadoop世界的HelloWorld，也就是WordCount程序(一个简单的单词计数程序)二、WordCount 官方案例的运行
2.1 程序简介
WordCount程序是hadoop自带的案例，我们可以在 hadoop 解压目录下找到包含这...
分类：
编程语言 时间：
2016-05-03 18:26:58
阅读次数：
304
研究MapReduce已经有一段时间了。起初是从分析WordCount程序开始，后来开始阅读Hadoop源码，自认为已经看清MapReduce的运行流程。现在把自己的理解贴出来，与大家分享，欢迎纠错。 还是以最经典的WordCount程序作为基础，来分析map阶段、reduce阶段和最复杂的shuf ...
分类：
其他好文 时间：
2016-04-29 22:00:20
阅读次数：
270
引文 学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子，以大名鼎鼎的wordcount为例，你会输入以下命令： 当然，有些人还会用以下替代方式： 相比于原始的执行方式，使用jar命令方式，让我们不用再敲入繁琐的完整包路径。比如我们知道hadoop-mapreduce-exampl ...
分类：
其他好文 时间：
2016-04-29 14:24:30
阅读次数：
252
继《Hadoop2.6.0版本MapReudce示例之WordCount（一）》之后，我们继续看MapReduce的WordCount示例，看看如何监控作业运行或查看历史记录，以及作业运行时的文件目录及列表。...
分类：
其他好文 时间：
2016-04-22 20:59:11
阅读次数：
255
