http://www.aboutyun.com/thread-8927-1-1.html Mapreduce在hadoop中是一个比較难以的概念。以下须要用心看，然后自己就能总结出来了。 概括： combine和partition都是函数。中间的步骤应该仅仅有shuffle！ 1.combine c ...
分类：
其他好文 时间：
2017-06-20 14:50:07
阅读次数：
166
Hadoop示例程序WordCount详解及实例http://blog.csdn.net/xw13106209/article/details/6116323 hadoop中使用MapReduce编程实例（转）http://eric-gcm.iteye.com/blog/1807468 【mapre ...
分类：
其他好文 时间：
2017-06-13 22:40:05
阅读次数：
148
Secondary NameNode:它究竟有什么作用？ 在hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑，Secondary NameNode究竟是做 ...
分类：
其他好文 时间：
2017-06-09 18:23:01
阅读次数：
357
有些hive安装文档提到了hdfs dfs -mkdir ，也就是说hdfs也是可以用的，但在2.8.0中已经不那么处理了，之所以还可以使用，是为了向下兼容. 本文简要介绍一下有关的命令，以便对hadoop的命令有一个大概的影响，并在想使用的时候能够知道从哪里可以获得帮助。 概述 在$HADOOP_ ...
分类：
其他好文 时间：
2017-06-09 17:31:10
阅读次数：
336
download binary 而不是 source http://hadoop.apache.org/#Download+Hadoop ...
分类：
其他好文 时间：
2017-06-08 00:17:56
阅读次数：
584
如要转载，请注上作者和出处。 须知： 我们下载的是hadoop-2.7.3-src 源码。 这个版本默认调度器是Capacity调度器。 在2.0.2-alpha版本的时候，有人汇报了一个fifo调度器的bug，社区把默认调度器从原来的fifo切换成capacity了。 在Hadoop中，调度器是一 ...
分类：
其他好文 时间：
2017-06-07 10:03:02
阅读次数：
751
下载Hadoop（我下载的是2.8.0版本） 点击此处下载 下载后，使用 解压tar包，解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs ...
分类：
系统相关 时间：
2017-06-04 15:51:27
阅读次数：
243
一、YARN基本架构 YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务:一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的 ...
分类：
其他好文 时间：
2017-06-04 12:50:46
阅读次数：
185
文章出处：http://blog.csdn.net/sdksdk0/article/details/51628874 作者：朱培 本文是结合Hadoop中的mapreduce来对用户数据进行分析，统计用户的手机号码、上行流量、下行流量、总流量的信息，同时可以按照总流量大小对用户进行分组排序等。是一个 ...
分类：
其他好文 时间：
2017-06-03 11:19:16
阅读次数：
206
HRegion 当一张表中的数据特别多的时候，HBase把表拆成多个块，每个块就是一个HRegion，每个region中包含这个表里的所有行 HRegionServer 数据库的数据存在HDFS文件系统中，用户通过HRegionServer来获取数据，一台机器上一般只能运行一个HRegionServ ...
分类：
其他好文 时间：
2017-05-21 10:47:04
阅读次数：
215
