Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件，并在运行Hadoop代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决，提供给跟我同样遇到的问题作为参考。...
分类：
数据库 时间：
2014-12-20 16:57:19
阅读次数：
583
Hadoop是云计算的事实标准软件框架，是云计算理念、机制和商业化的具体实现，是整个云计算技术学习中公认的核心和最具有价值内容。如何从企业级开发实战的角度开始，在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。云计算学习者的心声：如何从企业级开发的角度，不断动手实际操作，循序...
分类：
其他好文 时间：
2014-12-20 02:05:45
阅读次数：
209
接上一篇《Ubuntu Kylin系统下安装Hadoop2.6.0》通过上一篇，Hadoop伪分布式基本配好了。下一步是运行一个MapReduce程序，以WordCount为例：1. 构建实现类：cd /usr/local/hadoopmkdir workspacecd workspacegedit...
分类：
系统相关 时间：
2014-12-19 21:58:12
阅读次数：
275
Doug Cutting Lucene（索引引擎）---Nutch（搜索Data抓取）---Hadoop 1997:Lucene 2003:GFS 2004:NDFS\MapReduce\Nutch 2006: (Yahoo! Facebook NewYorkTimes) Hadoop 2008: ...
分类：
其他好文 时间：
2014-12-19 15:43:43
阅读次数：
149
最近买了一本《Python宝典》在看，此书所讲Python知识的广度明显，但是深度略显不足，所以比较适合入门及提高级的读者来看。其中对于Python大数据处理一章的内容比较有兴趣，看明白了以后，我根据书上提供的案例对源代码进行了修改，也实现了模拟MapReduce的过程。
目标：从Apache的用户访问日志access.log中统计出页面资源的访问量。我们假设这个文件体积十分巨大。
acc...
分类：
编程语言 时间：
2014-12-19 12:13:28
阅读次数：
235
Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大...
分类：
其他好文 时间：
2014-12-19 10:07:54
阅读次数：
307
在文章《MapReduce原理与设计思想》中，详细剖析了MapReduce的原理，这篇文章则通过实例重点剖析MapReduce本文地址：http://www.cnblogs.com/archimedes/p/mapreduce-example-analysis.html，转载请注明源地址。1.Map...
分类：
其他好文 时间：
2014-12-18 18:19:34
阅读次数：
276
YARN
Hadoop2.0与HAdoop1.0的区别：
Hadoop1.0主要由HDFS和MapReduce两个系统够长，但在Hadoop2.0中主要由 Hadoop Common、HDFS 、Hadoop YARN和Hadoop MapReduce2.0构成。
Hadoop1.0更多是在于离线的...
分类：
其他好文 时间：
2014-12-18 14:56:59
阅读次数：
244
1 Topology构成 和同样是计算框架的Mapreduce相比，Mapreduce集群上运行的是Job，而Storm集群上运行的是Topology。但是Job在运行结束之后会自行结束，Topology却只能被手动的kill掉，否则会一直运行下去。 Storm集群中有两种节点，一种是控制节点(Ni...
分类：
其他好文 时间：
2014-12-18 11:56:38
阅读次数：
180
传说中的谷歌三篇论文
MapReduce: Simpli?ed Data Processing on Large Clusters
The Google file system
Bigtable: A Distributed Storage System for Structured Data
谷歌学术立搜可下。...
分类：
其他好文 时间：
2014-12-17 22:41:42
阅读次数：
261
