集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
Hadoop YARN组件间的主要通信协议简介。...
分类：
其他好文 时间：
2014-07-14 14:04:13
阅读次数：
221
Hadoop YARN ApplicationMaster程序设计概述。...
分类：
其他好文 时间：
2014-07-14 11:27:32
阅读次数：
267
Hadoop MapReduce On YARN的实现 --- MRAppMaster内部组件剖析。...
分类：
移动开发 时间：
2014-07-14 11:26:56
阅读次数：
340
本来不打算写的了，但是真的是闲来无事，整天看美剧也没啥意思。这一章打算讲一下Spark on yarn的实现，1.0.0里面已经是一个stable的版本了，可是1.0.1也出来了，离1.0.0发布才一个月的时间，更新太快了，节奏跟不上啊，这里仍旧是讲1.0.0的代码，所以各位朋友也不要再问我讲的是哪...
分类：
其他好文 时间：
2014-07-13 21:43:15
阅读次数：
381
引言 最近LZ带头在做一个互联网项目，互联网的东西总是那么新鲜，这也难怪大部分猿友都喜欢互联网。这个互联网项目不仅让LZ开发了一个HBase大数据应用，近期的一次需求讨论会上，又出来一个小需求，蛮有意思的。这些需求在之前枯燥的企业内部应用开发中，还是很难见到的，毕竟内部应用更多的是业务流程的体现。....
分类：
其他好文 时间：
2014-07-13 19:13:57
阅读次数：
266
一、被索引的域 Schema.xml
在使用solr对Nutch抓取到的网页进行索引时，schema.xml被改变成以下内容。
文件中指定了哪些域被索引、存储等内容。
<fieldType name="string" class="solr.StrField" sortMissingLast="true"
omitNor...
分类：
其他好文 时间：
2014-07-13 18:56:21
阅读次数：
411
1 概述
该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。
2 为什么要使用MapReduce
Map/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不...
分类：
其他好文 时间：
2014-07-12 21:31:22
阅读次数：
296
