Hadoop技术内幕：深入解析MapReduce架构设计与实现原理http://yunpan.cn/cwBBhLYTBnVRG（提取码：1810）更多精彩内容请关注：http://bbs.superwu.cn关注超人学院微信二维码：关注超人学院java免费学习交流群：
分类：
其他好文 时间：
2015-06-01 18:25:53
阅读次数：
136
MapTask的辅劣类主要针对Mapper的输入和输出。首先我们来看MapTask中用的的Mapper输入，在类图中，返部分位于右上角。
MapTask.TrackedRecordReader是一个Wrapper，在原有输入RecordReader的基础上，添加了收集上报统计数据的功能。
MapTask.SkippingRecordReader也是一个Wrapper，它在MapTask.Tra...
分类：
其他好文 时间：
2015-06-01 16:50:53
阅读次数：
107
你已经看到实现有且只有一次被执行的语义时的复杂性。Trident这样做的好处把所有容错想过的逻辑都放在了State里面 -- 作为一个用户，你并不需要自己去处理复杂的txid，存储多余的信息到数据库中，或者是任何其他类似的事情。你只需要写如下这样简单的code：
TridentTopology topology = new TridentTopology(); ...
如果一个标识符或选择e引用了数个类的成员，则将使用引用的上下文来推断唯一的成员。使用的方法将依赖于e是否被用作一个函数。设Ａ是e引用的成员的集合。
首先假定e作为函数出现在应用中，比如e(args)。如果在Ａ中有且仅有一个可选成员是一个(可能是多态)方法类型，其元数与给出的参量数目匹配，则就会选定该可选成员。
否则，设Ts是通过用未定义类型来类型化每个参量所得到的类型向量。首先要确定的是可用的...
分类：
其他好文 时间：
2015-06-01 16:47:07
阅读次数：
196
概要
本篇主要阐述在TaskRunner中执行的task其业务逻辑是如何被调用到的，另外试图讲清楚运行着的task其输入的数据从哪获取，处理的结果返回到哪里，如何返回。
准备
1. spark已经安装完毕
2. spark运行在local mode或local-cluster mode
local-cluster
mode
local-cluster模式也称为伪分布...
分类：
Web程序 时间：
2015-06-01 16:46:52
阅读次数：
143
bulk-load的作用是用mapreduce的方式将hdfs上的文件装载到hbase中，对于海量数据装载入hbase非常有用，参考http://hbase.apache.org/docs/r0.89.20100621/bulk-loads.html：
hbase提供了现成的程序将hdfs上的文件导入hbase,即bulk-load方式。它包括两个步骤（也可以一次完成）：
1 将文件包...
分类：
其他好文 时间：
2015-06-01 16:45:09
阅读次数：
163
Solr在不修改任务配置的情况下就可以使用查询功能，在web项目中应用可以直接URL进行访问Solr服务器例如：
http://localhost:8080/solr/ collection1/select?q=*%3A*&wt=xml&indent=true
...
分类：
其他好文 时间：
2015-06-01 16:44:16
阅读次数：
119
Hadoop技术内幕：深入解析MapReduce架构设计与实现原理http://yunpan.cn/cwBBhLYTBnVRG （提取码：1810）
更多精彩内容请关注：http://bbs.superwu.cn
关注超人学院微信二维码：
关注超人学院java免费学习交流群：...
分类：
其他好文 时间：
2015-06-01 16:42:16
阅读次数：
91
前言：Hadoop 2.0之后，原先的MapReduce不在是简单的离线批处理MR任务的框架，升级为MapReduceV2（Yarn）版本，也就是把资源调度和任务分发两块分离开来。而在最新的CDH版本中，同时集成了MapReduceV1和MapReduceV2（Yarn）两个版本，如果集群中需要使用Yarn做统一的资源调度，建议使用Yarn。
CDH对Yarn的部分参数做了少了修改，并且添加了相...
分类：
其他好文 时间：
2015-05-29 23:18:43
阅读次数：
198
Es查询的时候默认是随机从一些分片中查询数据，可以通过配置让es从某些分片中查询数据1：_local指查询操作会优先在本地节点有的分片中查询，没有的话再在其它节点查询。2：_primary：指查询只在主分片中查询3：_primary_first：指查询会先在主分片中查询，如果主分片找不到（挂..
分类：
其他好文 时间：
2015-05-29 18:30:50
阅读次数：
153
