在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行，将会解决这些问题。...
分类：
其他好文 时间：
2016-05-05 22:45:10
阅读次数：
307
1. 序列的分片操作：需要提供两个索引作为边界，第1个索引的元素包含在分片内，第2个索引的元素不包含在分片内。 为了能让分片部分能够包含列表的最后一个元素，必需提供最后一个元素的下一个元素所对应的索引作为边界。 捷径：空出最后一个索引。同样适用于序列开始的元素 如果需要复制整个序列，可以将两个索引都 ...
分类：
编程语言 时间：
2016-05-05 00:28:36
阅读次数：
232
数据输入格式（InputFormat） 用于描述MapReduce作业的数据输入规范。MapReduce框架依靠数据输入格式完成输入规范检查(比如输入文件目录的检查)、对数据文件进行输入分块(也叫分片，InputSplit)，以及提供从输入分块(分片)中将数据记录逐一读出，并转化为Map过程的输入键值对等功能
Hadoop提供了丰富的内置数据输入格式。最常用的数据输入格式包括：TextInputFormat和KeyValueInputFormat
TextInputFormat是系统默认的数据输入格式，可...
分类：
其他好文 时间：
2016-05-04 12:03:48
阅读次数：
537
mongodb通过哪些机制实现路由、分片：
从图中可以看到有四个组件：mongos、config server、shard、replica set。
mongos，数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mon...
分类：
数据库 时间：
2016-05-03 18:13:52
阅读次数：
363
http://stackoverflow.com/questions/25683649/deploy-war-from-s3-to-aws-elastic-beanstalk I have got the best answer in this post : it requires 3 simple ...
分类：
其他好文 时间：
2016-05-03 17:54:40
阅读次数：
153
【参考】官网:https://www.elastic.co/downloads参考:http://517sou.net/archives/centos%E4%B8%8B%E4%BD%BF%E7%94%A8elk%E5%A5%97%E4%BB%B6%E6%90%AD%E5%BB%BA%E6%97%A5%E5%BF%97%E5%88%86%E6%9E%90%E5%92%8C%E7%9B%91%E6%8E%A7%E5%B9%B3%E5%8F%B0/http://my.oschina.net/itbl..
分类：
其他好文 时间：
2016-05-03 00:41:47
阅读次数：
303
尽管IP分片看起来是是透明的，但有一点让人不想使用它：即使只丢失一片数据也要重传整个数据报。为什么会发生这种情况呢？ 因为IP层本身没有超时重传的机制——由更高层来负责超时和重传（TCP有超时和重传机制，但UDP没有。一些UDP应用程序本身也执行超时和重传）。当来自TCP报文段的某一片丢失后，TCP... ...
分类：
其他好文 时间：
2016-05-02 18:35:49
阅读次数：
156
首先是下载elasticsearch https://www.elastic.co/downloads，解压； 然后下载了中文分析器ik，github上搜索elasticsearch-ik就能找到，https://github.com/medcl/elasticsearch-analysis-ik ... ...
分类：
其他好文 时间：
2016-05-02 00:37:57
阅读次数：
279
1、 首页到官方网站下载最新安装包 https://www.elastic.co/downloads/elasticsearch elasticsearch-1.7.5.tar.gz 2、 将软件包上传到 /usr/local/mypackages/ 目录下。 3、 将软件解压到 /usr/loca ...
分类：
其他好文 时间：
2016-05-01 16:15:31
阅读次数：
257
ELK就是一套完整的日志分析系统 ELK=Logstash+Elasticsearch+Kibana 统一官网https://www.elastic.co/products ELK模块说明 Logstash 作用：用于处理传入的日志，负责收集、过滤和写出日志 Logstash分为三个组件input， ...
分类：
其他好文 时间：
2016-04-29 21:57:50
阅读次数：
215
