最近学习了hadoop这个框架，把自己的理解总结如下：
1、hadoop通过一个jobtracker分派任务到一系列tasktracker来运行，tasktracker同时向jobtracker返回任务运行结果。
jobtracker对作业的输入数据进行分片，然后为每个分片创建一个map任务，同时创建一定数量的reduce任务，并指派空闲的tasktracker来执行这些任务。
tasktr...
分类：
其他好文 时间：
2015-04-13 11:00:17
阅读次数：
113
Storm，核心代码使用clojure书写，实用程序使用python开发，使用java开发拓扑。 Nimbus节点接收到请求，对提交的拓扑进行分片，分成一个个的task,并将task和supervisor相关的信息提交到zookeeper集群上，supervisor会去zookeeper集群上领自己...
分类：
其他好文 时间：
2015-04-12 14:33:28
阅读次数：
3522
1. index 与 typeindex 相当于 mysql 的 database, type 相当于 table2. mappingmapping 相当于 mysql table 的列属性声明。ES 支持非常灵活的数据格式，即便某个属性并没有在mapping中声明，也可以在后期直接添加到 ES 中...
分类：
其他好文 时间：
2015-04-11 13:06:54
阅读次数：
121
NetApp要小心了，AWS即将推出EFS（Elastic File System），瞄准企业NAS存储市场...
分类：
其他好文 时间：
2015-04-11 09:01:17
阅读次数：
238
在做mongodb分片时，当启用mongos路由服务，我们会指定一个日志的存放位置：mongos--configdb127.0.0.1:27019--logpath/var/log/mongodb/mongos.log--pidfilepath/var/run/mongodb/mongos.pid--logappend--logRotatereopen--fork以上我们指定了日志的存放位置在/var/log/mongod..
分类：
数据库 时间：
2015-04-10 20:25:05
阅读次数：
349
Kibana4需要Elasticsearch1.4.4以后版本参考文档：http://www.elastic.co/guide/en/kibana/current/index.html
分类：
其他好文 时间：
2015-04-10 20:22:26
阅读次数：
837
elasticseach的数据分片shard，在创建索引之后，在生命周期内就不可改变了，所以在索引开始创建的时候，要根据预估的数据规模合理的设置shard数目。在集群中让shard分布均匀，可以有效的均衡集群负载，所以我们要尽量保证shard的在集群中分布均匀。...
分类：
其他好文 时间：
2015-04-10 20:16:04
阅读次数：
209
Twemproxy是一种代理分片机制，由Twitter开源。Twemproxy作为代理，可接受来自多个程序的访问，按照路由规则，转发给后台的各个Redis服务器，再原路返回。该方案很好的解决了单个Redis实例承载能力的问题。当然，Twemproxy本身也是单点，需要用Keepalived做高可用方...
分类：
其他好文 时间：
2015-04-10 17:07:32
阅读次数：
257
尽管 IP 分片看起来是是透明的，但有一点让人不想使用它：即使只丢失一片数据也要重传整个数据报。为什么会发生这种情况呢？
因为 IP 层本身没有超时重传的机制——由更高层来负责超时和重传（ TCP 有超时和重传机制，但 UDP 没有。一些 UDP 应用程序本身也执行超时和重传）。当来自 TCP 报文段的某一片丢失后，TCP 在超时后重发整个 TCP 报文段，该报文段对应于一份 IP 数据...
分类：
其他好文 时间：
2015-04-08 16:22:48
阅读次数：
131
inner_hits文档：http://www.elastic.co/guide/en/elasticsearch/reference/current/search-request-inner-hits.html#parent-child-inner-hits
（ElasticSearch 1.50+ 可用）
在使用搜索“has-child”搜索父文档时，一般情况只...
分类：
其他好文 时间：
2015-04-08 13:09:53
阅读次数：
2298
