编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
Apache Kafka是一个开源、分布式发布订阅消息系统，主要设计了下面这些特性：
l 持久化消息：从大数据中提取真正的数据值，任何类型的数据丢失都不能够再获取。Apache Kafka提供了持续时间存储大容量消息，其容量按顺心可以达到TB。
l 高吞吐量：为大数据而生，Kafka就是运行在商业硬件上而设计的，它支持每秒百万消息量。
l 分布式：A...
分类：
其他好文 时间：
2014-08-29 11:03:47
阅读次数：
235
配置文件位于%ES_HOME%/config/elasticsearch.yml文件中，用Editplus打开它，你便可以进行配置。 所有的配置都可以使用环境变量，例如：node.rack: ${RACK_ENV_VAR} 表示环境变量中有一个RACK_ENV_VAR变量。 下面列举一下elasti...
分类：
其他好文 时间：
2014-08-27 12:33:47
阅读次数：
186
1、参考文档:http://www.elasticsearch.org/guide/en/elasticsearch/hadoop/current/configuration.htmlhttp://www.elasticsearch.org/guide/en/elasticsearch/hadoop...
分类：
其他好文 时间：
2014-08-23 09:58:30
阅读次数：
213
es在查询时，可以指定搜索类型为QUERY_THEN_FETCH,QUERY_AND_FEATCH,DFS_QUERY_THEN_FEATCH和DFS_QUERY_AND_FEATCH。那么这4种搜索类型有什么区别？
分布式搜索背景介绍：
ES天生就是为分布式而生，但分布式有分布式的缺点。比如要搜索某个单词，但是数据却分别在5个分片（Shard)上面，这5个分片可能在5台主机...
分类：
其他好文 时间：
2014-08-22 21:13:59
阅读次数：
369
一、统计信息相关命令的变化
有关集群状态cluster_state, 节点信息nodes_info, 节点统计信息nodes_stats和索引信息indices_stats命令格式进行了统一，比如查看集群信息使用命令：
curl -XGET http://localhost:9200/_cluster/state/nodes?pretty=1
查看节点统计信息：
curl ...
TestQuery：http://app.yinxiang.com/shard/s34/sh/665797f5-de0b-4db2-b51c-8f404baf25d2/94aa4bee41e4a404f9921e85b6f011bd TestFilter：http://app.yinxiang.com/shard/s34/sh/25bf71b1-45d7-4f6e-8740-bcd226...
1.??? 配置 ?? Broker主要配置 ? 参数 默认值 说明(解释) broker.id =0 每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况 ...
分类：
其他好文 时间：
2014-08-21 11:45:34
阅读次数：
389
目录： 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用？ 1) 原理是什么？ 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类：
其他好文 时间：
2014-08-19 20:39:55
阅读次数：
750
随着业务的发展, 服务器所在网段/机群不允许kafka继续保留在那, 需要移动到先机器上.哎呀上面是废话,总的说就是: 2台老kafka不要了,数据要迁移到新的2台kafka上面.要求数据不丢失通过查询官网,并无直接切换的命令,当前版本是kafka 0.8.1, 说是0.8.2才提供老机器的退役功能...
分类：
其他好文 时间：
2014-08-19 18:25:35
阅读次数：
196
