Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会...
分类：
其他好文 时间：
2014-08-19 13:03:24
阅读次数：
475
系统环境#cat/etc/redhat-release
CentOSrelease6.4(Final)
#uname-a
Linuxlocalhost.localdomain2.6.32-358.el6.x86_64#1SMPFriFeb2200:31:26UTC2013x86_64x86_64x86_64GNU/Linux1.下载软件包#curl-Ohttps://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar..
分类：
其他好文 时间：
2014-08-18 18:51:43
阅读次数：
289
一、入门 1.??? 简介 Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进...
分类：
其他好文 时间：
2014-08-18 14:40:12
阅读次数：
315
背景：
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：
如何收集这些巨大的信息如何分析它 如何及时做到如上两点
以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两...
分类：
其他好文 时间：
2014-08-18 12:38:34
阅读次数：
191
Kafka提供了两套API给Consumer
The high-level Consumer APIThe SimpleConsumer API
第一种高度抽象的Consumer API，它使用起来简单、方便，但是对于某些特殊的需求我们可能要用到第二种更底层的API，那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次在一个处理过程中只消费Partiti...
实时计算里，需要对日志实时收集，logstash可以做到。目前的版本是1.4.2，官方文档在http://www.logstash.net/docs/1.4.2/，里面有详细的配置说明，使用也很简单。这里主要对logstash的可靠性做了简单的验证intput为file，kill掉logstas.....
分类：
其他好文 时间：
2014-08-17 22:44:32
阅读次数：
2054
1.下载elasticsearch-1.2.1的zip包，解压之后 双击bin目录中的 elasticsearch.bat(针对windows系统) 启动服务器(默认监听9200端口)访问 http://localhost:9200 出现下边的json数据则说明启动成功2.客户端连接的代码示例：pa...
分类：
其他好文 时间：
2014-08-16 17:00:00
阅读次数：
202
来自：http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务，我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境，同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类：
其他好文 时间：
2014-08-15 09:25:47
阅读次数：
455
Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题，主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展示如何使用MirrorMaker工具创建从源Kafka集群...
分类：
其他好文 时间：
2014-08-14 20:00:59
阅读次数：
283
本文出自：http://blog.csdn.net/feelig/article/details/8499614最大的特点：1. 数据库的 database, 就是 index2. 数据库的 table, 就是 tag3. 不要使用browser， 使用curl来进行客户端操作. 否则会出现 jav...
分类：
其他好文 时间：
2014-08-13 01:03:45
阅读次数：
306
