转自：http://www.cnblogs.com/fxjwind/p/4972244.html Kafka 作为 high throughput 的消息中间件，以其性能，简单和稳定性，成为当前实时流处理框架中的主流的基础组件。 当然在使用 Kafka 中也碰到不少问题，尤其是 failover 的
分类：
其他好文 时间：
2016-03-18 17:32:09
阅读次数：
301
本文转发自Jason’s Blog，原文链接 http://www.jasongj.com/2015/06/08/KafkaColumn3 本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，
分类：
其他好文 时间：
2016-03-17 21:22:40
阅读次数：
302
kafka是一个高吞吐量的消息系统。隔离消息接收和处理过程（可理解为一个缓存） *发布和订阅通过zk实现，kafka设计就使用了zk broker.id 唯一，数字 host.name 唯一，填服务器 zookeeper.connect=hadoop110:2181,hadoop111:21
分类：
其他好文 时间：
2016-03-15 06:20:04
阅读次数：
139
Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下： 解耦在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息队列在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束 冗余
分类：
其他好文 时间：
2016-03-14 11:52:13
阅读次数：
239
一、Kafka使用背景 1. Kafka的定义 是一个分布式消息系统，由LinkedIn使用Scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道(Pipeline)的基础，具有高水平和高吞吐量。 2. ActiveMQ、RabbitMQ、Kafka 二
分类：
其他好文 时间：
2016-03-14 01:38:09
阅读次数：
130
原文链接：http://www.sjsjw.com/kf_cloud/article/020376ABA013802.asp 目的 实时监听某目录下的日志文件，如有新文件切换到新文件，并同步写入kafka，同时记录日志文件的行位置，以应对进程异常退出，能从上次的文件位置开始读取（考虑到效率，这里是每
分类：
编程语言 时间：
2016-03-11 16:57:19
阅读次数：
200
一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话，需要给原有的旧机器加上新服务器的host，不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况。
分类：
其他好文 时间：
2016-03-10 18:39:15
阅读次数：
167
1. hadoop、hbase、hive、spark、strom、mapreduce、mahout、zookeeper. 2.redis、dubbo、mongodb、memcache、kafka、sqoop. 3. autofac、unity、xunit. 4.serfj restlet httpc
分类：
其他好文 时间：
2016-03-09 23:48:33
阅读次数：
171
转自：http://blog.csdn.net/bailove/article/details/44240303 业务场景 来疯直播互动平台，每天有数百万人上下线，有数十万人同时参与互动直播聊天。用户的登陆、退出及用户间的各种交互行为如聊天、送礼、关注、投票、抢沙发等等事件都会产生大量的消息。这些消
分类：
其他好文 时间：
2016-03-09 19:01:47
阅读次数：
199
场景：在笔记本安装了一台虚拟机， 在本地的虚拟机上部署了一个kafka服务： 写了一个测试程序，在笔记本上运行测试程序，访问虚拟机上的kafka，报如下异常： 2015-01-15 09:33:26 [kafka.producer.async.DefaultEventHandler]-[INFO]
分类：
其他好文 时间：
2016-03-09 17:43:48
阅读次数：
329
