搭建环境略(伪集群即可以),但要注意Kafka的配置必须配置的,少配了也一样可以用，但是只能单机使用，外部机器无法连接，网上也有说。 host.name=192.168.1.30 advertised.host.name=192.168.1.30 interfaceshost.name=192.16... ...
分类：
其他好文 时间：
2016-07-04 13:49:30
阅读次数：
192
Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章，用来介绍Kafka Streams。当时Kafka Streams还没有正式发布，所以具体的API和功能和0.10.0.0版(2016年6月发布 ...
分类：
其他好文 时间：
2016-07-04 08:49:37
阅读次数：
562
1.确认config里面的server.properties 正确（包括IP+端口2181记得看清,用hostname的话记得etc/hostnames下面查看全部配置上没,建议用hostname方便以后维护也减少错误） 2.服务器之间时间要统一 时间同步可以查下linux服务器时间同步很多（ntp ...
分类：
其他好文 时间：
2016-07-03 21:24:44
阅读次数：
431
kafka相关配置文件说明 server.properties参数说明 producer.properties
consumer.properties...
分类：
其他好文 时间：
2016-07-03 19:54:43
阅读次数：
227
引言 C10K problem提到一种zero-copy的技术，可以提高网络的吞吐量，分布式消息队列kafka中在消费者消费消息的时候根据offset进行zero-copy。linux下的zero-copy通过sendfile API实现。 什么是zero-copy zero-copy在概念上是值操 ...
分类：
其他好文 时间：
2016-07-03 01:45:15
阅读次数：
174
Kafka设计的初衷是迅速处理短小的消息，一般10K大小的消息吞吐性能最好（可参见LinkedIn的kafka性能测试）。但有时候，我们需要处理更大的消息，比如XML文档或JSON内容，一个消息差不多有10-100M，这种情况下，Kakfa应该如何处理？针对这个问题，有以下几个建议： 不过如果上述方 ...
分类：
其他好文 时间：
2016-06-30 23:17:35
阅读次数：
216
Kafka系统的角色Broker：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topictopic：可以理解为一个MQ消息队列的名字Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，..
分类：
其他好文 时间：
2016-06-30 14:46:04
阅读次数：
665
一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋...
分类：
其他好文 时间：
2016-06-30 12:48:26
阅读次数：
190
概要：MQ框架非常之多，比较流行的有RabbitMq、ActiveMq、ZeroMq、kafka。这几种MQ到底应该选择哪个？要根据自己项目的业务场景和需求。下面我列出这些MQ之间的对比数据和资料。详细内容请看我的csdn博客：RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
分类：
其他好文 时间：
2016-06-29 13:36:53
阅读次数：
263
转载请注明原创地址 http://www.cnblogs.com/dongxiao-yang/p/5621303.html 最近发现kafka一台服务器producer客户端写入时一直报错，查看该broker服务日志发现日志一直输出下面的内容，看上去应该是broker尝试在zk上注册节点但是产生了s ...
分类：
其他好文 时间：
2016-06-27 21:22:25
阅读次数：
1197
