[Apache Kafka]Kafka设计在开始开发producer和consumer之前,先从设计的角度看一看Kafka。由于重度依赖JMS,且实现方式各异、对可伸缩架构的支持不够,LinkedIn开发了Kafka来实现对活动流数据和运营指标数据的监控,这些数据包括CPU、I/O使用数据、请求响应...
                            
                            
                                分类:
其他好文   时间:
2016-01-03 22:30:47   
                                阅读次数:
297
                             
                    
                        
                            
                            
                                1.配置package com.storm.storm_my.kafka;/** * * @author Peng.Li * */public class KafkaConfigApiConstant { /** * * @author 配置的key * *...
                            
                            
                                分类:
编程语言   时间:
2016-01-02 12:21:45   
                                阅读次数:
329
                             
                    
                        
                            
                            
                                Kafka简介在当前的大数据时代,第一个挑战是海量数据的收集,另一个就是这些数据的分析。数据分析的类型通常有用户行为数据、应用性能跟踪数据、活动数据日志、事件消息等。消息发布机制用于连接各种应用并在它们之间路由消息,例如通过message broker。Kafka是快速地将海量信息实时路由到消费者的...
                            
                            
                                分类:
其他好文   时间:
2016-01-02 01:05:40   
                                阅读次数:
265
                             
                    
                        
                            
                            
                                http://blog.csdn.net/lizhitao/article/details/25667831 -- 参考文章http://kafka.apache.org/documentation.html#serverconfig --官网
                            
                            
                                分类:
其他好文   时间:
2016-01-01 18:51:19   
                                阅读次数:
149
                             
                    
                        
                            
                            
                                原文:https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example为什么使用High Level Consumer在某些应用场景,我们希望通过多线程读取消息,而我们并不关心从Kafka消费消息的顺序,我们只关心数据能...
                            
                            
                                分类:
其他好文   时间:
2016-01-01 14:50:59   
                                阅读次数:
166
                             
                    
                        
                            
                            
                                1 package kafka.demo; 2 3 import java.util.ArrayList; 4 import java.util.List; 5 6 import storm.kafka.KafkaSpout; 7 import storm.kafka.SpoutConfig;...
                            
                            
                                分类:
其他好文   时间:
2015-12-30 22:06:58   
                                阅读次数:
396
                             
                    
                        
                            
                            
                                Centos6.7基于Zookeeper:http://www.cnblogs.com/blazer/p/4977217.html
                            
                            
                                分类:
其他好文   时间:
2015-12-30 13:37:03   
                                阅读次数:
107
                             
                    
                        
                            
                            
                                背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消....
                            
                            
                                分类:
其他好文   时间:
2015-12-30 13:16:17   
                                阅读次数:
229
                             
                    
                        
                            
                            
                                Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档Configuration比较老了,很多参数有所变动, 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了...
                            
                            
                                分类:
其他好文   时间:
2015-12-30 13:12:23   
                                阅读次数:
204
                             
                    
                        
                            
                            
                                常见的异步事件处理框架有:node.jsnettyakkadisruptor消息服务器:zeromq,rabbitmq,kafka,activemq缓存服务器:redismemcachemongodb负载均衡:lvs+nginx
                            
                            
                                分类:
其他好文   时间:
2015-12-29 22:28:58   
                                阅读次数:
218