先上几个git地址,明天测试 https://github.com/linkedin/camus https://github.com/voyage-h/kafka-hadoop-consumer https://github.com/voyage-h/kafka-hadoop-consumer...
分类:
其他好文 时间:
2015-08-25 13:04:43
阅读次数:
152
很多文章Provider和Consumer的连接服务器地址brokeUrl都写成"tcp://192.168.1.139:61616"并没有交代为啥是61616,而且我做实验换成别的端口就无法服务器经过一番研究原来这个端口号可以在activemq.xml配置文件中修改:
分类:
Web程序 时间:
2015-08-20 19:13:57
阅读次数:
369
我们继续讨论console consumer的实现原理,本篇着重探讨ZookeeperConsumerConnector的使用,即后续所有的内容都由下面这条语句而起:val connector = Consumer.create(config)那么问题来了?这条语句后面执行了什么呢?我们先看crea...
分类:
其他好文 时间:
2015-08-11 22:58:11
阅读次数:
892
如果你是在开发消费级软件(Consumer Software),那你必须清楚,在对计算机的理解上,你跟你的大多数客户处在完全不同的等级。当你开始对你的软件进行技术支持的时候,你可能会对这种差距的巨大感到非常震惊。这并非说明你的用户都是傻瓜,只是因为他们没有像你一样在电脑上花了无数时间。下面笔者总结了...
分类:
其他好文 时间:
2015-08-11 18:31:44
阅读次数:
111
1.发送消息吞吐量的测试:1)单台producer单个进程的发送消息tps2)单台producer多个进程的发送消息tps3)单台broker的接收消息tps,由于单台producer可能压不满,所以需要可能两台producer来发消息2.消费消息吞吐量的测试:1)单台consumer消费消息的tp...
分类:
其他好文 时间:
2015-08-07 10:49:12
阅读次数:
166
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?
首先让我们看几个基本的消息系统术语:
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服...
分类:
其他好文 时间:
2015-08-04 13:37:40
阅读次数:
101
Dubbo是一个分布式服务框架,解决了上面的所面对的问题,Dubbo的架构如图所示:节点角色说明:Provider:暴露服务的服务提供方。Consumer:调用远程服务的服务消费方。Registry:服务注册与发现的注册中心。Monitor:统计服务的调用次调和调用时间的监控中心。Container...
分类:
其他好文 时间:
2015-08-04 13:22:13
阅读次数:
171
高性能离不开异步,异步离不开队列,内部是Producer-Consumer模型的原理。
分类:
其他好文 时间:
2015-07-28 12:28:50
阅读次数:
129
目前常用的框架是ssh 或者ssm框架,在javaee框架上我选择了springmvc spring和mybatis框架。数据库用到了mysql。使用了maven和git做项目管理。
节点角色说明:
Provider: 暴露服务的服务提供方
Consumer: 调用远程服务的服务消费方
Registry: 服务注册与发现的注册中心
Monitor: 统计服务的调用次数...
分类:
其他好文 时间:
2015-07-27 13:10:33
阅读次数:
119
上一篇中分析了Scala版的console producer代码,这篇文章来分析一下console consumer的工作原理。其实不论是哪个consumer,大部分的工作原理都是类似的。我们用console consumer作为切入点,既容易理解又不失一般性。首先需要说明的,我使用的Kafka环境...
分类:
其他好文 时间:
2015-07-26 12:37:42
阅读次数:
653