最近在使用storm做一个实时计算的项目,Spout需要从 KAFKA 集群中读取数据,为了提高开发效率,直接使用了Storm提供的KAFKA插件。今天抽空看了一下KafkaSpout的源码,记录下心得体会。 KafkaSpout基于kafka.javaapi.consumer.Simpl...
分类:
Web程序 时间:
2015-01-22 12:47:14
阅读次数:
496
PermissionsTiny Laravel 4 package for handling user roles and permissions.InstallationAdd the following to the require key of your composer.json file:...
分类:
其他好文 时间:
2015-01-22 10:56:49
阅读次数:
614
$("html,body").animate({scrollTop:$("#qy_name").offset().top},1000);//1000是ms,也可以用slow代替jquery可以通过animate方法来实现动画。其用法:animate(params,[duration],[easing...
分类:
Web程序 时间:
2015-01-20 19:48:23
阅读次数:
113
问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?一、入门 1、简介 Kafka is a dist.....
分类:
其他好文 时间:
2015-01-20 15:39:15
阅读次数:
285
这周在公司分享会上分享了《Finding the Right Consumer: Optimizing for Conversion in Display Advertising Campaigns》,下面贴出分享的主要内容。
文章参考于:http://www.cs.cmu.edu/~yandongl/papers/wsdm2012.pdf...
分类:
其他好文 时间:
2015-01-18 15:47:28
阅读次数:
185
How to solve TFS slow response problem?...
分类:
Web程序 时间:
2015-01-16 06:34:17
阅读次数:
172
Kafka的通讯协议
标签:kafka
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的,而非要实现一套类似于Protocol Buffer的通用协议。本文将介绍这套协议的相关内容。
基本数据类型
定长数据类型:int8,int16,int32和int64,对...
分类:
其他好文 时间:
2015-01-15 20:23:45
阅读次数:
260
Sometimes you might need to modify HTTP requests and responses. This could be for a variety of reasons such as adding global logic handling for HTTP e...
分类:
Web程序 时间:
2015-01-15 07:04:20
阅读次数:
166
打开慢查询日志在my.cnf置文件中修改log-slow-queries=日志文件路径(注:log-slow-queries在未来的版本将被删除,尽量使用slow-query-log-file重启服务后会出现warning警告[Warning]Thesyntax‘--log-slow-queries‘isdeprecatedandwillberemovedinafuturerelease.Pleaseuse‘--s..
分类:
数据库 时间:
2015-01-15 01:58:59
阅读次数:
306
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计
Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
下面来看下如何简单的使用:
...
分类:
其他好文 时间:
2015-01-14 11:06:44
阅读次数:
150