Centos下的配置方法:检查是否安装rsyslogrpm-qarsyslogyuminstallrsyslog2.修改rsyslog配置文件,在文件最后添加下面一行(rsyslog服务器端IP由未来电视提供)vi/etc/rsyslog.conf*.*@172.16.254.22:5143.重启rsyslog服务,需要先关闭系统自带syslogservicesyslogstopchkconfi..
分类:
其他好文 时间:
2015-03-10 19:49:50
阅读次数:
504
RocketMQ与Kafka对比(18项差异)
2015-02-28王启军奔跑中的蜗牛
此文是rocketmq作者vintage.wang所写,对于每项对比,后面都增加了我的观点,有不对的地方,请各位指出。
淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以...
分类:
其他好文 时间:
2015-03-10 19:23:56
阅读次数:
155
背景介绍
Kafka简介
Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:
以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输同时支持离线数据...
分类:
其他好文 时间:
2015-03-10 17:19:03
阅读次数:
197
首先你需要了解JAVA KEYSTORE该SSL用于Avro Sink到Avro Source之间的数据传输
该场景主要用于分布式Flume之间的数据传输,从分散的各个flume agent到中心汇集节点的flume agent下面来看下如何实现的?Avro Sink SSL在这个传输过程中,sink其实就相当于socket的client端了
flume源码中有个类NettyAvroRpcCli...
分类:
Web程序 时间:
2015-03-10 12:09:08
阅读次数:
533
1.安装软件包,并查看php是否工作正常[root@branguo~]#yum-yinstallhttpdphpphp-mysqlmysql-serverrsyslog-mysql
[root@branguo~]#servicehttpdstart
[root@branguo~]#cd/var/www/html/
[root@branguohtml]#vimindex.php
<?php
phpinfo();
?>打开浏览器如果出现php页面说..
分类:
Web程序 时间:
2015-03-10 01:41:08
阅读次数:
296
第一版:logstash + es第二版:kafka 替换 logstash的方案
分类:
其他好文 时间:
2015-03-09 22:23:07
阅读次数:
221
项目信息https://github.com/yahoo/kafka-manager这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。不过kafka-manager也没有权限管理功能。Kafka web console的安装可以参考之前的blog:http://b...
分类:
其他好文 时间:
2015-03-09 20:59:27
阅读次数:
164
从官方下载的flume-ng的源码里有单元测试的代码,本文就通过单元测试来体验下flume中avro的性能如何
本文中的一个event的body内容大小是1KB,读者可自行组织文本,达到1KB即可,方便测试时,性能的计算
for (int i = 0; i < client.getBatchSize(); i++) {
Event event = channel.take()...
分类:
Web程序 时间:
2015-03-09 16:16:56
阅读次数:
5816
org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作(在Source中用到),可以把它想象成channel的proxy,用于控制把Eventput到哪些Channel中,以及怎么put(bacth或者单个),同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中..
分类:
其他好文 时间:
2015-03-09 01:48:39
阅读次数:
176
在agent启动时,会启动Channel,SourceRunner,SinkRunner,比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中:privatevoiddoStart(){
booleanerror=true;
try{
channel.start();//调用Channel.start启动Channel
sinkRunner.start();//调用SinkRunner.star..
分类:
其他好文 时间:
2015-03-08 17:24:39
阅读次数:
521