码迷,mamicode.com
首页 >  
搜索关键字:elk kafka rsyslog flume    ( 6983个结果
rsyslog客户端发送日志配置
Centos下的配置方法:检查是否安装rsyslogrpm-qarsyslogyuminstallrsyslog2.修改rsyslog配置文件,在文件最后添加下面一行(rsyslog服务器端IP由未来电视提供)vi/etc/rsyslog.conf*.*@172.16.254.22:5143.重启rsyslog服务,需要先关闭系统自带syslogservicesyslogstopchkconfi..
分类:其他好文   时间:2015-03-10 19:49:50    阅读次数:504
RocketMQ与Kafka对比(18项差异)评价版
RocketMQ与Kafka对比(18项差异) 2015-02-28王启军奔跑中的蜗牛 此文是rocketmq作者vintage.wang所写,对于每项对比,后面都增加了我的观点,有不对的地方,请各位指出。 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以...
分类:其他好文   时间:2015-03-10 19:23:56    阅读次数:155
Kafka深度解析
背景介绍 Kafka简介   Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输同时支持离线数据...
分类:其他好文   时间:2015-03-10 17:19:03    阅读次数:197
【Flume】flume中Avro Source到Avro Sink之间通过SSL传输数据的实现分析及使用
首先你需要了解JAVA KEYSTORE该SSL用于Avro Sink到Avro Source之间的数据传输 该场景主要用于分布式Flume之间的数据传输,从分散的各个flume agent到中心汇集节点的flume agent下面来看下如何实现的?Avro Sink SSL在这个传输过程中,sink其实就相当于socket的client端了 flume源码中有个类NettyAvroRpcCli...
分类:Web程序   时间:2015-03-10 12:09:08    阅读次数:533
通过webGUI展示日志信息(loganalyzer)
1.安装软件包,并查看php是否工作正常[root@branguo~]#yum-yinstallhttpdphpphp-mysqlmysql-serverrsyslog-mysql [root@branguo~]#servicehttpdstart [root@branguo~]#cd/var/www/html/ [root@branguohtml]#vimindex.php <?php phpinfo(); ?>打开浏览器如果出现php页面说..
分类:Web程序   时间:2015-03-10 01:41:08    阅读次数:296
kafka(logstash) + elasticsearch 构建日志分析处理系统
第一版:logstash + es第二版:kafka 替换 logstash的方案
分类:其他好文   时间:2015-03-09 22:23:07    阅读次数:221
kafka manager安装
项目信息https://github.com/yahoo/kafka-manager这个项目比 https://github.com/claudemamo/kafka-web-console 要好用一些,显示的信息更加丰富,kafka-manager本身可以是一个集群。不过kafka-manager也没有权限管理功能。Kafka web console的安装可以参考之前的blog:http://b...
分类:其他好文   时间:2015-03-09 20:59:27    阅读次数:164
【Flume】flume中sink到source的性能测试,以Avro为例来测试
从官方下载的flume-ng的源码里有单元测试的代码,本文就通过单元测试来体验下flume中avro的性能如何 本文中的一个event的body内容大小是1KB,读者可自行组织文本,达到1KB即可,方便测试时,性能的计算 for (int i = 0; i < client.getBatchSize(); i++) { Event event = channel.take()...
分类:Web程序   时间:2015-03-09 16:16:56    阅读次数:5816
ChannelProcessor的实现分析
org.apache.flume.channel.ChannelProcessor用于实际的Event到Channel的操作(在Source中用到),可以把它想象成channel的proxy,用于控制把Eventput到哪些Channel中,以及怎么put(bacth或者单个),同时在put之前会使用Interceptor对Event进行处理。把Eventput到哪些Channel中..
分类:其他好文   时间:2015-03-09 01:48:39    阅读次数:176
SourceRunner与ExecSource实现分析
在agent启动时,会启动Channel,SourceRunner,SinkRunner,比如在org.apache.flume.agent.embedded.EmbeddedAgent类的doStart方法中:privatevoiddoStart(){ booleanerror=true; try{ channel.start();//调用Channel.start启动Channel sinkRunner.start();//调用SinkRunner.star..
分类:其他好文   时间:2015-03-08 17:24:39    阅读次数:521
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!