码迷,mamicode.com
首页 >  
搜索关键字:elk kafka rsyslog flume    ( 6983个结果
rsyslog netconsole(debian)二
netconsoleisakernelmodulethatsendsallkernellogmessages(i.e.dmesg) overthenetworktoanothercomputer,withoutinvolvinguserspace(e.g.syslogd). Name"netconsole"isamisnomerbecauseitsnotreallya"console", morelikearemoteloggingservice.Itcanbeusedeitherbuilt-inorasam..
分类:Web程序   时间:2015-06-17 01:58:46    阅读次数:197
【Flume】flume ng 1.6 做了哪些变化
依旧和大家一起看一下官网的内容: http://flume.apache.org/ ·增加了apache kafka的sink和source两大组件 ·增加了一个新的channel——kafka channel ·增加了hive的sink组件,需要hive streaming的支持 ·端到端的认证 ·简单的正则搜索和替换的拦截器 开始体验吧!...
分类:Web程序   时间:2015-06-16 19:18:23    阅读次数:190
Flume NG源码分析(三)使用Event接口表示数据流
Flume NG有4个主要的组件: Event表示在Flume各个Agent之间传递的数据流 Source表示从外部源接收Event数据流,然后传递给Channel Channel表示对从Source传递的Event数据流的临时存储 Sink表示从Channel中接收存储的Event数据流,并传递给下游的Source或者终点仓库 这篇看一下Event接口表示的数据流。Source, ...
分类:Web程序   时间:2015-06-16 16:52:55    阅读次数:178
Hadoop之——Flume笔记
1.flume是分布式的日志收集系统,把收集来的数据传送到目的地去。 2.flume里面有个核心概念,叫做agent。agent是一个java进程,运行在日志收集节点。 3.agent里面包含3个核心组件:source、channel、sink。 3.1 source组件是专用于收集日志的,可以处理各种类型各种格式的日志数据,包括avro、thrift、exec、jms、spooling d...
分类:Web程序   时间:2015-06-16 14:45:05    阅读次数:188
kafka配置参数
Kafka为broker,producer和consumer提供了很多的配置参数。 了解并理解这些配置参数对于我们使用kafka是非常重要的。本文列出了一些重要的配置参数。官方的文档Configuration比较老了,很多参数有所变动, 有些名字也有所改变。我在整理的过程中根据0.8.2的代码也做了...
分类:其他好文   时间:2015-06-13 20:09:26    阅读次数:113
apache kafkac系列lient发展-java
apache kafka区QQ群:1622725571.依赖包 org.apache.kafka kafka_2.10 0.8.1 2.producer程序开发样例2.1 producer參数说明#指定kafka节点列表。用于获取metadata,不必所有...
分类:编程语言   时间:2015-06-13 11:13:23    阅读次数:171
Kafka topic常见命令解析
本文着重介绍几个常用的topic命令行命令,包括listTopic,createTopic,deleteTopic和describeTopic等。由于alterTopic并不是很常用,本文中就不涉及了。另外本文的代码分析是基于kafka_2.10-0.8.2.1的(虽然截图是Kafka 0.8.1的...
分类:其他好文   时间:2015-06-12 13:15:56    阅读次数:121
为什么是kafka(二)
回答几个网友提出的问题,不清楚的可以看上一篇内容。 1、  kafka的删除策略应该怎么配置?为了提升性能,我是不是应该1小时删除一次消费过的数据。 完全可以根据磁盘大小配置,只要磁盘足够用,完全没必要删除的那么着急。Kafka的吞吐量不会因为数据量的增长而降低。因为读写数据时,kafka完全是顺序的,只记录offset,时间复杂度是O(1),我曾经测试过上T的数据,完全不受影响。反倒是数...
分类:其他好文   时间:2015-06-12 10:11:11    阅读次数:112
【原创】kafka admin源代码分析
admin包定义了命令行的一些实现一、AdminOperationException.scala一个异常类,表示执行admin命令时候抛出的异常二、AdminUtils.scalaadmin一些常用工具方法:1. assignReplicasToBrokers:负责分配副本到不同的broker上。主...
分类:其他好文   时间:2015-06-11 16:20:59    阅读次数:123
生产环境日志审计解决方案
思路:sudo配合syslog服务,进行日志审计具体方法:安装sudo命令,rsyslog服务(centos6.4)注意:默认情况下,centos5.8系统中已安装上sudo和syslog服务检查是否安装好,具体操作如下:[root@oldboy~]#rpm-qa|egrep"sudo|rsyslog"rsyslog-5.8.10-8.el6.i686sudo-1.8.6p3-15.el..
分类:其他好文   时间:2015-06-11 00:24:56    阅读次数:164
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!