码迷,mamicode.com
首页 >  
搜索关键字:elk kafka rsyslog flume    ( 6983个结果
Remote rsyslog server records the logs of python script
Ubuntu 14.04.1 LTS rsyslog server:  10.0.7.77 python client: 10.0.2.122 [rsyslog server]1.Install rsyslog server for apt-get sudo apt-get install -y rsyslog 2.edit /etc/rsyslog.conf ,uncomment t...
分类:编程语言   时间:2015-02-08 14:07:58    阅读次数:208
Kafka学习笔记
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务 bin/kafka-server-start.sh config/server.properties & 2、报如下错误 props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092"); props.put("serializer.cl...
分类:其他好文   时间:2015-02-07 18:56:33    阅读次数:174
Zabbix监控网络设备日志文件及字段报警
Zabbix监控网络设备日志文件及字段报警一、首先就是配置网络设备日志传送到zabbix存放日志的指定目录,一般目录为/var/log/需要配置rsyslog.conf根据需求添加tcp或者udp或者都添加字段#ProvidesUDPsyslogreception$ModLoadimudp$UDPServerRun514#ProvidesTCPsyslogreception$Mo..
分类:其他好文   时间:2015-02-06 15:08:05    阅读次数:459
flume sink运行过程简单分析
没有运行,直接看源码得到sink简单运行过程SinkRunner负责运行sink程序内部类PollingRunnerimplements Runnable{ private SinkProcessor policy;}负责运行sinkrun方法while (!shouldStop.get()) {....
分类:Web程序   时间:2015-02-05 21:47:15    阅读次数:211
kafka学习笔记
kafka是用scala编写,用zookeeper做协调。scala的代码没学习过,这边主要看别人写的文档和自己的工作实践来的。笔记可能会写多篇,因为这东西要经常看啊,不看过了多久就忘了。 东西看完了就要问问自己3W1H What:kafka是一个分布式(多broker,zookeeper)的,分区的(partition),消息复制的(replicate)的消息中间件(log service)...
分类:其他好文   时间:2015-02-05 18:32:14    阅读次数:211
【Flume】 flume中ExecSource源码的详细分析——执行终端命令获取数据
我们直接看该Source的start方法吧 public void start() { logger.info("Exec source starting with command:{}", command); executor = Executors.newSingleThreadExecutor(); runner = new ExecRunnable(shell...
分类:Web程序   时间:2015-02-05 11:24:26    阅读次数:282
kafka学习总结
KAFKA学习总结 一、?简介 KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统; KAFKA用途广泛,可以用作消息队列,也可以用作日志系统,还有其他一些应用,在此不作详细介绍; 二、?组成 按照不同...
分类:其他好文   时间:2015-02-03 11:24:22    阅读次数:257
Flume lzo压缩输出至 hadoop
1. Hadoop 支持lzo压缩依赖: lzo:Unix/linux系统默认没有lzo的 库,因此需要安装,sudoyum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64...
分类:Web程序   时间:2015-02-02 19:47:04    阅读次数:416
Spark Streaming、Kafka结合Spark JDBC External DataSouces处理案例
场景:使用Spark Streaming接收Kafka发送过来的数据与关系型数据库中的表进行相关的查询操作;Kafka发送过来的数据格式为:id、name、cityId,分隔符为tab1 zhangsan 12 lisi 13 wangwu ...
分类:数据库   时间:2015-02-02 10:48:27    阅读次数:169
kafka中处理超大消息的一些考虑
Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候,我们需要处理更大的消息,比如XML文档或JSON内容,一个消息差不多有10-100M,这种情况下,Kakfa应该如何处理?针对这个问题,有以下几个建议: 最好的方法是不...
分类:其他好文   时间:2015-02-01 00:38:26    阅读次数:17815
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!