Ubuntu 14.04.1 LTS
rsyslog server: 10.0.7.77
python client: 10.0.2.122
[rsyslog server]1.Install rsyslog server for apt-get
sudo apt-get install -y rsyslog 2.edit /etc/rsyslog.conf ,uncomment t...
分类:
编程语言 时间:
2015-02-08 14:07:58
阅读次数:
208
1、在使用Java API访问之前先在安装有kafka的各个节点启动服务
bin/kafka-server-start.sh config/server.properties &
2、报如下错误
props.put("metadata.broker.list", "storm1:9092,storm2:9092,storm3:9092");
props.put("serializer.cl...
分类:
其他好文 时间:
2015-02-07 18:56:33
阅读次数:
174
Zabbix监控网络设备日志文件及字段报警一、首先就是配置网络设备日志传送到zabbix存放日志的指定目录,一般目录为/var/log/需要配置rsyslog.conf根据需求添加tcp或者udp或者都添加字段#ProvidesUDPsyslogreception$ModLoadimudp$UDPServerRun514#ProvidesTCPsyslogreception$Mo..
分类:
其他好文 时间:
2015-02-06 15:08:05
阅读次数:
459
没有运行,直接看源码得到sink简单运行过程SinkRunner负责运行sink程序内部类PollingRunnerimplements Runnable{ private SinkProcessor policy;}负责运行sinkrun方法while (!shouldStop.get()) {....
分类:
Web程序 时间:
2015-02-05 21:47:15
阅读次数:
211
kafka是用scala编写,用zookeeper做协调。scala的代码没学习过,这边主要看别人写的文档和自己的工作实践来的。笔记可能会写多篇,因为这东西要经常看啊,不看过了多久就忘了。
东西看完了就要问问自己3W1H
What:kafka是一个分布式(多broker,zookeeper)的,分区的(partition),消息复制的(replicate)的消息中间件(log service)...
分类:
其他好文 时间:
2015-02-05 18:32:14
阅读次数:
211
我们直接看该Source的start方法吧
public void start() {
logger.info("Exec source starting with command:{}", command);
executor = Executors.newSingleThreadExecutor();
runner = new ExecRunnable(shell...
分类:
Web程序 时间:
2015-02-05 11:24:26
阅读次数:
282
KAFKA学习总结 一、?简介 KAFKA是Apache基金会的一个开源项目,是一个分布式的发布-订阅的消息系统; KAFKA用途广泛,可以用作消息队列,也可以用作日志系统,还有其他一些应用,在此不作详细介绍; 二、?组成 按照不同...
分类:
其他好文 时间:
2015-02-03 11:24:22
阅读次数:
257
1. Hadoop 支持lzo压缩依赖: lzo:Unix/linux系统默认没有lzo的 库,因此需要安装,sudoyum install lzo-devel.x86_64 sudo yum install lzo.x86_64 sudo yum install lzop.x86_64...
分类:
Web程序 时间:
2015-02-02 19:47:04
阅读次数:
416
场景:使用Spark Streaming接收Kafka发送过来的数据与关系型数据库中的表进行相关的查询操作;Kafka发送过来的数据格式为:id、name、cityId,分隔符为tab1 zhangsan 12 lisi 13 wangwu ...
分类:
数据库 时间:
2015-02-02 10:48:27
阅读次数:
169
Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候,我们需要处理更大的消息,比如XML文档或JSON内容,一个消息差不多有10-100M,这种情况下,Kakfa应该如何处理?针对这个问题,有以下几个建议: 最好的方法是不...
分类:
其他好文 时间:
2015-02-01 00:38:26
阅读次数:
17815