关于failover网上也有很多例子，但是看到的有多重做法，个人觉得，本着职责单一的原则
1、一台机子运行一个flume agent
2、一个agent 的下游sink指向一个flume agent，不要一个flume agent配置多个端口【影响性能】
下面看具体实例：
首先是flumet agent client的配置
priority越高，优先级越高，会优先使用该sink...
分类：
Web程序 时间：
2015-01-07 16:53:24
阅读次数：
220
如图所示，新建一个JAVA工程，编辑pom文件，pom文件内容如下【这里取出了parent】：
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http:/...
分类：
移动开发 时间：
2015-01-07 13:13:02
阅读次数：
759
文章发自http://www.cnblogs.com/hark0623/p/4205756.html 转载请注明flume越用越有一些疑惑，这个月中按计划是要阅读flume源码的，我希望能解决我的疑惑，另外，当疑惑解决后，我也会把过程和结论发到博客中，最终会把链接更新至当前帖子中的，疑惑如下：1、通...
分类：
Web程序 时间：
2015-01-06 13:33:59
阅读次数：
154
Linux日志系统小记概述：最近做ssh无密码认证实验时，在ssh服务配置文件中发现authpriv,当时有种似曾相识的感觉。干脆就是复习了下syslogd这个daemon，又发现在Redhat6中syslogd改名为rsyslogd.本博客是以centos6.6为例。rsyslog简介rsyslog的配置文件rsyslog.conf说明rsyslog..
分类：
系统相关 时间：
2015-01-05 18:57:33
阅读次数：
978
本文将详细分析Kafka SocketServer的相关源码。...
分类：
其他好文 时间：
2015-01-04 23:07:13
阅读次数：
253
原文：http://blog.csdn.net/jingshuigg/article/details/25001979一、对于服务器端的搭建可以参考上一篇文章：kafka单机版环境搭建与测试服务器端IP ：10.0.30.221运行环境的目录如下：需要改动config文件夹下的server.prop...
日志这一节也相对比较容易。日志服务是通过rsyslog控制的这个日志服务的配置文件位于/etc/rsyslog.conf打开看看，可以看见高亮的部分表明凡是位于/etc/rsyslog.d/目录下的conf文件都视作配置文件。豆子个人感觉和nagios很类似，针对不同设备的配置文件可以分开写，只要指定路径..
分类：
其他好文 时间：
2015-01-01 18:41:12
阅读次数：
219
2014年12月总结：这月1号新工作开始了我的大数据之旅，从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑，不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下：mosquittio->flume agent->flume collector->sparkstreaming...
分类：
其他好文 时间：
2014-12-31 22:50:23
阅读次数：
208
文章来自：http://www.cnblogs.com/hark0623/p/4196381.html 转载请注明需要在你的脚本前面添加nohub，后边添加&。例如下面的脚本：nohup ./flume_client.sh &nohup的作用：当你的SecureCRT会话关闭后，保证你的脚本还在Li...
分类：
其他好文 时间：
2014-12-31 20:00:06
阅读次数：
147
原文地址：http://blog.csdn.net/lizhitao/article/details/39499283kafka开发与管理：1）apache kafka消息服务2）kafak安装与使用3）apache kafka中server.properties配置文件参数说明4）apache k...
分类：
Web程序 时间：
2014-12-31 17:50:23
阅读次数：
228
