上篇笔记对Flume的使用场景和系统架构做了介绍,本篇笔记以实例说明Flume的配置方法。下面开始正文。
1. Flume使用实例
1.1 配置
Flume agent的3个组件及其拓扑关系是在配置文件中指定的,总的原则是必须列出source/channel/sink的name/type等重要的配置项,并通过channel将source(s)和sink(s)连接起来,此外,1个source可...
分类:
Web程序 时间:
2015-04-29 19:49:33
阅读次数:
223
在SQL Server agent的日志中发现有大量错误的信息,都是关于作业执行失败的日志 从日志的内容来看,是作业执行过程中无法连接到存储引擎, 可奇怪的是,存储引擎就是本机,而且已经正常启动了,截图中隐去的内容就是服务器的名字,为何SQL Agent连接不到本机呢? 首先想的一个疑问是:会不会这...
分类:
数据库 时间:
2015-04-28 17:32:04
阅读次数:
143
urllib和urllib2都是处理url请求的两个模块,但是相互之间存在不同,不能相互取代urllib2可以接受一个Reuqest类的实例来设置URL请求的headers,urllib仅可以接受URL。意味着urllib不可以伪装你的user_agent等urllib提供urlencode方法用来...
分类:
编程语言 时间:
2015-04-28 13:43:54
阅读次数:
132
这几天弄了git hub 虽然还没有比较好的程序在上面~~~~~先记录下。。0x00generating ssh keys:ssh-keygen -t rsa -C "name@gmail.com"//ssh-add ~/.ssh/id_ras (if apear:Agent admitted fa...
分类:
其他好文 时间:
2015-04-28 01:33:37
阅读次数:
140
监控cpu的负载分析:安装完zabbix后,在TemplateOSLinux这个模板下面默认有监控cpu负载的触发器,但是这个默认的触发器是以cpu负载的个数为触发值的,由于agent客户机每台的cpu核数是不一样的,所以,以负载的个数为触发值不是很好,下面我设置的触发值是cpu负载占cpu核数的百..
分类:
其他好文 时间:
2015-04-27 23:53:42
阅读次数:
3220
这段时间在研究zabbix监控,考虑到一个问题,就是当我们机器很少的时候,我们可以手动的添加agent的方式,一台一台的去添加。那么现在需求出来了,假如说我们网络上面有几百台机器怎么办呢,我们需要逐个的去添加主机、分组、添加监控模板,要是一台一台添加的话你肯定会疯掉的..
分类:
其他好文 时间:
2015-04-27 00:46:39
阅读次数:
184
HTTP协议模拟登录发帖等主要原理:
把头信息传过去,模拟登录的主要使用Cookie,其次是Referer和User-Agent.需要使用上一篇文章的Socket编程发送GET请求。
其扩展代码如下:
<?PHP
require('./get.php');
//这里的路径需要注意一下,路径中带有?。要设置query
$http = newHttp('htt...
分类:
Web程序 时间:
2015-04-26 13:50:16
阅读次数:
216
什么是User-Agent? User-Agent是一个特殊字符串头,被广泛用来标示浏览器客户端的信息,使得服务器能识别客户机使用的操作系统和版本,CPU类型,浏览器及版本,浏览器的渲染引擎,浏览器语言等。 不同的浏览器(IE,FF,Opera, Chrome等)会用不同的用户代理字符串(Use.....
分类:
其他好文 时间:
2015-04-25 18:00:47
阅读次数:
130
1. flume 的基本概念
本文中所有与 flume 相关术语都采用斜体英文表示,这些术语的含义如下所示。
flume 一个可靠的,分布式的,用于采集,聚合,传输海量日志数据的工具。
Web Server 一个产生 Events/数据 的客户端。
Agent flume 系统中的一个节点,它主要包含三个部件:Source, Channel...
分类:
Web程序 时间:
2015-04-24 22:43:31
阅读次数:
263
aslheapsz-Applicationsupportlayerheapsize.Theapplicationsupportlayerheaprepresentsacommunicationbufferbetweenthelocalapplicationanditsassociatedagent.Thisbufferisallocatedassharedmemorybyeachdatabasemanageragentthatisstarted.它是localapp和agent通信的buffer..
分类:
其他好文 时间:
2015-04-24 16:35:05
阅读次数:
117