作为互联网公司，网站监测日志当然是数据的最大来源。我们目前的规模也不大，每天的日志量大约1TB。后续90%以上的业务都是需要基于日志来完 成，之前，业务中对实时的要求并不高，最多也就是准实时（延迟半小时以上），因此，我们使用Flume将数据收集到HDFS，然后进行清洗和分析。 后来，根据业务需要，我 ...
分类：
其他好文 时间：
2017-04-17 09:27:12
阅读次数：
137
Flume配置 。 flume生成的数据结构 <span style="font-size:18px;">"_index" : "logstash-2013.01.07", "_type" : "tms_jboss_syslog", "_id" : "a_M9X_0YSpmE7A_bEzIFiw", ...
分类：
Web程序 时间：
2017-04-16 11:14:52
阅读次数：
233
测试使用agentd监听获取数据。 服务端的安装可以查看http://www.cnblogs.com/webStyle/p/6713310.html 下载 http://www.zabbix.com/downloads/2.0.3/zabbix_agents_2.0.3.linux2_6.i386. ...
分类：
其他好文 时间：
2017-04-15 12:17:21
阅读次数：
225
SOA服务框架：Dubbo、zookeeper、Proxy、RestFul缓存：Redis、ehcache分布式消息中间件：KafKa+Flume+ZookeeperKeepalived+Nginx+Proxy负载分布式文件：FastDFSSSO框架：CAS单点登录模块化管理：Maven数据库连接池：AlibabaDruid核心框架：Springframework安全框架：ApacheShir..
分类：
其他好文 时间：
2017-04-12 05:22:38
阅读次数：
318
#监控windowsserver2003#windows只能安装zabbix-agent#下载地址：http://www.zabbix.com/downloads/3.0.4/zabbix_agents_3.0.4.win.zip#下载解压到winserver2003中如图所示#修改配置文件zabbix_agent.win.conf(如果用记事本打开，会出现排版问题，所以我这里是上传到linux服务..
分类：
Windows程序 时间：
2017-04-10 23:52:55
阅读次数：
2148
1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。通过agent接收日志，然后暂存起来，再发送到目的地。3.agent里面包含3个核心组件：source、channel、sink。 3 ...
分类：
Web程序 时间：
2017-04-10 13:08:21
阅读次数：
178
flume日志采集框架使用 本次学习使用的全部过程均不在集群上，均在本机环境，供学习参考 先决条件： flume-ng-1.6.0-cdh5.8.3.tar 去cloudrea下载flume框架，笔者是用cdh5.8.3的套餐 flume-ng-1.6.0-cdh5.8.3.tar 去cloudre ...
分类：
Web程序 时间：
2017-04-02 14:38:46
阅读次数：
242
1, Download centos7 iso file: Centos7 ISO download: http://buildlogs.centos.org/rolling/7/isos/x86_64/CentOS-7-x86_64-Minimal-1511.iso 2, Install cent ...
分类：
其他好文 时间：
2017-04-01 20:30:07
阅读次数：
234
package me; import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random; import org.apache.flume.Context; import org.apache.flu... ...
分类：
Web程序 时间：
2017-03-30 17:13:26
阅读次数：
488
package me; import static org.mockito.Matchers.booleanThat; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; i... ...
分类：
数据库 时间：
2017-03-30 13:32:50
阅读次数：
344
