因公司数据安全和分析的需要，故调研了一下 GlusterFS + lagstash + elasticsearch + kibana 3 + redis 整合在一起的日志管理应用：安装，配置过程，使用情况等续一，glusterfs分布式文件系统部署： 说明： 公司想做网站业务日志及系统日志统一收集....
分类：
其他好文 时间：
2015-06-19 23:02:42
阅读次数：
356
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
最初，Kafka实际上是LinkedIn用于日志处理的分布式消息队列，现今，Kafka主要用于处理活跃的流式数据，如分析用户的行为，对用户搜索关键词进行统计以便分析出当前的流行趋势，存数据库浪费，而直接用传统的存硬盘方式效率又低下的业务数据也可以使用Kafka的分布式进行存储。...
分类：
其他好文 时间：
2015-06-18 19:57:08
阅读次数：
240
1.概述 在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录：Storm简述基础软件安装部署效果预览....
分类：
其他好文 时间：
2015-06-18 13:04:35
阅读次数：
125
概述 Apache的flume是一个分布式的，可靠的，和可用的系统。能有效地收集，汇总和移动大量的从许多不同的来源，一个集中式数据存储日志数据。Apache的flume的使用不仅限于日志数据聚集。由于数据来源是可定制的，flume可以用来大量事件（每一行数据被当做一个event）数据包括但不限于传输...
分类：
Web程序 时间：
2015-06-17 23:14:13
阅读次数：
377
上一篇说了利用ExecSource从本地日志文件异步的收集日志，这篇说说采用RPC方式同步收集日志的方式。笔者对Thrift比较熟悉，所以用ThriftSource来介绍RPC的日志收集方式。
整体的结构图如下：
1. ThriftSource包含了一个Thrift Server，以及一个Thrift Service服务的实现。这里的Thrift Service是由ThriftSourcePr...
分类：
Web程序 时间：
2015-06-17 21:52:31
阅读次数：
3867
本文分析的Kafka代码为kafka-0.8.2.1。另外，由于Kafka目前提供了两套Producer代码，一套是Scala版的旧版本；一套是Java版的新版本。虽然Kafka社区极力推荐大家使用Java版本的producer，但目前很多已有的程序还是调用了Scala版的API。今天我们就分析一下...
分类：
其他好文 时间：
2015-06-17 15:20:57
阅读次数：
145
1 redis source,memory channel,json intercepter and file_roll sink配置例子
agent.sources = redis redis1
agent.channels = memory
agent.sinks = fileSink
agent.sources.redis.type = com.flumeng.plugins...
分类：
Web程序 时间：
2015-06-17 13:31:56
阅读次数：
219
Kafka[1]是linkedin用于日志处理的分布式消息队列，linkedin的日志数据容量大，但对可靠性要求不高，其日志数据主要包括用户行为（登录、浏览、点击、分享、喜欢）以及系统运行日志（CPU、内存、磁盘、网络、系统及进程状态）。当前很多的消息队列服务提供可靠交付保证，并默认是即时消费（不适...
分类：
其他好文 时间：
2015-06-17 11:04:37
阅读次数：
132
依旧和大家一起看一下官网的内容：
http://flume.apache.org/
·增加了apache kafka的sink和source两大组件
·增加了一个新的channel——kafka channel
·增加了hive的sink组件，需要hive streaming的支持
·端到端的认证
·简单的正则搜索和替换的拦截器
开始体验吧！...
分类：
Web程序 时间：
2015-06-16 19:18:23
阅读次数：
190
