一、首先来解读下rsyslog配置文件的含义配置文件路径/etc/rsyslog.conf在rsyslog中facility设施可以从功能或者程序上对日志分类常用的以下几种auth和认证相关的authpriv和认证授权相关的cron专门给周期性任务计划做日志记录的daemon帮守护进程做日志记录kern给内核做日志记录lp..
分类：
数据库 时间：
2014-08-31 10:36:21
阅读次数：
532
================================================================================一、Flume简介================================================================================1、概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输..
分类：
其他好文 时间：
2014-08-30 19:11:30
阅读次数：
368
安装Kafka集群
假设我们有集群中，需要配置4个broker，形成下面图表的Kafka集群。
2.1 配置文件
配置所有的Kafka的Producer文件，其中，brokerpid的值是独一无二的数字值。几个核心属性如下：
# The id of the broker.This must be set to a unique integer for each broke...
分类：
其他好文 时间：
2014-08-29 11:05:47
阅读次数：
293
编程
Producer是一个应用程序，它创建消息并发送它们到Kafka broker中。这些producer在本质上是不同。比如，前端应用程序，后端服务，代理服务，适配器对于潜在的系统，Hadoop对于的Producer。这些不同的Producer能够使用不同的语言实现，比如java、C和Python。下面的这部图表解释了消息producer的Kafka API.
下面将详...
分类：
其他好文 时间：
2014-08-29 11:03:57
阅读次数：
277
Apache Kafka是一个开源、分布式发布订阅消息系统，主要设计了下面这些特性：
l 持久化消息：从大数据中提取真正的数据值，任何类型的数据丢失都不能够再获取。Apache Kafka提供了持续时间存储大容量消息，其容量按顺心可以达到TB。
l 高吞吐量：为大数据而生，Kafka就是运行在商业硬件上而设计的，它支持每秒百万消息量。
l 分布式：A...
分类：
其他好文 时间：
2014-08-29 11:03:47
阅读次数：
235
rsyslog与logrotate服务rsyslog 负责写入日志, logrotate负责备份和删除旧日志, 以及更新日志文件。一、rsyslog传统 syslogd 守护进程的工作原理（如下图）：1、用户进程将产生的日志消息发送至UNIX域数据报套接字 /dev/log；2、syslogd 守护...
分类：
其他好文 时间：
2014-08-28 19:43:45
阅读次数：
337
最近在使用flume进行文件读取时遇到一个问题：接收到的信息未按照预想的数据格式输出。 ????文件格式： xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,xxx,xxx,xxx\r
xxx,xxx,xxx,...
分类：
其他好文 时间：
2014-08-27 19:04:38
阅读次数：
301
有个新需求：postgresql的日志在rsyslog服务器中的日志要分开打，根据priority，即:error和warn的日志要归档在一个文件中；info和其余级别的日志归档在一个文件中,并且每小时自动切割日志；解决办法：1.在/etc/rsyslog.d目录下新建配置文件postgresql.confvi/etc/rsyslog.d/pos..
分类：
其他好文 时间：
2014-08-26 03:02:27
阅读次数：
2296
来自：http://blog.xlvector.net/2014-01/flume-spooldir-source-problem/（自己写的插件，数据序列化，格式化抛出的异常都会导致flume停止，不能继续取数据，异常可以自己处理）最近在用Flume做数据的收集。用到了里面的Spooldir的源在...
分类：
其他好文 时间：
2014-08-25 18:57:04
阅读次数：
248
