本文介绍在日志系统中如何使用flume agent做日志收集以及为了满足我们的需求对flume agent进行了哪些扩展。...
分类：
Web程序 时间：
2015-06-06 22:09:12
阅读次数：
547
一个Topic的多个分区,被分布在kafka集群中的多个server上。每个分区都有一个server为"leader";leader负责所有的读写操作,如果leader失效,那么将会有其他follower来接管(成为新的leader);follower只是单调的和leader
跟进,同步消息即可。由此可见作为leader的server承载了全部的请求压力,因此从集群的整体考虑,有多少个part...
分类：
其他好文 时间：
2015-06-05 17:37:01
阅读次数：
100
一、基础环境说明
rsyslog是enhancedmulti-threadedsyslogd
rsyslog是syslogd的多线程增强版
facility(类型)
authauthprivcronkernlprmailmarknewsuseruucplocal0~local7
loglevel(日志等级)
debug-Kerneldebuggingmessages,outputbythekernelifthedeveloperenableddebugging..
分类：
其他好文 时间：
2015-06-05 08:50:35
阅读次数：
1395
在互联网和大并发的企业级应用中，kafka会越来越重要，会被更多的人重视，就算是不用kafka，也会有跟kafka类似的架构模式、原理差不多的MQ,类似于rocketMQ。现在差的，就是被更多的企业使用，更复杂的场景证明。...
分类：
其他好文 时间：
2015-06-04 08:38:01
阅读次数：
310
搭建要求：
1.CDH环境已经搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自带的zookeeper
2.kafka_2.11-0.8.2.1.tgz已经上传到kafka集群环境中
搭建步骤
1. 主机操作
修改hosts
10.10.0.11 s1-1
10.10.0.12 s1-2
10.10.0.13 s1-3
10.1...
分类：
其他好文 时间：
2015-06-03 23:30:26
阅读次数：
877
rsyslog服务和logrotate服务 ====================================================================== rsyslog 是一个 syslogd 的多线程增强版。 现在Fedora和Ubuntu, rhel6默认的日志系统都是rsyslog了 rsyslo...
分类：
其他好文 时间：
2015-06-03 21:49:17
阅读次数：
177
#receive the fileflume-ng agent --conf conf --conf-file conf1.conf --name a1flume-ng agent --conf conf --conf-file conf2.conf --name hdfs-agentflume-n...
分类：
数据库 时间：
2015-06-03 21:19:46
阅读次数：
288
Centos6.6上rsyslog一些用法和扩展.rsyslog的配置文件与日志内容结构rsyslog是Centos6.6上用于记录应用程序产生日志的工具，当然应用程序自带日志记录工具的话就不使用rsyslog，比如httpd。rsyslog的官网是：rsyslog的主配置文件/etc/rsyslog.conf的结构和内容：默认情况下主配..
分类：
其他好文 时间：
2015-06-03 15:57:22
阅读次数：
155
数据分区存储
在topic内设置了多个分区，使kafka的消费者进程池能得到有序性保证和负载均衡，使得topic对应的消费组里的消费者们各自可以独享一个分区。如此的话，每个消费者是其消费的分区的唯一reader，在单个reader下当然保证了有序这件事。而且多个分区也使得负载可以比较平衡。
具体流程：
1. Producer根据指定的partition方法，将消息发布到指定topic的par...
分类：
其他好文 时间：
2015-06-02 23:27:07
阅读次数：
147
一、Flume介绍Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。设计目标：(1) 可靠性当节点出现故障时，日志能够被传送到其他节点上而不会丢失。Flume提供了三...
分类：
Web程序 时间：
2015-06-02 16:59:17
阅读次数：
104
