实验环境：基于centos6.6haproxy-Server：172.16.249.98hostname:node1upsteramserver1：172.16.249.100hostname:node2upstreamserver2：172.16.249.99hostname:node3web服务的负载均衡以及状态监控：设置记录haproxy日志的文件位置：node1:#vim/etc/rsyslog.conf
(1)启用UDP：..
分类：
数据库 时间：
2015-01-10 18:30:21
阅读次数：
443
apache kafka中国社区QQ群:162272557apache kafka参考http://kafka.apache.org/documentation.html消息队列分类： 点对点：消息生产者生产消息发送到queue中，然后消息消费者从queue中取出并且消费消息。这里要注意：消息被消费...
分类：
Web程序 时间：
2015-01-09 12:30:22
阅读次数：
184
apache kafka在数据处理中特别是日志和消息的处理上会有很多出色的表现，这里写个索引，关于kafka的文章暂时就更新到这里，最近利用空闲时间在对 kafka做一些功能性增强，并java化，虽然现在已经有很多这样的版本，但是根据实际需求来改变才是最适合的。首先当然推荐的是kafka的官网htt...
分类：
其他好文 时间：
2015-01-08 17:19:59
阅读次数：
119
如果你要利用代码来跑kafka的应用，那你最好先把官网给出的example先在单机环境和分布式环境下跑通，然后再逐步将原有的consumer、producer和broker替换成自己写的代码。所以在阅读这篇文章前你需要具备以下前提：1.简单了解kafka功能，理解kafka的分布式原理2.能在分布式...
分类：
其他好文 时间：
2015-01-08 17:16:27
阅读次数：
191
这篇文章将介绍如何搭建kafka环境，我们会从单机版开始，然后逐渐往分布式扩展。单机版的搭建官网上就有，比较容易实现，这里我就简单介绍下即可，而分布式的搭建官网却没有描述，我们最终的目的还是用分布式来解决问题，所以这部分会是重点。Kafka的中文文档并不多，所以我们尽量详细点儿写。要交会你搭建分布式...
分类：
其他好文 时间：
2015-01-08 17:12:08
阅读次数：
169
如果你第一次看kafka的文章，请先看《分布式消息系统kafka初步》之前有人问kafka和一般的MQ之间的区别，这个问题挺难回答，我觉得不如从kafka的实现原理来分析更为透彻，这篇将依据官网上给出的design来详细的分析，kafka是如何实现其高性能、高吞吐的。这一段应该会挺长的我想分两篇来写...
分类：
其他好文 时间：
2015-01-08 16:53:57
阅读次数：
226
这部分内容对了解系统和提高软件性能都有很大的帮助，kafka官网上也给出了比较详细的配置详单，但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的，配置都有英文注释，所以每一部分是干什么的就不翻译了，都能看懂：?123456789101112131415161718192021222...
分类：
其他好文 时间：
2015-01-08 16:53:32
阅读次数：
157
一、rsyslogd服务管理系统日志，随机启动[root@clzrsyslog.d]#systemctlis-activersyslog.service
active
[root@clzrsyslog.d]#systemctlis-enabledrsyslog.service
enabledrsyslog的配置文件为/etc/rsyslog.conf,日志文件存储在/var/log目录下面，；日志的7个级别,debug级别仅..
分类：
其他好文 时间：
2015-01-08 15:41:26
阅读次数：
162
FailoverSinkProcessor顾名思义是flume中sink输出容错的处理器
继承自AbstractSinkProcessor
先看下整体源码
/**
* Licensed to the Apache Software Foundation (ASF) under one
* or more contributor license agreements. See the N...
分类：
Web程序 时间：
2015-01-08 11:24:31
阅读次数：
234
flume的负载均衡即每次按照一定的算法选择sink输出到指定地方，如果在文件输出量很大的情况下，负载均衡还是很有必要的，通过多个通道输出缓解输出压力
flume内置的负载均衡的算法默认是round robin，轮询算法，按序选择
下面看一下具体实例：
# Name the components on this agent
a1.sources = r1
a1.sinks = k1 k2...
分类：
Web程序 时间：
2015-01-07 18:57:13
阅读次数：
236
