背景： 最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里：http://bl ...
分类：
其他好文 时间：
2017-10-20 10:11:36
阅读次数：
225
Zookeeper集群搭建 1、软件环境 （3台服务器-测试环境） 192.168.56.9 192.168.56.6 192.168.56.7 1、Linux服务器一台、三台、五台、（2*n+1），Zookeeper集群的工作是超过半数才能对外提供服务，3台中超过两台超过半数，允许1台挂掉 ，是否 ...
分类：
其他好文 时间：
2017-10-18 14:56:24
阅读次数：
216
KafKa+Zookeeper+Flume部署脚本 Kafka,Kafka分布式消息,Kafka分布式消息系统,Kafka集群 spring,springmvc,spring mvc,web开发,java分布式架构,shiro,mybatis,kafka,j2ee分布式架构 愿意了解框架技术或者源... ...
分类：
Web程序 时间：
2017-10-09 15:29:25
阅读次数：
279
1.zookeeper集群部署不在简介zk对外提供2181端口分别部署在三台机器上面，也是下面的三台2.hosts文件一定要做否则kafka系统启动不起来[root@linux-node1bin]#cat/etc/hosts
192.168.56.11linux-node1
192.168.56.12linux-node2
192.168.56.13linux-node33.linux-node1[root@lin..
分类：
其他好文 时间：
2017-10-04 19:58:18
阅读次数：
204
一、Bug背景 因业务需要，我们部署了两个Kafka集群。Kafka集群A的版本号为：0.11.0.1，Kafka集群B的版本号为0.9.0.1。 因两个Kafka集群的版本号不一致，尝试了多种解决方案，发现总有一个集群出不来数据，无法互相兼容。 二、Kafka的客户端版本号必须与服务端版本号一致 ...
分类：
其他好文 时间：
2017-09-30 19:55:58
阅读次数：
239
KafKa+Zookeeper+Flume部署脚本 spring,springmvc,spring mvc,web开发,java分布式架构,shiro,mybatis,kafka,j2ee分布式架构 Kafka,Kafka分布式消息,Kafka分布式消息系统,Kafka集群 愿意了解框架技术或者源... ...
分类：
Web程序 时间：
2017-09-30 11:34:42
阅读次数：
237
Kafka内核中的分布式机制实现 一个Topic中的所有数据分布式的存储在kafka集群的所有机器(broker)上，以分区(partition)的的形式进行数据存储；每个分区允许存在备份数据/备份分区(存储在同一kafka集群的其它broker上的分区) 每个数据分区在Kafka集群中存在一个br ...
分类：
其他好文 时间：
2017-09-28 13:01:37
阅读次数：
122
Kafka入门经典教程 Kafka,Kafka分布式消息,Kafka分布式消息系统,Kafka集群 spring,springmvc,spring mvc,web开发,java分布式架构,shiro,mybatis,kafka,j2ee分布式架构 ...
分类：
其他好文 时间：
2017-09-28 11:45:12
阅读次数：
192
下载http://kafka.apache.org/downloads.htmlhttp://mirror.bit.edu.cn/apache/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgzroot@master:/usr/local/kafka_2.11-0.11.0.0/config#vimserver.propertiesbroker.id=2每个节点不同log.retention.hours=168message.max.byte=5242880defau..
分类：
系统相关 时间：
2017-09-21 09:49:27
阅读次数：
355
1，日志的采集从flumeagent上的数据一般分到两条线上一条是kafka集群，后期可以用流式处理（sparkstreaming或storm等等）一条是到hdfs，后期可以用hive处理，业界叫lambda架构architecture(一般公司的推荐系统，就是用这种架构)flume-ngagent采集收集日志后，聚合在一个节点上..
分类：
其他好文 时间：
2017-09-20 23:26:56
阅读次数：
216
