参加今年的SDCC确实挺高兴的，向大师Joe Armstrong 当面求教，与周爱民老师同台，在我们的架构师进阶之路专场有4个七零后的老码农，瞬间没有了孤独感，甚至有一点窃窃之喜，本人这次分享的内容是...
分类：
其他好文 时间：
2016-11-20 11:25:02
阅读次数：
238
原文地址 以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二）） 常用消息队列（见第二篇：大型网站架构系列：分布式消息队 ...
分类：
其他好文 时间：
2016-11-18 22:15:50
阅读次数：
318
一、zookeeper集群安装要求：zookeeper的jdk要6以上zookeeper生产环境版本为3.4.81.首先编辑/etc/hosts在5台都加入：10.0.50.10zk-kafka0110.0.50.11zk-kafka0210.0.50.12zk-kafka0310.0.50.13zk-kafka0410.0.50.14zk-kafka052.更改hostname1.vim/etc/sysconfig/network2.hostn..
分类：
其他好文 时间：
2016-11-18 19:28:10
阅读次数：
154
一、入门1、简介Kafkaisadistributed,partitioned,replicatedcommitlogservice。它提供了类似于JMS的特性，但是在设计实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kaf..
分类：
其他好文 时间：
2016-11-17 21:02:48
阅读次数：
193
原博文出自于：http://tech.meituan.com/kafka-fs-design-theory.html 感谢！ Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见 ...
分类：
其他好文 时间：
2016-11-17 13:35:22
阅读次数：
198
1.kafka介绍 Kafka 是分布式发布-订阅消息系统。Kafka 是一个分布式的，可划分的，多订阅者,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。为了已在同时搞定在线应用（消息）和离线应用（数据文件，日志）Kafka 就出现了。Kafka 可以起到两个作用：降低系统组网复杂度降低 ...
分类：
其他好文 时间：
2016-11-17 12:49:13
阅读次数：
130
运行kafka ，需要依赖 zookeeper，你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式，用的是kafka自带的zookeeper， 分布式模式，用的是外部安装的zookeeper，即公共的zookeeper。 见博客 4 kafka集群部署 ...
分类：
其他好文 时间：
2016-11-17 12:41:07
阅读次数：
150
排查logstash2.4升级到5.0版本后kafka不兼容问题参考文档：/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md
/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md
/usr/share/logstash/vend..
分类：
其他好文 时间：
2016-11-17 02:23:18
阅读次数：
384
软件需求，软件包都上传到/usr/local/src目录：jdk-8u101-linux-x64.tar.gzkafka.2.11-0.8.22.tar.gzzookeeper-3.4.9.tar.gzkafka-manager-1.3.0.7.zip*kafka-manager是通过scala打包获取一个编译完的项目，需要提前编译好,参考https://github.com/yahoo/kafka-manager硬件需求..
分类：
其他好文 时间：
2016-11-15 20:35:35
阅读次数：
307
