一、统一修改blockahead值为1024forcurHostin`cat256node|grep-v‘^#‘|cut-d‘=‘-f1`;doecho$curHostssh$curHost"blockdev--setra1024/dev/sd*"done二、定时检测kafka积压脚本：192.167.42.146whiletrue;doecho"Start...";checkKafkaShow.sh13|egrep‘VIP_CDR|DATE‘;echo"End...";..
分类：
系统相关 时间：
2016-01-28 19:26:56
阅读次数：
297
本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】本次分享大纲消息队列概述（见第一篇：大型网站架构系列：分布式消息队列（...
分类：
Web程序 时间：
2016-01-26 21:40:46
阅读次数：
467
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系.....
分类：
编程语言 时间：
2016-01-25 22:47:08
阅读次数：
439
本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。【第二篇的内容大部分为网络资源的整理和汇总，供大家学习总结使用，最后有文章来源】本次分享大纲消息队列概述（见第一篇：大型网站架构系列：分布式消息队列（...
分类：
Web程序 时间：
2016-01-25 16:59:14
阅读次数：
288
本文转自：http://geek.csdn.net/news/detail/52976下面是分步指南，教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。简介本文讲述了如何在Windows OS上配置并启动Apache Kafka，这篇指南将会指导你安...
本文是大型网站架构系列：消息队列（二），主要分享JMS消息服务，常用消息中间件（Active MQ，Rabbit MQ，Zero MQ，Kafka）。
分类：
Web程序 时间：
2016-01-24 23:41:29
阅读次数：
567
linux上的系统环境变量在安装zookeeper时不需要配置1.下载zookeeper二进制安装包(可以下载附件内容或者到官网下载http://www.apache.org/dyn/closer.cgi/zookeeper/)2解压到linux上任意一路径本文新建在了/home/hadoop/下tar-zxvfzookeeper-3.4.6.tar.gz本人选择zookeeper-3.4...
分类：
其他好文 时间：
2016-01-22 18:21:12
阅读次数：
141
1，启动kafka自带的zookeeper./zookeeper-server-start.sh ../config/zookeeper.properties1>/dev/null 2>&1 &1>/dev/null 将输出定位到一个空的位置2>&1 错误输出同 1一样定位到空位置&：最后这个&符号...
分类：
其他好文 时间：
2016-01-21 00:29:30
阅读次数：
173
简单说kafka是一个高吞吐的分部式消息系统kafka的架构? producer：消息生存者? consumer：消息消费者? broker：kafka集群的server，负责处理消息读、写请求，存储消息? topic：消息队列/分类? Queue里面有生产者消费者模型? broker就是代理，在k...
分类：
其他好文 时间：
2016-01-19 20:54:59
阅读次数：
245
最近在学习研究kafka，当我们进行debug跟踪时，就需要研究源码了。kafka的源码是Scala语言，在此就需要Scala环境来运行kafka源码了。接下来记录的是我在IDEA中安装Scala插件。步骤如下：1、IDEA下载地址 http://www.jetbrains.com/idea/2、....
分类：
其他好文 时间：
2016-01-15 12:26:37
阅读次数：
709
