深入理解kafka设计原理 最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力. ??? 1、...
分类：
其他好文 时间：
2015-03-31 11:01:33
阅读次数：
467
最近开研究kafka，下面分享一下kafka的设计原理。kafka的设计初衷是希望作为一个统一的信息收集平台,能够实时的收集反馈信息,并需要能够支撑较大的数据量,且具备良好的容错能力.
1、持久性
kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性.且无论任何OS下,对文件系统本身的优化几乎没有可能.文件缓存/直接内存映射等是常用的手段.因为k...
分类：
其他好文 时间：
2015-03-31 10:53:37
阅读次数：
133
Kafka.utils，顾名思义，就是一个工具套件包，里面的类封装了很多常见的功能实现——说到这里，笔者有一个感触：当初为了阅读Kafka源代码而学习了Scala语言，本以为Kafka的实现会用到很多函数编程(Functional Programming, FP)，结果目前来看，大部分还是很朴素地以...
分类：
其他好文 时间：
2015-03-30 17:48:59
阅读次数：
191
本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，Consumer Group以及由其实现的不同消息分发方式，Topic & Partition，最后介绍了Kafka Consumer为何使用pull模式以及K...
分类：
其他好文 时间：
2015-03-29 19:20:03
阅读次数：
226
笔者最近在研究Kafka的message包代码，有了一些心得，特此记录一下。其实研究的目的从来都不是只是看源代码，更多地是想借这个机会思考几个问题：为什么是这么实现的？你自己实现方式是什么？比起人家的实现方式，你的方案有哪些优缺点？任何消息引擎系统最重要的都是定义消息，使用什么数据结构来保存消息和消...
分类：
其他好文 时间：
2015-03-29 17:55:33
阅读次数：
171
0.上传日志文件到linux中，通过flume将文件收集到hdfs中。
执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console
1.建立hive表
create external table bb...
分类：
Web程序 时间：
2015-03-28 08:51:36
阅读次数：
156
本文介绍了一种简单易行的使用rsyslog向kafka,elasticsearch推送日志的方法；rsyslog的omkafka插件的安装、使用方法；rsyslog的omelasticsearch插件的安装、使用方法。...
分类：
其他好文 时间：
2015-03-20 18:41:44
阅读次数：
374
http://www.rsyslog.com/http://www.rsyslog.com/doc/v5-stable/troubleshooting/troubleshoot.htmlRSYSLOG is the rocket-fast system for log processing.It o...
分类：
其他好文 时间：
2015-03-20 18:04:16
阅读次数：
171
elk 日志分析系统Logstash+ElasticSearch+Kibana3
* logstash 管理日志和事件的工具
* ElasticSearch 搜索
* Kibana3 功能强大的数据显示客户端
* redis 缓存安装
logstash-1.4.2-1_2c0f5a1.noarch.rpm
elasticsearch-1.4.4.noarch.rpm
- logstash-...
分类：
其他好文 时间：
2015-03-20 12:59:41
阅读次数：
832
日志中出现大量一下日志时May 24 18:42:08 yw_lvs2_backup rsyslogd-2177: imuxsock lost 353 messages from pid 20261 due to rate-limiting说明超过的rsyslog的配置记录最大峰值，可以通过sysl...
分类：
其他好文 时间：
2015-03-19 13:03:39
阅读次数：
261
