问题导读：1.zookeeper在kafka的作用是什么？2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？3.kafka集群consumer和producer状态信息是如何保存的？4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a dist.....
分类：
其他好文 时间：
2014-09-29 11:14:57
阅读次数：
283
Getting Started ? 入门 1.1 Introduction ? 简介 ?? Kafka is a distributed, partitioned, replicated commit log service. It provides the functionality of a messaging system, ?but with a unique d...
分类：
其他好文 时间：
2014-09-28 20:10:56
阅读次数：
450
最近在用Flume做数据的收集。用到了里面的Spooldir的源在使用中有如下的问题：如果文件的某一行有乱码，不符合指定的编码规范，那么flume会抛出一个exception，然后就停在那儿了。spooldir指定的文件夹中的文件一旦被修改，flume就会抛出一个exception，然后停在那儿了。...
分类：
其他好文 时间：
2014-09-26 19:21:18
阅读次数：
220
storm与kafka单机功能整合很顺利，但是到了storm集群环境和数据处理性能时则出现了一些问题，现将测试过程和问题简单记录如下： ? ? 性能指标：每分钟处理至少100万的信息（csv格式，100bytes左右），信息...
分类：
其他好文 时间：
2014-09-26 12:59:39
阅读次数：
228
总结：
???1.kafka?中可以分步不同的组，消息可以被不同组里面的消费者多次消费
???2.?观察zookeeper中kafka中的信息：
[zk:?air00:2181(CONNECTED)?8]?ls?/
[consumers,?config,?controller,?adm...
分类：
其他好文 时间：
2014-09-25 16:08:39
阅读次数：
209
1,准备 master：10.1.5.241 slave01：10.1.5.242 在服务器端和客户端分别安装rsyslog [root@master ~]# yum -y rsyslog [root@master ~]# rsyslogd -version rsyslogd 5.8.10, compiled with: ?? ?FEATURE_REG...
分类：
其他好文 时间：
2014-09-23 20:07:45
阅读次数：
305
背景： 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临例如以下几个挑战：怎样收集这些巨大的信息怎样分析它 怎样及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）...
分类：
其他好文 时间：
2014-09-23 14:04:14
阅读次数：
295
服务端去给客户端发指令，告诉客户端我curl完了，客户端也就是rsyslog服务端#!/usr/bin/pythonimportpycurlimportsocketimporttimedefwork_socket():s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)s.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1)s.bind((‘10.67...
分类：
其他好文 时间：
2014-09-23 13:22:14
阅读次数：
223
rsyslog分为服务端和客户端客户端rsyslog配置文件配置一下几条比较有用$ActionQueueTypeLinkedList#useasynchronousprocessing开启缓存队列$ActionQueueFileNamebackup_local#setfilename,alsoenablesdiskmode如果客户端挂了，缓存队列写到本地backup_local这个变量上面已经定..
分类：
其他好文 时间：
2014-09-23 13:22:04
阅读次数：
407
KafkaOffsetMonitor是不错的kafka监控的web工具，官方提供的版本需要在线下载js和css，其中angulajs的下载不了，在不联网的内部环境下不能正常使用，所以本人将其所有到的js和css单独下载整到当前这个jar包中，下载在内部环境可以直接使用...
分类：
Web程序 时间：
2014-09-21 11:38:20
阅读次数：
265
