在Kafka中,LogManager负责管理broker上所有的Log(每一个topic-partition为一个Log)。通过阅读源代码可知其具体完成的功能如下:
1. 按照预设规则对消息队列进行清理。
2. 按照预设规则对消息队列进行持久化(flush操作)。
3. 连接ZooKeeper进行broker、topic、partition相关的ZooKeeper操作。
4. 管理brok...
分类:
其他好文 时间:
2014-06-28 08:25:21
阅读次数:
208
Kafka是一个分布式的消息中间件,可以粗略的将其划分为三部分:Producer、Broker和Consumer。其中,Producer负责产生消息并负责将消息发送给Kafka;Broker可以简单的理解为Kafka集群中的每一台机器,其负责完成消息队列的主要功能(接收消息、消息的持久化存储、为Consumer提供消息、消息清理.....);Consumer从Broker获取消息并进行后续的操作。...
分类:
其他好文 时间:
2014-06-27 23:55:13
阅读次数:
387
http://en.wikipedia.org/wiki/SyslogSyslogis a standard forcomputer message logging. It permits separation of the software that generates messages from...
分类:
其他好文 时间:
2014-06-27 13:05:02
阅读次数:
457
1.Binder(IPC)Linux进程之间要能够互相通信,从而共享资源和信息。所以,操作系统内核必须提供进程间的通信机制(IPC,Inter-Process Communication)。IPC机制种类:采用命名管道(name pipe),消息队列(message queue),信号(signal...
分类:
其他好文 时间:
2014-06-26 20:48:54
阅读次数:
329
一、简介LogAnalyzer 是一款syslog日志和其他网络事件数据的Web前端。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据,它可以处理syslog日志消...
分类:
数据库 时间:
2014-06-26 11:26:58
阅读次数:
462
一、几个关键概念
1、MessageQueue:是一种数据结构,见名知义,就是一个消息队列,存放消息的地方。每一个线程最多只可以拥有一个MessageQueue数据结构。
创建一个线程的时候,并不会自动创建其MessageQueue。通常使用一个Looper对象对该线程的MessageQueue进行管理。主线程创建时,会创建一个默认的Looper对象,而Looper对象的创建,将自动创...
分类:
移动开发 时间:
2014-06-26 10:59:25
阅读次数:
307
MSMQ(MicroSoft Message Queue,微软消息队列)是在多个不同的应用之间实现相互通信的一种异步传输模式,相互通信的应用可以分布于同一台机器上,也可以分布于相连的网络空间中的任一位置。它的实现原理是:消息的发送者把自己想要发送的信息放入一个容器中(我们称之为Message),然后...
分类:
其他好文 时间:
2014-06-26 00:33:04
阅读次数:
295
基于RabbitMQ 消息队列的RPC实例!...
分类:
其他好文 时间:
2014-06-25 10:55:26
阅读次数:
891
三种IPC被称作XSI IPC,分别是:
消息队列信号量共享存储器
下面分别介绍三种IPC的用法。
1、消息队列
消息队列是消息的链接表,具有如下函数接口:
msgget:创建一个新队列或打开一个现存的队列。msgsnd:将消息添加到队列尾端。msgrcv:从队列中取消息。
我们可以自行定义一个表示消息的结构体,它由类型字段和实际数据组成:
struct ...
分类:
系统相关 时间:
2014-06-24 20:45:32
阅读次数:
319
安装HAProxy及环境配置红帽的yum源已经为我们提供了最新版本的haproxy,所以我们只需要yum安装即可[root@node1~]#yuminstallhaproxy-y配置haproxy的日志编辑rsyslog[root@node1haproxy]#vim/etc/rsyslog.conf将以下参数开启$ModLoadimudp$UDPServerRun514加入参数:*.info;mail..
分类:
其他好文 时间:
2014-06-22 09:53:49
阅读次数:
280