Apache Samza is a distributed stream processing framework. It uses Apache
Kafka for messaging, and Apache
Hadoop YARN to provide fault tolerance, processor isolation, security, and resource manage...
分类：
其他好文 时间：
2014-11-02 16:36:31
阅读次数：
255
文章源地址：https://github.com/edenhill/librdkafka/blob/master/INTRODUCTION.md
librdkafka 是Apache Kafka 客户端C语言的高性能实现， 能够提供可靠并且表现优秀的客户端，同时它也提供比较初级的C++界面。
Contents
本文主要包含以下章节：
一、性能...
分类：
编程语言 时间：
2014-10-31 11:57:45
阅读次数：
1263
后面为了引入Dubbo RPC框架（用spring配置），先把spring 引入jstorm中，请先了解一下jsorm多线程方面的文档：http://storm.apache.org/documentation/Understanding-the-parallelism-of-a-Storm-topology.html ．
A worker process exe...
分类：
编程语言 时间：
2014-10-30 22:43:42
阅读次数：
517
本地模式启动的．
package com.doctor.kafkajstrom;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.TimeUnit;
import org.apache.commons.lang.RandomStringUtils;
import org.slf4j.Log...
分类：
编程语言 时间：
2014-10-30 22:37:43
阅读次数：
465
1. 在flume/conf下建一个example文件:将下面的配置信息写到example文件中#配置agent1表示代理名称agent1.sources=source1agent1.sinks=sink1agent1.channels=channel1#配置source1agent1.source...
分类：
Web程序 时间：
2014-10-30 15:16:08
阅读次数：
239
管理日志服务RHEL系统中的内核及系统日志功能主要由rsyslogd服务提供，该服务的配置文件为"/etc/rsyslog.conf"。rsyslogd服务默认已经安装并自动运行，/etc/rsyslog.conf配置文件则可以对日志进行设置，它可以指定那些信息需要记录，以及记录在哪里。例：查看/etc/rsyslog.conf..
分类：
系统相关 时间：
2014-10-30 11:57:39
阅读次数：
260
日志系统—日志服务器日志是Linux操作系统重要的一方面，他记录了系统每天系统发生的各种各样的事情，你可以通过他来检查错误发生的原因，或受到攻击时攻击者留下的痕迹，所以日志对于安全来说非常重要。Linux下重要的日志文件位于/var/log/message/var/log/secure安全方面/var..
分类：
数据库 时间：
2014-10-30 02:07:50
阅读次数：
276
kafka文件系统设计那些事，从架构层面，实现机制角度阐述kafka文件系统高效性能。
一个大文件分成多个小文件段。
多个小文件段，容易定时清除或删除已经消费完文件，减少磁盘占用。
index全部映射到memory直接操作，避免segment file被交换到磁盘增加IO操作次数。
根据索引信息，可以确定发送response到consumer的最大大小。
索引文件元数据存储用的是相对前一个segment file的offset存储，节省空间大小。...
分类：
其他好文 时间：
2014-10-28 20:08:50
阅读次数：
368
这三样东西分别作用是：日志收集、索引与搜索、可视化展现l logstash 这张架构图可以看出logstash只是collect和index的地方，运行时传入一个.conf文件，配置分三部分:input ,filter,output。l redis redis在这里是作为日志收集与索引之间解耦...
分类：
其他好文 时间：
2014-10-28 17:19:54
阅读次数：
812
package com.doctor.logbackextend;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import kafka.consumer.Consumer;
import kafka.consumer.ConsumerCo...
分类：
Web程序 时间：
2014-10-26 09:07:44
阅读次数：
383
