码迷,mamicode.com
首页 >  
搜索关键字:elk kafka rsyslog flume    ( 6983个结果
akka 与kafka
akka 并发编程框架  kafka 高吞吐量分布式消息系统 akka 是一个用 Scala 编写的库,用于简化编写容错的、高可伸缩性的 Java 和 Scala 的 Actor 模型应用。 Actor模型并非什么新鲜事物,它由Carl Hewitt于上世纪70年代早期提出,目的是为了解决分布式编程中一系列的编程问题。其特点如下: ...
分类:其他好文   时间:2014-12-01 17:37:20    阅读次数:343
rsyslog日志管理
rsyslog日志管理日志:一些历史事件按时间序列将其记录,方便查错以及方便核实所发生的事件。rsyslog的特点:多线程;强大的过滤功能,可实现过滤系统信息中的任意部分;自定义输出格式;适用于企业级别日志记录需求。系统对指定设施定义了八个消息级别分别是:debug(调试级)..
分类:其他好文   时间:2014-12-01 06:40:14    阅读次数:463
RSYSLOG
RSYSLOG istherocket-fastsystemforlogprocessing.这是官方的定义,详见http://www.rsyslog.com/以下主要内容有:一、查看rsyslog状态二、解读rsyslog配置文件三、全局指令中的配置日志的格式四、3种记录日志方式(默认本地,远程,mysql库)是如何实现的rsyslog服务查看rsyslo..
分类:其他好文   时间:2014-11-27 06:58:04    阅读次数:265
Flume NG 简介及配置实战
摘自:http://my.oschina.net/leejun2005/blog/2881361、Flume 的一些核心概念:1.1 数据流模型1.2 高可靠性1.3 可恢复性2、Flume 整体架构介绍2.1 Exec source2.2 Spooling Directory Source3、常用...
分类:Web程序   时间:2014-11-26 15:51:08    阅读次数:180
rsyslog日志打印到控制台的异常
场景描述:Linux系统启动之后,没有进入到登录界面之前,屏幕刷拉拉一大片的HTTP日志打印,吓了我一大跳,这又是什么系统异常吗?这些日志不是应该写入到/var/log/messages文件中吗?毕竟HTTP服务程序调用的是syslog函数接口!!另外一件古怪的事情是,关闭系统的时候,日志也..
分类:其他好文   时间:2014-11-23 16:10:02    阅读次数:897
kafka配置详解
broker.id整数,建议根据ip区分 log.dirskafka存放消息文件的路径,默认/tmp/kafka-logsportbroker用于接收producer消息的端口 zookeeper.connnectzookeeper连接格式为 ip1:port,ip2:port,ip3:portme...
分类:其他好文   时间:2014-11-23 14:25:35    阅读次数:210
[转]flume-ng+Kafka+Storm+HDFS 实时系统搭建
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注...
分类:Web程序   时间:2014-11-19 10:32:28    阅读次数:345
分布式发布订阅消息系统 Kafka 架构设计
Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(activity stream)和运营数据处理管道(pipeline)的基础。现在它已为多家不同类型的公司 作为多种类型的数据管道(data pipeline)和消息系统使用。...
分类:其他好文   时间:2014-11-19 01:40:39    阅读次数:364
实践部署与使用apache kafka框架技术博文资料汇总
本文内容目录ji 1)apache kafka消息服务 2)kafka在zookeeper中存储结构 3)kafka log4j配置 4)kafka replication设计机制 5)apache kafka监控系列-监控指标 6)kafka.common.ConsumerRebalanceFailedException异常解决办法 7)kafak安装与使用 8)apache k...
分类:Web程序   时间:2014-11-19 01:36:35    阅读次数:3557
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!