码迷,mamicode.com
首页 >  
搜索关键字:elk kafka rsyslog flume    ( 6983个结果
rsyslog + mysql + loganalyzer 构建日志服务器
rsyslog支持的特性支持多线程支持tcp,ssl,tls.relp可以把日志存储于关系型数据库中支持过滤器,可以实现过滤日志中的任意部分。支持自定义格式适用于企业级的日志记录需求。功能模块化rsyslog用facility接收各个应用和程序的日志,并把日志分类。有以下几类auth与认证相关的aut..
分类:数据库   时间:2014-08-21 00:21:53    阅读次数:307
rsyslog+Loganalyzer日志服务器--初探
Rsyslog是一个syslogd的多线程增强版,在syslog的基础上扩展了很多其他功能,如数据库支持(MySQL,PostgreSQL、Oracle等)、日志内容筛癣定义日志格式模板等。除了默认的udp协议外,rsyslog还支持tcp协议来接收日志。本文只做简单配置与说明。更多与日志相关的服务的详细解释与配..
分类:其他好文   时间:2014-08-21 00:20:14    阅读次数:430
在CentOS6.5上搭建RSYSLOG & MySQL & LogAnalyzer平台
写在前面:如果此文有幸被某位朋友看见并发现有错的地方,希望批评指正。如有不明白的地方,愿可一起探讨。安装apache在CentOS6.5上默认情况下,已经安装了Apache。如果没有安装,进行如下步骤进行安装:#yum-yinstallhttpd启动httpd服务#servicehttpdstart设置httpd服务开机启..
分类:数据库   时间:2014-08-20 14:19:33    阅读次数:334
Flume+Kafka+Strom基于分布式环境的结合使用
目录: 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用? 1) 原理是什么? 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类:其他好文   时间:2014-08-19 20:39:55    阅读次数:750
kafka的迁移干货
随着业务的发展, 服务器所在网段/机群不允许kafka继续保留在那, 需要移动到先机器上.哎呀上面是废话,总的说就是: 2台老kafka不要了,数据要迁移到新的2台kafka上面.要求数据不丢失通过查询官网,并无直接切换的命令,当前版本是kafka 0.8.1, 说是0.8.2才提供老机器的退役功能...
分类:其他好文   时间:2014-08-19 18:25:35    阅读次数:196
分布式消息系统 Kafka 简介
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会...
分类:其他好文   时间:2014-08-19 13:03:24    阅读次数:475
Kafka 之 入门
一、入门 1.??? 简介 Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进...
分类:其他好文   时间:2014-08-18 14:40:12    阅读次数:315
kafka详解一、Kafka简介
背景:      当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战: 如何收集这些巨大的信息如何分析它       如何及时做到如上两点      以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消费(consume)(处理分析)这些信息,而在生产者与消费者之间,需要一个沟通两...
分类:其他好文   时间:2014-08-18 12:38:34    阅读次数:191
Kafka详解五、Kafka Consumer的底层API- SimpleConsumer
Kafka提供了两套API给Consumer The high-level Consumer APIThe SimpleConsumer API      第一种高度抽象的Consumer API,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的API,那么先介绍下第二种API能够帮助我们做哪些事情 一个消息读取多次在一个处理过程中只消费Partiti...
分类:Windows程序   时间:2014-08-18 12:35:04    阅读次数:405
Kafka部署与代码实例(转)
来自:http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务,我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境,同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类:其他好文   时间:2014-08-15 09:25:47    阅读次数:455
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!