rsyslog支持的特性支持多线程支持tcp,ssl,tls.relp可以把日志存储于关系型数据库中支持过滤器,可以实现过滤日志中的任意部分。支持自定义格式适用于企业级的日志记录需求。功能模块化rsyslog用facility接收各个应用和程序的日志,并把日志分类。有以下几类auth与认证相关的aut..
分类:
数据库 时间:
2014-08-21 00:21:53
阅读次数:
307
Rsyslog是一个syslogd的多线程增强版,在syslog的基础上扩展了很多其他功能,如数据库支持(MySQL,PostgreSQL、Oracle等)、日志内容筛癣定义日志格式模板等。除了默认的udp协议外,rsyslog还支持tcp协议来接收日志。本文只做简单配置与说明。更多与日志相关的服务的详细解释与配..
分类:
其他好文 时间:
2014-08-21 00:20:14
阅读次数:
430
写在前面:如果此文有幸被某位朋友看见并发现有错的地方,希望批评指正。如有不明白的地方,愿可一起探讨。安装apache在CentOS6.5上默认情况下,已经安装了Apache。如果没有安装,进行如下步骤进行安装:#yum-yinstallhttpd启动httpd服务#servicehttpdstart设置httpd服务开机启..
分类:
数据库 时间:
2014-08-20 14:19:33
阅读次数:
334
目录: 一、Flume、Kafka、Storm是什么,如何安装? 二、Flume、Kafka、Storm如何结合使用? 1) 原理是什么? 2) Flume和Kafka的整合 3) Kafka和Storm的整合 4) Flume、Kafka、Storm的整合 一、Flu...
分类:
其他好文 时间:
2014-08-19 20:39:55
阅读次数:
750
随着业务的发展, 服务器所在网段/机群不允许kafka继续保留在那, 需要移动到先机器上.哎呀上面是废话,总的说就是: 2台老kafka不要了,数据要迁移到新的2台kafka上面.要求数据不丢失通过查询官网,并无直接切换的命令,当前版本是kafka 0.8.1, 说是0.8.2才提供老机器的退役功能...
分类:
其他好文 时间:
2014-08-19 18:25:35
阅读次数:
196
Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会...
分类:
其他好文 时间:
2014-08-19 13:03:24
阅读次数:
475
一、入门 1.??? 简介 Kafka is a distributed, partitioned, replicated commit log service。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进...
分类:
其他好文 时间:
2014-08-18 14:40:12
阅读次数:
315
背景:
当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息,在大数据时代,我们面临如下几个挑战:
如何收集这些巨大的信息如何分析它 如何及时做到如上两点
以上几个挑战形成了一个业务需求模型,即生产者生产(produce)各种信息,消费者消费(consume)(处理分析)这些信息,而在生产者与消费者之间,需要一个沟通两...
分类:
其他好文 时间:
2014-08-18 12:38:34
阅读次数:
191
Kafka提供了两套API给Consumer
The high-level Consumer APIThe SimpleConsumer API
第一种高度抽象的Consumer API,它使用起来简单、方便,但是对于某些特殊的需求我们可能要用到第二种更底层的API,那么先介绍下第二种API能够帮助我们做哪些事情
一个消息读取多次在一个处理过程中只消费Partiti...
来自:http://doc.okbase.net/QING____/archive/19447.htmlkafka作为分布式日志收集或系统监控服务,我们有必要在合适的场合使用它。kafka的部署包括zookeeper环境/kafka环境,同时还需要进行一些配置操作.接下来介绍如何使用kafka. 我...
分类:
其他好文 时间:
2014-08-15 09:25:47
阅读次数:
455