1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（...
分类：
其他好文 时间：
2015-10-22 21:10:42
阅读次数：
277
转载，原文网址： http://blog.csdn.net/wud_jiyanhui/article/details/6213443系统日志的概念及作用日志系统作为一种应用程序服务，对于跟踪调试、程序状态记录、崩溃数据恢复都有着重要的作用常用Java日志系统Log4J最早的Java日志框架之一，由A...
分类：
编程语言 时间：
2015-10-21 15:17:35
阅读次数：
266
最近公司业务数据量越来越大，以前的基于消息队列的日志系统越来越难以满足目前的业务量，表现为消息积压，日志延迟，日志存储日期过短，所以，我们开始着手要重新设计这块，业界已经有了比较成熟的流程，即基于流式处理，采用 flume 收集日志，发送到 kafka 队列做缓冲，storm 分布式实时框架进行消费...
分类：
Web程序 时间：
2015-10-15 20:36:00
阅读次数：
300
一、hbase简介HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，实现的编程语言为 Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为 Hadoop 提供类似于BigTable 规模的服务。因此，它可以容错地存...
分类：
其他好文 时间：
2015-10-15 20:35:32
阅读次数：
388
前面的例子中，尽管我们使用了direct路由代替fanout路由解决了盲目广播的问题，但direct路由也有它的缺陷，他不能基于多个标准做路由转发。在上面的日志系统中，如果不仅想基于日志等级做订阅，也想根据日志的发生源做订阅该怎么处理呢？这时候你可能想到了unix系统工具中的sys..
分类：
其他好文 时间：
2015-10-15 06:28:48
阅读次数：
166
在前面的例子中，我们构建了一个简单的日志系统来日志消息通过广播传送到多个接受者。本文将介绍如何订阅消息的子集。比如，我们能够将关键的错误信息写到日志文件中，同时也能够在控制台打印所有的日志消息。消息绑定（Bindings）在前面的例子中，我们使用下面的代码方式再次..
分类：
其他好文 时间：
2015-10-13 10:47:49
阅读次数：
248
Linux服务器的日志管理1.简介从安全角度来说，Linux服务器的日志非常重要，它记录了系统每天所发生的各种各样的事情，如果服务器受到攻击，就可以通过它来进行分析。同时，它更是很重要的排障依据，可以通过它来检查错误发生的原因，所以我们必须了解和熟悉的运行机制。2.日志..
分类：
系统相关 时间：
2015-10-08 14:47:18
阅读次数：
282
Linux上的日志系统1、syslog2、syslog-ng下一代升级版日志系统红帽5使用syslog6使用syslog-ngsyslog服务syslogd:系统，非内核产生的信息klogd:内核，专门负责记录内核的日志信息系统启动时所输出的信息【到init启动之前的所有信息】：kernel-->物理终端(/dev/console)-->..
分类：
系统相关 时间：
2015-10-01 01:49:06
阅读次数：
293
1.log4j 详细配置：http://www.open-open.com/lib/view/open1393488356958.html2.logback 详细配置：http://blog.csdn.net/haidage/article/details/67945093.日志系统的继承和切换.....
分类：
其他好文 时间：
2015-09-30 16:21:06
阅读次数：
128
《Tomcat日志系统详解》综合：Tomcat下相关的日志文件Cataline引擎的日志文件，文件名catalina.日期.logTomcat下内部代码丢出的日志，文件名localhost.日期.log（jsp页面内部错误的异常，org.apache.jasper.runtime.HttpJspBa...
分类：
其他好文 时间：
2015-09-29 16:38:35
阅读次数：
247
