我的通用程序规范及说明 前言 每个项目程序功能大多数是相同的，而程序员最应该做的事就是复用你的代码，甚至项目。所以才有了我做通用程序的想法。 程序功能的相同点：每个项目，都需要后台程序。而后台程序50%以上的东西都是复用的。比如： 登录,权限,日志,系统设置,文章模型,产品模型。甚至是会员系统都是复 ...
分类：
其他好文 时间：
2016-05-09 12:42:47
阅读次数：
195
问题描述：
在大流量线上服务中，日志系统会产生数量庞大的日志，动辄就是几十G。在如此之大的文件中快速搜索日志是运维人员经常遇见的问题。我们经常遇见的问题是查询一段时间内的某些条日志。比如，今天有一个访问失败了，大约是在上午9点，把这条日志找出来。查找失败原因。
常见处理方式及缺点：
1.如果文件比较小，100m以内使用grep、awk或者sed进行逐条匹配比较方便，但是文...
分类：
系统相关 时间：
2016-05-07 07:36:39
阅读次数：
286
Linux下日志系统详1.linux系统上有两个日志服务syslog和syslog-ngsyslog服务有两个进程syslogd和klogd syslogd:系统产生的日志信息 klogd：内核产生的日志信息klogd：在系统启动时内核产生日志输出至物理终端(/dev/console)并存放至/var/log/dmesg文件中查看klogd产生的日志信..
分类：
系统相关 时间：
2016-05-05 17:55:49
阅读次数：
250
概述最近这段时间在强化日志系统自身的稳定性和可靠性，一个稳定可靠的系统离不开监控，我们这里谈及的监控除了服务是否存活还有这些组件的核心metrics采集与抓取，为此我们将这些任务做成了定时任务来执行。由于大致的思路以及设计已经成型，所以今天来分享一下日志系统在定时任务这块的选型与设计。...
分类：
其他好文 时间：
2016-04-29 19:40:18
阅读次数：
138
http://www.tuicool.com/articles/QFvARfr
开源实时日志分析ELK平台部署
版本：elasticsearch-2.3.2
logstash-2.3.2
kibana-4.5.0
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配...
分类：
其他好文 时间：
2016-04-29 15:04:07
阅读次数：
176
概述最近这段时间在强化日志系统自身的稳定性和可靠性，一个稳定可靠的系统离不开监控，我们这里谈及的监控除了服务是否存活还有这些组件的核心metrics采集与抓取，为此我们将这些任务做成了定时任务来执行。由于大致的思路以及设计已经成型，所以今天来分享一下日志系统在定时任务这块的选型与设计。...
分类：
其他好文 时间：
2016-04-26 21:40:50
阅读次数：
201
目前java应用日志收集都是采用日志框架(slf4j、apache commons logging)+日志系统（log4j、log4j2、LogBack、JUL等）的方式。而针对在分布式环境需要实时分析统计的日志，一般采用apache flume、facebook scribe等分布式日志收集系统。...
分类：
编程语言 时间：
2016-04-22 19:49:21
阅读次数：
409
1 什么是RabbitMQ？
RabbitMQ是实现AMQP（高级消息队列协议）的消息中间件的一种，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然：
单向解耦
双向解耦（如：RPC）
例如一个日志系统，很容易使用RabbitM...
分类：
其他好文 时间：
2016-04-22 19:34:09
阅读次数：
113
转载自：http://www.cnblogs.com/mailingfeng/p/3499436.html 上次我们讨论了如何选择一个好的开源日志系统方案，其中的结论是：使用 SLF4J + LogBack 是一个很好的选择。这篇文章就来讲讲如何快速地搭建起这套日志系统。 一、简介 LogBack是 ...
分类：
其他好文 时间：
2016-04-22 18:18:45
阅读次数：
183
前言 在项目正式上线后,如果出现错误、异常、崩溃等情况， 我们往往第一想到的事就是查看日志。 所以日志对于一个系统的维护是非常重要的。 声明 本文中的示例代码旨在这个框架是怎么工作的，具体实现可以自由发挥。 贯穿所有的日志系统 日志系统,往往是贯穿一个程序的所有代码的; 试想一下,如果你的日志完全是 ...
