大型网站架构系列：分布式消息队列（一） 以下是消息队列以下的大纲，本文主要介绍消息队列概述，消息队列应用场景和消息中间件示例（电商，日志系统）。 本次分享大纲 消息队列概述 消息队列应用场景 消息中间件示例 JMS消息服务（见第二篇：大型网站架构系列：分布式消息队列（二）） 常用消息队列（见第二篇： ...
分类：
Web程序 时间：
2016-03-30 14:40:26
阅读次数：
281
1 简介 1.1 Log4net的优点： 几乎所有的大型应用都会有自己的用于跟踪调试的API。因为一旦程序被部署以后，就不太可能再利用专门的调试工具了。然而一个管理员可能需要有一套强大的日志系统来诊断和修复配置上的问题。 经验表明，日志记录往往是软件开发周期中的重要组成部分。它具有以下几个优点：它可 ...
1、权限管理 从模块、表单、数据审核、功能button全面数据安全验证及管理。 2、ip验证 数据接口訪问进行IP校验 3、登录、操作日志、程序安全日志 系统所实用户登录、操作所有日志记录。 程序安全日志操作可查看我之前写过[LogHelper 日志记录帮助类 ]。 4、SQL注入校验过滤 a、表单 ...
分类：
Web程序 时间：
2016-03-24 18:18:43
阅读次数：
272
抛开市场上热火朝天的大数据不谈，只从解决实际业务问题方面来看，对数据的收集、分析、辅助决策已经得到越来越多的人重视，这里简单谈一些。一、数据处理篇1、数据收集简单来讲，可以把采集的每一条数据分为：事件、时间、来源、参数等几个基本元素。为了有一个直观的理解，可以参考下Sensors data，SLS（阿里云简单日志系统）这两个产品的设计。2、数据清洗这个主要是处理异常数据，不用多说。3、数据仓库ETL...
分类：
其他好文 时间：
2016-03-22 10:40:50
阅读次数：
179
一、交换机发送日志到linux主机[9F-3600V2-EI]info-centerloghost192.168.11.36[9F-3600V2-EI]info-centerenable二、linux下配置1.建立日志文件路径，路径可以修改[root@nginx-masterh3c]#mkdir/var/log/h3c[root@nginx-masterh3c]#touch/var/log/h3c/log[root@nginx-masterh3c..
分类：
其他好文 时间：
2016-03-18 18:11:29
阅读次数：
1007
Android日志系统提供了记录和查看系统调试信息的功能。日志都是从各种软件和一些系统的缓冲区中记录下来的，缓冲区可以通过logcat命令来查看和使用.
分类：
其他好文 时间：
2016-03-15 18:39:35
阅读次数：
135
一、flume概述Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。我们选用flume对内部多个系统的日..
分类：
Web程序 时间：
2016-03-07 19:31:18
阅读次数：
357
安全事件标准化一般的日志系统无法做到日志的标准化，而在OSSIM系统中不仅需要统一格式，而且要专门的属性，我们看几个典型字段及说明：lAlarm报警名称lEventid安全事件编号lSensorid:发出事件的传感器编号lSourceIP:src_ip安全事件源IP地址lSourcePort:src_port安全事件源端口..
分类：
其他好文 时间：
2016-03-04 02:04:38
阅读次数：
317
scribe、chukwa、kafka、flume日志系统对比 1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理 这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2）
分类：
Web程序 时间：
2016-02-26 18:56:17
阅读次数：
238
前一篇文章聊到了小型电商网站的系统架构，然后有朋友问我，里面的日志与监控指的是啥，所以，今天就来聊聊这个问题。 监控系统主要用于服务器集群的资源和性能监控以及应用异常和性能监控，日志管理等多维度的性能监控分析。一个完善的监控系统和日志系统对于一个系统的重要性不必我多说，总而言之就一句话，只有实时了解
分类：
其他好文 时间：
2016-02-24 19:31:34
阅读次数：
232
