2014年10月份，SANS发布了2014年度的《日志管理调查报告》。在今年，对于日志分析/安全分析的报告分为了两个，一个是延续了2013年的安全分析（SecurityAnalytics）的调研报告，另一个则是重新续上了2012年的日志管理（LogManagement）的调研报告。在2013年，两个调研主题合并到..
分类：
其他好文 时间：
2014-11-16 01:57:23
阅读次数：
229
ElasticSearch的River机制
ElasticSearch自身提供了一个River机制，用于同步数据。
这里可以找到官方目前推荐的River：
http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/
但是官方没有提供HBase的River。
其实ES的River非常简单，就是一个用户打包好的j...
分类：
其他好文 时间：
2014-11-15 17:08:41
阅读次数：
298
#!/bin/bash#analysisthemysqlslowlog#Writenbylandline#IPadd=`grep`hostname`/etc/hosts|awk-F‘‘‘END{print$1}‘`IPadd=`/sbin/ifconfigeth0|grepBcast|awk-F:‘{print$2}‘|awk‘{print$1}‘`serverday=`date-d‘-1day‘+%Y-%m-%d`nowday=`date"+%y%m%d"`yestoday=`date-d‘-1day‘+%..
分类：
数据库 时间：
2014-11-15 06:44:39
阅读次数：
290
1.查看文件内容cat-n 显示行号2.分页显示moreEnter 显示下一行空格 显示下一页F 显示下一屏B 显示上一屏less/get 查询"get"字符串并高亮显示3.显示文件尾tail-f 不退出持续显示-n 显示文件最后n行4.显示头文件head-n 显示文件开始n行5.内容排序sort-...
分类：
系统相关 时间：
2014-11-14 20:54:32
阅读次数：
193
日志是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。下面以Web日志为例，进行相关的阐述。一.为什么要进行日志分析Web日志中包含了大量人们——主要是产品分析人员会感兴趣的信息，最简单的，我们可以从中获取网站每类页面的...
分类：
其他好文 时间：
2014-11-14 17:28:58
阅读次数：
119
一：起因
（1）学习IT的人，不论是写前端还是后台；有时候需要对数据进行清洗处理，例如，数据库日志分析。
（2）处理数据的大小由MB 到 GB，在到TB，最后导致处理的每一个文件都超过java jvm初始的heap
（3）对于单个文件比较小的，并行要求不高的数据，我们可以通过更改JVM的初始参数进行解决 —— 但是这并不是根本的解决办法。
（4）根本的解决办法是hadoop分布式系统下的M...
分类：
编程语言 时间：
2014-11-14 15:41:19
阅读次数：
201
很多PHP搭建的网站都在由apache转向了nginx。nginx的日志信息如何分析呢？推荐一款结果信息非常详尽的开源工具——Awstats ，它基于perl编写，它的介绍如下：AWStats is a free powerful and featureful tool that generates...
分类：
其他好文 时间：
2014-11-14 14:16:41
阅读次数：
166
ElasticSearch(ES)检索后需要结果时,可能通过source接口读出.但是这样的话,返回的结果会很多.在调用search方法时,我们可以添加addfield或addfields方法,仅仅读取需要的域.接口示例如下:1 SearchResponse response = c...
分类：
编程语言 时间：
2014-11-14 10:43:16
阅读次数：
247
有的时候,需要自己设定排序,java的一个接口如下: String time1 = ConstValue.GetCurrentDate(); SortBuilder sortBuilder = SortBuilders.fieldSort("tfp_save_time")...
分类：
编程语言 时间：
2014-11-14 10:43:02
阅读次数：
234
