1、查看有多少个IP访问： awk '{print $1}' log_file|sort|uniq|wc -l # wc -l 看看有多少行 2、查看某一个页面被访问的次数： grep "/index.php" log_file | wc -l 3、查看每一个IP访问了多少个页面： awk '{++ ...
分类：
其他好文 时间：
2016-06-16 16:17:27
阅读次数：
219
#mysql_slow.confinput{file{type=>"mysql-slow"path=>"/var/log/mysql_slow_log.log"}}filter{if[type]=="mysql-slow"{#grep{#ignore‘#Time:‘asweusetheSETtimestamptogetthetime.grepisactually#onthedeprecationcyclesoneedtofigureoutanalternativetothis#match=>..
分类：
数据库 时间：
2016-06-16 13:29:21
阅读次数：
356
logstash配置文件#nginx_log.confinput{file{type=>"nginx_log"path=>"/opt/nginx/logs/access.log"}}filter{if[type]=="nginx_log"{grok{match=>{"message"=>"%{NGINXACCESS}"}}if([message]=~"^*launcher*|^*favicon*"){drop{}}geoip{source=>"remote_addr"ta..
分类：
其他好文 时间：
2016-06-16 13:28:06
阅读次数：
443
修改环境配置文件#/etc/bashrc添加以下内容:HISTFILE=‘/var/log/history_command.log‘if[!-f$HISTFILE];thentouch$HISTFILEchmod666$HISTFILEfiexportHISTTIMEFORMAT="%F%T,$HOSTNAME,$(who-uami2>/dev/null|\awk‘{print$NF}‘|sed-e‘s/[()]//g‘),$(whoami|awk‘{print$1}‘),$..
分类：
系统相关 时间：
2016-06-16 13:28:05
阅读次数：
420
假设apache日志格式为：118.78.199.98 – - [09/Jan/2010:00:59:59 +0800] “GET /Public/Css/index.css HTTP/1.1″ 304 – “http://www.a.cn/common/index.php” “Mozilla/4. ...
分类：
Web程序 时间：
2016-06-15 14:21:57
阅读次数：
253
Logstash是一个具有实时管道的开源数据收集引擎。可以动态地统一不同来源的数据，并将数据归到不同目的地。也是一个管理事件和日志工具。你可以用它来收集日志，分析它们，并将它们储存起来以供以后使用。 Logstash 通常都是和 Kibana 以及 Elasticsearch 一起使用，其实还有很多 ...
分类：
其他好文 时间：
2016-06-13 11:37:16
阅读次数：
298
从其他地方拿到数据库的同步日志，如：123.out，如果想知道同步的大体信息，比如同步了多少DML等，那么可以使用命令：hvrstatustics搞定。
示例：
hvrstatistics -f e:\123.out
示例输出：
Captured Inserts : 11437
Captured Updates : ...
分类：
其他好文 时间：
2016-06-02 14:16:32
阅读次数：
133
随着互联网和云计算的发展，公有云服务器是人们越来越容易接受的产品，其最普遍受益的一点就是节省成本。企业不必像拥有私有云那样去购买，安装，操作或运维服务器或是其他设备。在一个公有云的服务供应商提供的平台上，企业只需使用或开发他们自己的应用程序即可。但公有云的安全问题也是显而易见的，基于Internet的公有云服务的特性，全世界只要能上网的人就可以访问到其云服务器，其在云主机及其云上的数据受到威胁会更...
分类：
其他好文 时间：
2016-05-30 14:43:27
阅读次数：
244
前言：Elk主要就是3个软件的组合，主要是elasticsearch搜索引擎，Logstash是一个日志收集日志，kibana实时分析进行展示。[关于日志搜集的软件，如:scribe,flume,heka,logstash,chukwa,fluentd,当然rsyslogrsyslog-ng都可以搜集。关于日志手机后存储软件，如:HDFS,Cassandramong..
分类：
系统相关 时间：
2016-05-27 14:58:51
阅读次数：
856
1：Web日志分析系统概述
2：需求分析：日志提取预处理，KPI指标设计，存储与展现
3：算法模型：Hadoop并行算法
4：架构设计：用Maven构建hadoop项目
5：程序实现：MR2V程序实现
6：结果可视化
一：Web日志分析系统概述
Web日志由Web]服务器产生，可能是Nginx，Apache，Tomcat等，从Web日志中我们可以提取到很多有用的信息，比如说网...
分类：
Web程序 时间：
2016-05-27 02:04:17
阅读次数：
226
