使用过mysql的人都知道我们对mysql设置变量是在my.cnf文件里,平时修改一次变量后需要重启mysql的服务,但是在实际生产服务器中这样是不允许的,我们可以通过这个语句查询mysql的全部变量mysql>showglobalvariables;如果mysql中开启了慢查询日志分析,查看慢查询的设定默认..
分类:
数据库 时间:
2016-08-29 21:01:30
阅读次数:
525
在互联网企业中,日志分析是特别重要的一个模块。通过对日志的分析,可以获得网站的一些指标信息,和网站访问情况。另外,日志对于统计排错来说非常有利的。nginx日志相关的配置如access_log、log_format、open_log_file_cache、log_not_found、log_subrequest、rewrite_log、e..
分类:
其他好文 时间:
2016-08-29 20:55:13
阅读次数:
245
日志的分析在联调和后期维护是非常重要。 今天让我们进入ELK。。。让我们一起感受这个强大的日志收集,日志分析存储,日志查询界面化显示的震撼效果吧。 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自 ...
分类:
其他好文 时间:
2016-08-28 22:15:32
阅读次数:
327
合并日志文件可以使用 bash 的sort命令: 也可以使用 awstats 提供的 logresolvemerge.pl 以上命令,将需要分析的日志合并成一个 log_all文件 需要关注的参数:Not viewed traffic * 里面包含了ua 为爬虫的数据,以及应答码为404错误等信息。 ...
分类:
系统相关 时间:
2016-08-28 01:10:11
阅读次数:
149
1.确认apache已经安装:netstat-utpln|grep802.下载与解压:lftpftp.linuxfan.cntarzxvfawstats-7.3.tar.gzmvawstats-7.3/usr/local/awstats3.配置awstats:cd/usr/local/awstats/toolschmod+x./*./awstats_configure.pl#####开始配置###a.当提示输入httpd.conf时输入并回车继..
分类:
其他好文 时间:
2016-08-25 21:56:14
阅读次数:
186
第一章实验(二):awstats日志分析系统部署1.确认apache已经安装:netstat-utpln|grep802.下载与解压:lftpftp.linuxfan.cntarzxvfawstats-7.3.tar.gzmvawstats-7.3/usr/local/awstats3.配置awstats:cd/usr/local/awstats/toolschmod+x./*./awstats_configure.pl#####开始配..
分类:
其他好文 时间:
2016-08-24 17:48:31
阅读次数:
214
一.Hive应用场景本文主要讲述使用 Hive 的实践,业务不是关键,简要介绍业务场景,本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久,日志量并不大 。这些日志分布在 5 台前端机,按小时保存,并以小时为周期定时将上一小时产生的数据同步到日志分析机,统计数据要求按小时更新。这些统计项, ...
分类:
其他好文 时间:
2016-08-23 23:23:38
阅读次数:
184
2016-08-23 关于GC的算法和垃圾收集器的种类就暂且不说了,网上有大把的资料供参考 话题引入 让我们先简单的看下整个堆年轻代和年老代的垃圾收集器组合(以下配合java8完美支持,其他版本可能稍有不同),其中标红线的则是我们今天要着重讲的内容: ParNew and CMS "Concurre ...
分类:
其他好文 时间:
2016-08-23 06:48:31
阅读次数:
216
背景 日志,角色不同,出发点和认识的角度也不同 RD使用日志,首先是为了调试程序,当程序上线后,日志是为了记录err和trace。 PM可以通过日志分析,可以得出业务指标相关的统计情况。 日志的作用大致有三:异常、trace、统计。 日志使用的痛点 使用日志时大部分的场景或特点如下: 1.日志为纯文 ...
分类:
其他好文 时间:
2016-08-17 13:56:16
阅读次数:
150
最近在nginx上部署日志分析工具awstats时,在配置awstats分析结果可供网页浏览这步时,分析结果页面访问总是404.后来查阅了一些资料,发现是root和alias的用法区别没搞懂导致的,这里特地将这两者区别详尽道来,供大家学习参考。 Nginx其实没有虚拟主机这个说法,因为它本来就是完完 ...
分类:
其他好文 时间:
2016-08-15 14:30:23
阅读次数:
158