为什么使用ELK日志分析：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。准备两台测试服务器：Centos7（1），Cento
分类：
其他好文 时间：
2019-05-12 01:01:41
阅读次数：
153
发现问题 在爬虫下载过程中，执行一段时间后都会异常终止，下次必须kill掉进程重新运行 ，看能否优化并减少手动操作 错误日志分析 收集了nohup.out文件，发现主要错误是的数组下标越界，推测可能的问题为： 1）网络不稳定，http请求不通。 2）网络请求成功，但是html表单解析失败。 3）登录 ...
分类：
编程语言 时间：
2019-05-11 23:23:41
阅读次数：
291
概述 什么是jvm调优呢？jvm调优就是根据gc日志分析jvm内存分配、回收的情况来调整各区域内存比例或者gc回收的策略；更深一层就是根据dump出来的内存结构和线程栈来分析代码中不合理的地方给予改进。eclipse优化主要涉及的是前者，通过gc日志来分析。本文主要是通过分析eclipse gc日志 ...
分类：
系统相关 时间：
2019-05-11 21:34:18
阅读次数：
171
MySQL数据库优化 SQL语句优化 慢查询 如何发现有问题的SQL？ 使用mysql慢查询日志对有效率问题的SQL进行监控 慢查询日志所包含的内容： MySQL慢查询日志分析工具之mysqldumpslow（mysql官方） 安装完MySQL后，默认就带了mysqldumpslow，很常用的一个工 ...
分类：
数据库 时间：
2019-05-11 21:11:24
阅读次数：
159
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
这篇文章主要介绍了使用CDN之后APACHE日志记录中IP地址不正确的解决方案,需要的朋友可以参考下最近在搞APACHE日志分析，装好了awstats之后，这两天进行了观察， 报表日期 月 1 月 2010首次参观日期 2010年01月12日 11:04最近参观日期 2010年01月13日 23:5 ...
分类：
Web程序 时间：
2019-05-06 10:34:49
阅读次数：
224
Top NSD SERVICES DAY03 案例1：配置并验证Split分离解析 案例2：查看进程信息 案例3：进程调度及终止 案例4：系统日志分析 1 案例1：配置并验证Split分离解析 1.1 问题 本例要求配置一台智能DNS服务器，针对同一个FQDN，当不同的客户机来查询时能够给出不同的答 ...
分类：
系统相关 时间：
2019-04-28 12:30:55
阅读次数：
231
mysql 调优首先需要找到那些有问题的SQL语句。 怎么找到这些语句呢? mysql 提供了很方便的功能。 1.慢日志 在my.cnf 文件中，增加如下配置 log-error = /var/lib/mysql/mysql-error.log #记录没有索引使用的查询。 log-queries-n ...
分类：
数据库 时间：
2019-04-26 00:48:15
阅读次数：
205
原文链接：https://www.cnblogs.com/Jerseyblog/p/3986591.html Logparser是一款非常强大的日志分析软件，可以帮助你详细的分析网站日志。是所有数据分析和网站优化人员都应该会的一个软件。Logparser是微软的一款软件完全免费的，大家可以在微软的官 ...
分类：
其他好文 时间：
2019-04-23 12:29:30
阅读次数：
171
简介 Elasticsearch是当前比较流行的开源的分布式搜索和数据分析引擎，具备易使用、高性能、扩展性强等特点。是ElasticStack的核心组件，以其为核心构建的ELK，已经是日志分析领域的事实标准。Elasticsearch是怎么一步一步发展成熟的呢？ You Know，for Searc ...
分类：
其他好文 时间：
2019-04-22 18:03:27
阅读次数：
338
