大家在做分部署系统开发的时候是不是经常因为查找日志而头疼,因为各服务器各应用都有自己日志,但比较分散,查找起来也比较麻烦,今天就给大家推荐一整套方便的工具ELK,ELK是Elastic公司开发的一整套完整的日志分析技术栈,它们是Elasticsearch,Logstash,和Kibana,简称ELK ...
分类:
其他好文 时间:
2018-01-15 00:28:02
阅读次数:
267
Logstash我们每个人解除互联网都是从互联网搜索开始的,虽然大家常用的搜索引擎可能不同,搜索的关键词也可能不同,但是我们习惯经常在网上搜索的方式来快速学习技术并解决日常工作中所遇到的各种技术问题,如果没有互联网搜索引擎,那么恐怕我们将会有很多的人要失业了。如何在海量的网页信息中准确且快速的找到包 ...
分类:
其他好文 时间:
2018-01-14 20:21:46
阅读次数:
205
用logstash收集日志并发送到redis,然后通过logstash取redis数据写入到es集群,最近kibana显示日志总是中断,日志收集不过来,客户端重启发现报错: 根据报错推断redis满了,在客户端清空redis 重启收集端的logstash 可以重新写入数据,由此判断有进程不断写入re ...
分类:
其他好文 时间:
2018-01-11 15:24:06
阅读次数:
297
ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台 参考:http://www.tuicool.com/articles/R77fieA 我在做ELK日志平台开始之初选择为ELK+Redis直接构建,在采集nginx日志时一切正常,当我采集我司业务报文日志类后,logst ...
分类:
其他好文 时间:
2018-01-11 11:38:31
阅读次数:
236
vim/usr/local/php-fpm/etc/php-fpm.d/www.conf//加入如下内容request_slowlog_timeout=1slowlog=/usr/local/php-fpm/var/log/www-slow.log测试:/usr/local/php-fpm/sbin/php-fpm-t/etc/init.d/php-fpmreloadls../../var/log
分类:
Web程序 时间:
2018-01-10 20:14:58
阅读次数:
214
问题描述 使用VM WorkStation新建虚拟机A,查看IP信息,显示结果: 此时,我们查看一下网卡信息: 显然,查看IP信息时显示的网卡信息与实际的网卡信息时一致的,都是eth0。 接下来从虚拟机A克隆一台新的虚拟机B,查看其IP信息,显示结果: 再查看一下虚拟机B的网卡信息: 那么问题来了, ...
分类:
其他好文 时间:
2018-01-10 00:08:29
阅读次数:
170
参考https://www.jianshu.com/p/8384f6cd0f22 Logstash 优势 Logstash 主要的有点就是它的灵活性,这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源,几乎可以处理任何问题 ...
分类:
其他好文 时间:
2018-01-09 18:45:14
阅读次数:
1247
"问题:从windows通过flume传输到kafka的日志(GBK),然后再logstash消费,用json解析。有些日志解析报错:ctrl-code1(SOH文本头)。分析:在终端上用gbk编码查看会有方框的字符,可以判断该字符就是json无法识别的控制字符(SOH)。但是不知道kafka消费的时候显示成什么字符,如果知道这个(SOH)然后替换成,json可以解析的字符就可以了。解决
分类:
Web程序 时间:
2018-01-09 15:19:15
阅读次数:
213
收集流程 1nxlog => 2logstash => 3elasticsearch 1. nxlog 使用模块 im_file 收集日志文件,开启位置记录功能 2. nxlog 使用模块tcp输出日志 3. logstash 使用input-tcp ,收集日志,并格式化,输出至es windows ...
Logstash使用grok解析IIS日志 1. 安装配置 安装Logstash前请确认Elasticsearch已经安装正确,参见RedHat6.4安装Elasticsearch5.2.0。 下载链接为:logstash-5.2.0.rpm。 下载完成后,rpm -i logstash-5.2.0 ...
分类:
其他好文 时间:
2018-01-08 17:26:30
阅读次数:
200