待处理日志格式如下：[totalCount: 298006556, count: 287347623, queryCount: 259027994, exeCount: 28319629, total...
分类：
其他好文 时间：
2016-11-18 00:25:12
阅读次数：
160
初探ELK-使用geoip插件来制作可视化的地图2016/11/17一、前提
1、本次操作是在前述文章的基础上添砖加瓦。
2、思路
1）通过logstash将clientip识别成geoip.location等数据
2）然后更新ES的模版，标记geoip.location这个properties的type为geo_point
3）最后在kibana上选择"Visu..
分类：
其他好文 时间：
2016-11-17 21:19:50
阅读次数：
1208
在实际的项目中需要对线上日志做实时分析跟统计，这一套方案可以用现有的ELK(ElasticSearch, Logstash, Kibana)方案既可以满足，关于这个方案的具体的步骤可以参考网上的解决方案。但如果只想统计某个错误码(http状态码，业务错误码)在指定时间内出现多少次然后就触发一个告警或 ...
分类：
其他好文 时间：
2016-11-17 07:46:34
阅读次数：
432
排查logstash2.4升级到5.0版本后kafka不兼容问题参考文档：/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/CHANGELOG.md
/usr/share/logstash/vendor/bundle/jruby/1.9/gems/logstash-input-kafka-5.0.5/DEVELOPER.md
/usr/share/logstash/vend..
分类：
其他好文 时间：
2016-11-17 02:23:18
阅读次数：
384
一、使用背景 当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时 二、环境 系统：centos 6.5 JDK：1.8 Elasticsearch-5.0.0 Logstash-5.0.0 kibana-5.0.0 三、安装 1、安装JDK 下载JDK：http://www.oracle. ...
分类：
其他好文 时间：
2016-11-13 19:03:07
阅读次数：
228
ELK是日志收益与分析的利器。 1、elasticsearch集群搭建 略 2、logstash日志收集 我这里的实现分如下2步，中间用redis队列做缓冲，可以有效的避免es压力过大： 1、n个agent对n个服务的log做日志收集(1对1的方式)，从日志文件解析数据，存入broker，这里用的是 ...
分类：
其他好文 时间：
2016-11-11 14:08:34
阅读次数：
213
Wireshark使用技巧-GeoIP显示IP地理位置 在使用Wireshark时，有的时候需要知道抓取的报文中某个IP地址的具体地理位置，笨一点的方法是将IP地址复制，然后通过一些软件或网站来进行查询。其实，Wireshark本身就带有这样的功能，只要到特定的网站下载一个IP地址库，然后进行简单的 ...
分类：
其他好文 时间：
2016-11-11 11:53:48
阅读次数：
172
官方的安装指令是:bin/plugininstalllogstash-output-webhdfs但是往往安装不成功，一般就是如下情况，然后卡着不动了:Validatinglogstash-output-webhdfs。。。原因是防火墙挡掉了logstash的默认gemsourcecatGemfile|grepsource
#source"https://rubygems.org"修改gemsource为..
分类：
其他好文 时间：
2016-11-10 21:49:17
阅读次数：
412
elk开源分布式日志分析平台一.简介1.核心组成2.三大组件3.elk的工作流程4.elk的帮助手册二.Logstash和elasticsearch(elasticsearch和logstash依赖java环境)1.java2.nginx的安装3.redis的安装4.安装elasticsearch5.安装logstash6.安装kibana三.检验elk的日志结果一.简介1.核心组..
分类：
其他好文 时间：
2016-11-07 08:27:40
阅读次数：
252
因为发的时候，有些敏感信息没去除，所以大家发文的时候，切记要过滤。不然抓取的很厉害。这个脚本的作用是同步远程机器的少量log到一台机器上，然后通过logstash过滤显示犯了好几个错误local写错locals，locals是python特有定义变量的，不能重名sftp老报错，IOError:[Errno2]N..
分类：
编程语言 时间：
2016-10-29 02:38:19
阅读次数：
448
