使用logstash的时候，为了更细致的切割日志，会写一些正则表达式。 使用方法 input { file { type => "billin" path => "/data/logs/product/resul...
分类：
其他好文 时间：
2015-06-24 23:53:26
阅读次数：
6122
最近搞了一个logstash kafka elasticsearch kibana 整合部署的日志收集系统。部署参考lagstash + elasticsearch + kibana 3 + kafka 日志管理系统部署 02 上线过程中有一些环节，觉得还是值的大家注意的比如：1，应用运维和研发人员...
分类：
其他好文 时间：
2015-06-19 22:58:06
阅读次数：
224
LEK - logstash + elasticsearch + KibanaElasticsearch, Logstash, and Kibana — designed to take data from any source and search, analyze, and visualize ...
分类：
其他好文 时间：
2015-06-18 17:11:17
阅读次数：
209
大型日志平台搭建
Java 环境部署
网上很多教程,此处只做出测试
java -version
java version "1.7.0_45"
Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mo...
分类：
其他好文 时间：
2015-06-17 21:37:56
阅读次数：
284
安装方法http://php.net/manual/en/geoip.installation.phpgeoip中的PHP函数介绍：http://php.net/manual/en/book.geoip.php若Centos安装提示没有程序包，请执行：rpm -ivh http://ftp.jais...
分类：
系统相关 时间：
2015-06-09 15:45:42
阅读次数：
257
logstash（1.4.2）是一个不错的日志监控与分析工具，数据通过logstash使用后端的ElasticSearch（1.1.1）集群完成数据索引，以供后续的查询、分析使用。版本必须保持兼容否则报一下错误 Upgrade?...
分类：
其他好文 时间：
2015-06-09 14:14:10
阅读次数：
400
1、首先下载GeoIP的IP库。参考《利用GeoIP数据库及API进行地理定位查询》。下载后解压，得到一个GeoIP.dat文件2、新建一个文件geoip.inc。内容为 1 0, 84 "AP" => 1, 85 "EU" => 2, 86 ...
分类：
数据库 时间：
2015-06-02 19:29:23
阅读次数：
239
ELK日志分析系统环境：centos6.5准备好ELK三个安装包，官网下1、安装jdk网上有的教程叫下载oracle的jdk，其实没必要，系统自带的openjdk就行了，不过需要先看下版本，1.7是不行的，要1.8以上升级到1.8先删除1.7版本#yumremove-yjava-1.7.0-openjdk然后安装1.8版本，看到下面信..
分类：
其他好文 时间：
2015-06-02 06:57:18
阅读次数：
1305
1.初步分离业务系统在运行期间会抛出来一些运行期异常日志，监控这些日志，过滤多余其它日志，然后给予相应owner告警就成为异常监控的目标之一。logstash配置如下：input {file {type => "exception"path => "/Users/xxxxx/Documents/xx...
分类：
其他好文 时间：
2015-05-29 22:55:28
阅读次数：
226
1.http请求参数分离请求url一般携带了一些业务参数，因为业务将token拼接到url的参数中，单独将其解析出来，可以用于用户行为分析，因此，基于logstash的kv进行处理。kv{ source=>"request" field_split=>"?"}2.垃圾日志清理静态页面里面...
分类：
其他好文 时间：
2015-05-29 21:42:20
阅读次数：
205
