LogStash.conf input { file { type => "iis_log" path => ["C:/inetpub/logs/LogFiles/W3SVC2/u_ex*.log"] } } filter { #ignore log comments if [message] =~... ...
分类：
其他好文 时间：
2017-01-04 18:51:42
阅读次数：
406
elk升级部署到elasticsearch5.0后，安装elasticsearch-head插件遇到一个小问题:版本5.0以后，则不再elasticsearch/bin/plugin-installmobz/elasticsearch-head这种形式安装head插件，而是通过npm管理配置，步骤复杂了点。head官网：https://github.com/mobz/elasticsearch-head..
分类：
其他好文 时间：
2017-01-04 17:15:51
阅读次数：
254
整理一下今年做的事情： 工作： 1. IM通讯平台 完全基于Erlang重新设计、从头开始编写。主要功能，多终端消息、已读未读、历史记录完全同步，富文本，好友关系，群组、讨论组，二人、多人音视频。实现灵活自动化部署、日志收集分析、监控报警，全用例覆盖自动化测试脚本。 投入了120%的精力。SDK部分 ...
分类：
其他好文 时间：
2017-01-01 07:49:02
阅读次数：
229
III26ELKELK（elasticsearch、logstash、kibana）ElasticStack是原ELKStack在5.0版本加入Beats套件后的新称呼解决痛点：开发人员不能登录线上server查看详细日志；各个系统都有日志，日志数据分散难以查找；日志数据量大，查询速度慢，或数据不够实时；一个调用会涉及多个系统..
分类：
其他好文 时间：
2016-12-30 22:26:49
阅读次数：
578
ELK是对Elasticsearch、Logstash、Kibana整合平台的简称。在日常的运维工作中，要实时监控服务器的业务、系统和硬件状态，除了使用监控之外，还需要搜集大量的日志来进行分析。但是在面对海量的服务器和集群时，通过单台登录查询的方式显然是不可能的，对于不同时间段和集群日..
分类：
其他好文 时间：
2016-12-30 14:30:55
阅读次数：
379
系统centos6.71，安装jdk-1.8.0yuminstalljava-1.8.0-openjdk2，下载elasticsearch-2.4.3.tar.gz并安装tarzxvfelasticsearch-2.4.3.tar.gz-C/opt
vi/opt/elasticsearch-2.4.3/conf/elasticsearch.yml添加配置http.cors.enabled:true
http.cors.allow-origin:"*"3，启动报错penJ..
分类：
其他好文 时间：
2016-12-29 20:30:50
阅读次数：
7458
公司项目需要，要将mysql数据库中的数据快速检索并分词。 开始使用的是sphinx，这个搜索引擎安装，配置，使用，都比较简单，无需安装其他插件，相对来说功能比较单一。 对于新增记录，我的处理方法是添加增量索引，定期合并到主索引，这导致索引体积越来越大。由于sphinx在运行时是将这些索引放在内存里 ...
分类：
其他好文 时间：
2016-12-29 14:26:23
阅读次数：
396
我们用ELK做日志分析系统，Elasticsearch1.7.3运行了近一年，最近已经将一个集群升级到ES5.1.1，但是遇到问题比较多。所以将另一个集群升级到社区推荐比较稳定的2.4.2。为了便于升级管理，操作都是用ansible来统一执行。一：停止monit守护进程#集群的所有logstash、es进程都是..
分类：
其他好文 时间：
2016-12-26 19:22:50
阅读次数：
342
前言：首先awk是一门语言，其次跟其他语言相比，awk的优势是在文本处理、数值计算等方面，在我们日常的运维工作中，awk还有1个很重要的场景是配合sed、grep的使用，正是因为这些，awk是运维工程师最常用的工具之一，下面记录一下，awk在日志收集、统计场景的一些最常用的姿势。..
分类：
其他好文 时间：
2016-12-26 14:29:06
阅读次数：
997
ELK是一个日志分析和统计框架，是Elasticsearch、Logstash和Kibana三个核心开源组件的首字母缩写，实践中还需要filebeat、redis配合完成日志的搜集。 组件一览 名称 版本 说明 Elasticsearch 2.3 分布式搜索引擎，存储和搜索日志 Logstash 2 ...
分类：
其他好文 时间：
2016-12-23 18:36:09
阅读次数：
164
