ELK MAC环境搭建 本文旨在记录elasticsearch、logstash、kibana在mac下的安装与启动。 先决条件 java8 mac软件管理工具brew brew相关命令 elasticsearch mac安装elasticsearch elasticsearch的相关安装位置 安装 ...
分类：
系统相关 时间：
2018-06-21 19:47:39
阅读次数：
1859
一、logstash介绍 Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash是整个ELK当中拥有最多插件的一个组件，其可以接收来自不同源的数据并统一输入到指定的且可以是不同目的地。 logstash收集日志基本流程: input-->codec-->filter-->cod ...
分类：
其他好文 时间：
2018-06-20 21:12:53
阅读次数：
182
环境 mac https://github.com/theangryangel/logstash-output-jdbc logstash-plugin install logstash-output-jdbc 直接安装失败 自已编译本地包 logstash实际应用的是jruby，但mac默认的ru ...
分类：
数据库 时间：
2018-06-19 18:56:53
阅读次数：
543
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
json Nginx默认日志输出格式为文本非json格式，修改配置文件即可输出json格式便于收集以及绘图 修改nginx配置文件添加配置，增加一个json输出格式的日志格式 日志输出格式为 配置logstash文件先标准输出查看效果 启动/usr/share/logstash/bin/logsta ...
分类：
Web程序 时间：
2018-06-17 13:31:04
阅读次数：
560
1. 全文检索的通用步骤： 1、建库步骤： a 分词 b 倒排索引 : 关键词和记录Id的对应关系,1对多。 2、查询步骤： a 分词 b 查索引 c 取交集或并集 2. 产品使用全文检索的一种场景 如上图， 由数据库或者应用软件生成数据，通过logstash导入elasticSearch系统。 K ...
分类：
其他好文 时间：
2018-06-15 23:31:21
阅读次数：
292
下载filebeat的rpm包安装filebeat 安装 配置文件/etc/filebeat/filebeat.yml 写一个配置文件 默认不带type这里自定义type为document_type: system-log-5611 排除空行exclude_lines: ['^DBG','^$'] ...
分类：
其他好文 时间：
2018-06-15 00:01:45
阅读次数：
900
一、下载从官网下载：https://www.elastic.co/downloads/logstash；二、配置1、修改config下的jvm.options：1??根据需要修改最大堆和最小堆2??我这里使用的jdk1.8，gc使用G1，所以需要重新配置；-XX:+UnlockDiagnosticVMOptions-XX:+UseCompressedOops-XX:+UseG1GC-XX:MaxG
分类：
其他好文 时间：
2018-06-13 18:07:43
阅读次数：
299
一、整体架构二、filebeat介绍fielbeat是基于logstash-forwarder的源码改造而来，换句话说：filebeat就是最新版的logstash-forwarder。他负责从当前服务器获取日志然后转发给Logstash或Elasticserach进行处理。Filebeat是一个日志文件托运工具，做为一个agent安装到服务器上，filebeat会监控日志目录或者指定的日志文件，
分类：
其他好文 时间：
2018-06-13 16:30:43
阅读次数：
477
Redis Sentinel主从从高可用解决方案 一、Sentinel介绍： Sentinel是Redis的高可用性（HA）解决方案，由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进行下线状态时，自动将下线 ...
分类：
其他好文 时间：
2018-06-12 17:46:12
阅读次数：
194
