一.准备工作 准备3台机器，这样才能完成分布式集群的实验，当然能有更多机器更好： 192.168.3.64（e1） 192.168.3.62 (e2) 192.168.3.63（e3） 角色划分： 3台机器全部安装jdk1.8，因为elasticsearch是java开发的 3台全部安装elasti ...
分类：
系统相关 时间：
2018-09-25 11:31:40
阅读次数：
298
（一）简述： filebeat：具有日志收集功能，是下一代的Logstash收集器，但是filebeat更轻量，占用资源更少，适合客户端使用。 redis：Redis服务器通常都是用作NoSQL数据库，不过logstash只是用来做消息队列。 logstash：主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上
分类：
其他好文 时间：
2018-09-20 20:20:14
阅读次数：
343
简述：对于 Elasticsearch的分词插件的实现方式不唯一，比如，ES+ansj,ES+ik等，我这里使用的是ik，所以后面只对ik进行分词操作的演示。 当然这里要说明下，搜索引擎用于搜索，分词才是用于语句分割和依据词典进行识别的这里不要弄混，前几天在一个lucene+ansj的群里 出现过这... ...
分类：
其他好文 时间：
2018-09-20 15:56:02
阅读次数：
253
利用 Filebeat去读取日志发送到 Logstash ,再由 Logstash 处理后发送给 Elasticsearch 。 一、Filebeat 1. 项目日志文件： 利用 Filebeat 去读取文件，paths 下面配置路径地址，Filebeat 会自动去读取 /data/share/bu ...
分类：
其他好文 时间：
2018-09-20 13:47:39
阅读次数：
208
一、基本概念 简单概述 最近在了解ELK做日志采集相关的内容，这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种，如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢？因为logstash是jvm跑的，资源消耗比较大， ...
分类：
其他好文 时间：
2018-09-20 11:06:23
阅读次数：
1791
一、ELK介绍1、需求背景：随着业务发展越来越大，服务器会越来越多，那么，各种日志量（比如，访问日志、应用日志、错误日志等）会越来越多。因此，开发人员排查问题，需要到服务器上查看日志，很不方便。而运维人员也需要一些数据，所以也要到服务器分析日志，很麻烦。2、ELKStack官网：https://www.elastic.co/cn/ELKStach从5.0版版本开始，改为ElasticStack（E
分类：
其他好文 时间：
2018-09-20 01:04:57
阅读次数：
249
由于我们的项目是分布式，服务分布于多个服务器上，每次查看日志都要登录不同服务器查看，而且查看起来还比较麻烦，老大让搭一个集中化日志管理的东西，然后就在网上找到了这个东西ELK ELK就是elastic公司下的三款产品，elasticsearch，logstash，kibana 官网：https://... ...
分类：
其他好文 时间：
2018-09-19 23:34:02
阅读次数：
601
elk and redis installation and configuration ATTENSION + attention the version of all software(use the latest) node1 installed logstash, httpd + syste ...
分类：
其他好文 时间：
2018-09-18 00:21:56
阅读次数：
158
curl -XGET '192.168.1.102:9200/_cat/indices?v&pretty' curl -XDELETE 'http://192.168.1.102:9200/log*' curl -XGET "http://192.168.1.102:9200/logstash-20 ...
分类：
其他好文 时间：
2018-09-17 11:44:30
阅读次数：
261
#ELK日志收集#ELK原理与介绍为什么用到ELK：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。一般大型系统是一个分布式部
分类：
其他好文 时间：
2018-09-17 00:08:31
阅读次数：
749
