一.背景介绍 1.问题引入:搜索所有天安门相关的内容,大数据量的判断,加索引orm,歌词怎么做?等等问题,大公司上亿条数据怎样开发处理日志? 2.ELK框架,目前先学习E(elasticsearch) 3.Apache是http服务器,美国人发明的,Apache火起来之后,产生了雅加达系列项目,其中 ...
分类：
其他好文 时间：
2019-05-20 22:37:47
阅读次数：
167
本篇和大家分享的是自定义log4j的appender，用es来记录日志并且通过kibana浏览es记录；就目前互联网或者一些中大型公司通常会用到第三方组合elk，其主要用写数据到es中，然后通过可视化工具kibana来做直观数据查看和统计；本篇内容节点如下： docker快速搭建es，es head ...
分类：
移动开发 时间：
2019-05-18 18:50:54
阅读次数：
172
参考原文： https://blog.51cto.com/zero01/2079879 ELK介绍 需求背景： 业务发展越来越庞大，服务器越来越多 各种访问日志、应用日志、错误日志量越来越多，导致运维人员无法很好的去管理日志 开发人员排查问题，需要到服务器上查日志，不方便 运营人员需要一些数据，需要 ...
分类：
其他好文 时间：
2019-05-16 09:26:45
阅读次数：
2355
（1） 安装Logstash依赖包JDK Logstash的运行依赖于Java运行环境， Logstash 1.5以上版本不低于java 7推荐使用最新版本的Java。由于我们只是运行Java程序，而不是开发，下载JRE即可。 下载linux-64的版本。如果使用Linux下载执行如下命令下载即可。 ...
分类：
其他好文 时间：
2019-05-14 14:41:01
阅读次数：
128
Elasticsearch 是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 是一个完全开源的工具，他可以对你的日志进行收集、分析，并将其存储供以后使用（如，搜索） kibana 也是一个开 ...
分类：
其他好文 时间：
2019-05-14 11:08:58
阅读次数：
187
前言 最近公司分了个ELK相关的任务给我，在一边学习一边工作之余，总结下这些天来的学习历程和踩坑记录。 首先介绍下使用ELK的项目背景：在项目的数据库里有个表用来存储消息队列的消费日志，这些日志用于开发者日后的维护。每当客户端生产一条消息并发送到消息队列后，就会插入一条对应的记录到数据库里。当这条消 ...
分类：
其他好文 时间：
2019-05-12 17:04:48
阅读次数：
1517
为什么使用ELK日志分析：一般我们需要进行日志分析场景：直接在日志文件中grep、awk就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。准备两台测试服务器：Centos7（1），Cento
分类：
其他好文 时间：
2019-05-12 01:01:41
阅读次数：
153
几个命令就可以完成 docker run -it --rm -d -p 9200:9200 -p 5601:5601 --name esk nshou/elasticsearch-kibana 接下来安装logstash. 先在用户目录下建立目录settings,并在该目录下建立logstash.y ...
分类：
其他好文 时间：
2019-05-11 14:55:40
阅读次数：
150
一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。 最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很 ...
分类：
其他好文 时间：
2019-05-10 16:23:53
阅读次数：
242
