一、搜索效率优化 批量提交 当有大量数据提交的时候，建议采用批量提交。 比如在做 ELK 过程中 ，Logstash indexer 提交数据到 Elasticsearch 中 ，batch size 就可以作为一个优化功能点。但是优化 size 大小需要根据文档大小和服务器性能而定。 像 Logs ...
分类：
其他好文 时间：
2018-06-26 20:50:46
阅读次数：
202
一、ELK介绍 分析数据，日志，统计，聚合分析，了解用户使用使用虚拟机情况。 openstack使用elk的原因：组件多日志多。排查定位问题方便，统一收集错误。创建虚拟机时会生成日志，若出错会产生日志，及时建立模型，可以分析问题。在大量虚拟机环境下，可以对日志进行聚合分析，进行业务分析。估算vm创建 ...
分类：
其他好文 时间：
2018-06-24 23:48:07
阅读次数：
431
前言最近一年使用Elasticsearch完成亿级别日志搜索平台「ELK」，亿级别的分布式跟踪系统。
分类：
其他好文 时间：
2018-06-24 21:39:19
阅读次数：
280
前言：通常体质被分散存储在不同的设备上面，在庞大的服务器集群中，我们需要集中化的管理，日志的统计和检索，一般我们使用grep和awk，wc等linux命令虽然能够实现检索和统计，但是呢，对于要求更高的查询，排序等环境会有很大的压力和瓶颈；于是我们需要对于日志进行集中化的管理，将所有机器上面的日志信息 ...
分类：
其他好文 时间：
2018-06-23 13:21:53
阅读次数：
317
nohup /usr/bin/python3 -u /usr/local/software/ELK/PutDataToKafkaAll.py >>all.log 2>&1 & 0 0 * * * root nohup /usr/bin/python3 -u /usr/local/software/E ...
分类：
其他好文 时间：
2018-06-21 22:27:50
阅读次数：
542
ELK MAC环境搭建 本文旨在记录elasticsearch、logstash、kibana在mac下的安装与启动。 先决条件 java8 mac软件管理工具brew brew相关命令 elasticsearch mac安装elasticsearch elasticsearch的相关安装位置 安装 ...
分类：
系统相关 时间：
2018-06-21 19:47:39
阅读次数：
1859
服务： DHCP SAMBA DNS Apache MySQL Nginx Zabix Squid Varnish LVS keepalived ELK MQ Zookeeper Docker Openstack Hbase Mongodb Redis ...
分类：
系统相关 时间：
2018-06-21 11:37:13
阅读次数：
175
一、logstash介绍 Logstash是一个开源的数据收集引擎，可以水平伸缩，而且logstash是整个ELK当中拥有最多插件的一个组件，其可以接收来自不同源的数据并统一输入到指定的且可以是不同目的地。 logstash收集日志基本流程: input-->codec-->filter-->cod ...
分类：
其他好文 时间：
2018-06-20 21:12:53
阅读次数：
182
参考文档：http://blog.51cto.com/ls40905250/1915280 https://blog.csdn.net/zsjwish/article/details/79792212 https://blog.csdn.net/yanggd1987/article/details/ ...
分类：
其他好文 时间：
2018-06-18 20:23:35
阅读次数：
526
本次构架图如下 说明： 1，前端服务器只启动轻量级日志收集工具filebeat（不需要JDK环境） 2，收集的日志不进过处理直接发送到redis消息队列 3，redis消息队列只是暂时存储日志数据，不需要进行持久化 4，logstash从redis消息队列读取数据并且按照一定规则进行过滤然后存储至e ...
分类：
其他好文 时间：
2018-06-18 12:40:32
阅读次数：
787
