配置如上图，遇到一个坑，卡了我两天，我去。。。。 刚开始我的placeholder_db_dir是配置成了/usr/local/etc/logstash-5.6.0，也就是logstash的根目录，谁成想配置成这样居然不好使，各种百度各种谷歌，明明跟人家的配置都是一样的，我的就是同步不就去es。差点 ...
分类：
数据库 时间：
2019-07-14 13:22:07
阅读次数：
554
Nginx日志格式log_formatmain‘$remote_addr-$remote_user[$time_local]"$request"‘‘$status$body_bytes_sent"$http_referer"‘‘"$http_user_agent""$http_x_forwarded_for"‘‘"$http_host""$request_time""$upstream_respo
分类：
其他好文 时间：
2019-07-12 00:52:57
阅读次数：
351
译者前言近期的主要工作是在为公司的APP增加搜索功能。因为也遇到了需要把关系型数据库中的数据同步ElasticSearch中的问题，故抽了点时间翻译了这篇官方的博文。最近，在数据同步方面也有些思考。本篇文章的重点不在Logstash的JDBC插件的使用方法，而是数据同步会遇到的一些细节问题如何处理。我觉得，这些设计思想是通用的，无论你使用的何种方式进行数据同步。翻译正文为了利用ElasticSea
分类：
数据库 时间：
2019-07-12 00:45:13
阅读次数：
117
对于日志来说，最常见的需求就是收集、存储、查询、展示，开源社区正好有相对应的开源项目：logstash（收集）、elasticsearch（存储+搜索）、kibana（展示），我们将这三个组合起来的技术称之为ELKStack，所以说ELKStack指的是Elasticsearch(java)、Log ...
分类：
其他好文 时间：
2019-07-11 12:20:02
阅读次数：
94
到目前为止，logstash 没有给出官方的，在 windows 系统中作为后台服务运行的方式。本文将介绍如何使用第三方工具 nssm 让 logstash 作为后台服务运行在 windows 中。说明：演示的环境为 windows server 2016，logstash 的版本为 6.2.4。 ...
MySQL数据库调优 定位慢查询得到生产环境那些sql语句响应慢，根据执行计划进行分析调优事物管理索引结构（B+树）平衡二叉树、B树、B+树分库分表后，如何解决查询 使用第三方数据库中间件（MyCat、Sharding-JDBC) 什么使用RedisSpring IOC原理 Logstash与MQ实 ...
分类：
编程语言 时间：
2019-07-08 10:50:58
阅读次数：
136
一、Elasticsearch单机安装 1.将es安装包传到服务器上 这是安装包 这里我是用的是WinSCP上传工具，上传到/home/plugins文件下。 进入Xshell，验证一下是否上传成功。 2.创建es目录 mkdir -p /usr/local/es（es1，es2，es3暂时不要安装 ...
分类：
其他好文 时间：
2019-07-07 16:06:40
阅读次数：
123
logstash异常 1 2 3 Unrecognized VM option 'UseParNewGC' Error: Could not create the Java Virtual Machine. Error: A fatal exception has occurred. Program ...
分类：
其他好文 时间：
2019-07-06 17:46:30
阅读次数：
110
架构图 考虑到日志系统的可扩展性以及目前的资源（部分功能复用），整个ELK架构如下： 架构解读 : （整个架构从左到右，总共分为5层） 第一层、数据采集层 最左边的是业务服务器集群，上面安装了filebeat做日志采集，同时把采集的日志分别发送给两个logstash服务（2.187、2.189） 第 ...
分类：
其他好文 时间：
2019-07-04 17:38:00
阅读次数：
181
关于supervisord： supervisor是用Python开发的一个client/server服务，是Linux/Unix系统下的一个进程管理工具，不支持Windows系统。它可以很方便的监听、启动、停止、重启一个或多个进程。用Supervisor管理的进程，当一个进程意外被杀死，super ...
分类：
其他好文 时间：
2019-07-04 17:34:25
阅读次数：
107
