apache_log------>logstash----->redis---->logstash----->es日志写到redis中redis安装配置略input{path=>"/var/log/access_log"type=>"acccess_log"start_postition=>"beginning"}output{redis{host=>
分类:
其他好文 时间:
2019-04-27 14:39:14
阅读次数:
148
语法格式logstash中行为事件,流程:事件---input---codec---filter---codec----outputinput{#注释stdin{}}#可以不用写filter{}output{elasticsearch{hosts=>["ip:9200"]index="test-%{+YYYY.DD.mm}"}stdout{codec=>"rubydebug"}}rsy
分类:
其他好文 时间:
2019-04-27 11:32:38
阅读次数:
141
环境:Centos7, jdk1.8 安装logstash 1.下载logstash 地址:https://artifacts.elastic.co/downloads/logstash/logstash-7.0.0.tar.gz 2.解压logstash压缩包 tar zxvf logstash- ...
分类:
其他好文 时间:
2019-04-26 16:16:54
阅读次数:
175
使用golang生成csv文件,可直接使用excel打开查看 golang生成的文件编码格式默认为utf-8格式,无BOM头,在windows上双击csv文件打开后中文会乱码 在新创建的文件的第一行写入这三个字符,可以解决中文乱码问题。 f.Write([]byte{0xEF, 0xBB, 0xBF ...
分类:
其他好文 时间:
2019-04-26 13:32:21
阅读次数:
1273
自动重新加载配置 为了可以自动检测配置文件的变动和自动重新加载配置文件,需要在启动的时候使用以下命令: ./bin/lagstash -f configfile.conf --config.reload.automatic1默认,检测配置文件的间隔时间是3秒,可以通过以下命令改变 --config. ...
分类:
其他好文 时间:
2019-04-25 14:44:25
阅读次数:
382
1、pom.xml配置文件 2、log4j2.xml配置信息 3、logstash配置信息--test4.conf 4、启动logstash$ ./logstash -f ../config/test4.conf & ...
分类:
其他好文 时间:
2019-04-23 17:20:53
阅读次数:
232
使用编码的过滤器解决中文乱码问题 在web.xml中配置 3.没配置过滤器之前的运行效果 后端打印的密码为乱码 4.设置过滤器后的运行效果 ...
分类:
其他好文 时间:
2019-04-17 18:16:53
阅读次数:
117
1.elasticsearch的结构 首先elasticsearch目前的结构为 /index/type/id id对应的就是存储的文档ID,elasticsearch一般将数据以JSON格式存储。我们可以将elasticsearch和关系型数据库进行比较,index相当于关系型数据库中的datab ...
分类:
其他好文 时间:
2019-04-16 01:21:34
阅读次数:
172
前言 logstash是ELK日志系统中的一部分,主要承担将收集完成日志进行过滤,并且输出到es的职责。 logstash本身也可以作为客户端部署到应用系统的服务器上进行日志收集,但是由于资源开销占用过大,所以客户端的收集工作交给了beats进行,logstash专心在独立的服务器上完成日志解析处理 ...
分类:
其他好文 时间:
2019-04-12 14:57:49
阅读次数:
185
Spring Boot整合Elasticsearch Spring Boot整合Elasticsearch Elasticsearch是一个全文搜索引擎,专门用于处理大型数据集。根据描述,自然而然使用它来存储和搜索应用程序日志。与Logstash和Kibana一起,它是强大的解决方案Elastic ...
分类:
编程语言 时间:
2019-04-11 16:35:32
阅读次数:
1961