一、介绍elasticsearch集群安装成功之后,需要对集群中的索引数据、运行情况等信息进行查看,索引需要安装一些插件,方便查看。elasticsearch的插件非常多,我一般安装这三个head、bigdesk、kopf。二、需要的插件包1、elasticsearch-head-master.zip2、bigdesk-master.zip3、ko..
分类:
其他好文 时间:
2016-07-04 15:45:03
阅读次数:
167
今天给大家带来的是开源实时日志分析ELK,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co其中的3个软件是:Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格..
分类:
其他好文 时间:
2016-07-03 23:38:44
阅读次数:
364
Elasticsearch的更新文档API准许通过脚本操作来更新文档。更新操作从索引中获取文档,执行脚本,然后获得返回结果。它使用版本号来控制文档获取或者重建索引。 我们新建一个文档: 请求:PUT http://localhost:9200/test/type1/1?pretty 参数: 脚本开启 ...
下面简单介绍下elasticsearch提供的一套api的用法:、 1. 创建索引 PUT 下面创建了索引jiu3,里面配置信息重写,否则默认5个分片和一个副本,映射里写了一个type:lvh,以及两个字段。当然,大括号里这些并不是必需的。 2. 添加文档 POST 添加文档时,可以在现有type里 ...
Logstash是一个应用程序日志、事件的传输、处理、管理和搜索的平台。你可以用它来统一对应用程序日志进行收集管理,提供Web接口用于查询和统计。Logstash配置要求Logstash支持Java1.7版本以上。启动Logstash[root@Server01bin]#./logstash-e‘input{stdin{}}output{stdout{}}‘
S..
分类:
其他好文 时间:
2016-07-01 16:35:45
阅读次数:
131
ElasticSearch同步Mysql的插件选择了elasticsearch-jdbc,理由是活跃度高,持续更新,最新版本兼容elasticsearch-2.3.3.一、下载下载地址:https://github.com/jprante/elasticsearch-jdbc
下载后解压,里面有bin、lib2个目录.
二、mysql配置确保mysql能用,在mysql中新建一个test数据库m...
分类:
数据库 时间:
2016-07-01 10:23:27
阅读次数:
424
装完elk跑起来之后,我的内心几乎是崩溃的,16G内存16核cpu还经常报错。一、logstash和elasticsearch同时报错logstash出现大量报错,可能是es占用heap太多,没有优化es导致的retryingfailedactionwithresponsecode:503{:level=>:warn}toomanyattemptsatsendingevent.droppin..
分类:
其他好文 时间:
2016-06-30 14:40:01
阅读次数:
540
前段时间用ossec收集了一些系统的日志(syslog、secure、maillog等),看了下elk这个架构,发现很适合ossec,也很好玩。介绍:elk官网https://www.elastic.co/downloadselk由elasticSearch、logstash和kiabana三个开源工具组成。ossec+redis+elk架构图:ossec:事件源、alert源re..
分类:
其他好文 时间:
2016-06-29 15:58:22
阅读次数:
516
删除可以是删除整个索引库,也可以根据文档id删除索引库下的文档,还可以通过query查询条件删除所有符合条件的数据。一、删除整个索引库下面的例子会删除indexName索引:DeleteIndexResponse dResponse = client.admin().indices().prepareDelete(indexName)
.execute...
分类:
编程语言 时间:
2016-06-29 14:47:23
阅读次数:
365