pt-query-digest是percona-toolkit的一个组件percona-toolkit的下载地址http://www.percona.com/redir/downloads/percona-toolkit/LATEST/percona-toolkit-2.1.5-1.noarch.rpm我一般用它来分析mysql日志下面是使用它来分析日志的具体操作方法mysql版本:Serverversion:5.6.14-l..
分类:
其他好文 时间:
2015-04-03 15:40:46
阅读次数:
222
分布式搜索引擎Elasticsearch 介绍 Elasticsearch是一个基于Lucene的开源分布式搜索引擎,具有分布式多用户能力。Elasticsearch是用java开发,提供Restful接口,能够达到实时搜索、高性能计算;同时Elasticsearch...
分类:
其他好文 时间:
2015-04-01 22:09:31
阅读次数:
352
有一个域 inp_type本来为Interger类型,但有的存储了string类型;执行这个域的聚合时, "aggs":{ "level2":{ "terms":{ "field":"inp_type" } ...
分类:
其他好文 时间:
2015-03-31 19:25:17
阅读次数:
2096
elasticsearch是一款企业级的全文搜素引擎,基于java的Lucene库开发,完全采用RESTful接口面向用户,对分布式搜索支持非常好!
分类:
其他好文 时间:
2015-03-30 16:19:09
阅读次数:
448
0.上传日志文件到linux中,通过flume将文件收集到hdfs中。
执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,console
1.建立hive表
create external table bb...
分类:
Web程序 时间:
2015-03-28 08:51:36
阅读次数:
156
原文链接:http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有:根据关键字查询日志详情监控系统的运行状况统计分...
分类:
其他好文 时间:
2015-03-21 11:01:45
阅读次数:
227
本文介绍了一种简单易行的使用rsyslog向kafka,elasticsearch推送日志的方法;rsyslog的omkafka插件的安装、使用方法;rsyslog的omelasticsearch插件的安装、使用方法。...
分类:
其他好文 时间:
2015-03-20 18:41:44
阅读次数:
374
elk 日志分析系统Logstash+ElasticSearch+Kibana3
* logstash 管理日志和事件的工具
* ElasticSearch 搜索
* Kibana3 功能强大的数据显示客户端
* redis 缓存安装
logstash-1.4.2-1_2c0f5a1.noarch.rpm
elasticsearch-1.4.4.noarch.rpm
- logstash-...
分类:
其他好文 时间:
2015-03-20 12:59:41
阅读次数:
832
本文翻译自Elasticsearch官方指南的Sorting and Relevance一章的第一节。原文地址:http://www.elastic.co/guide/en/elasticsearch/guide/current/_sorting.html排序ES默认是通过相关度来对结果进行排序的,...
分类:
编程语言 时间:
2015-03-19 18:14:09
阅读次数:
254
什么是“脑裂”现象?由于某些节点的失效,部分节点的网络连接会断开,并形成一个与原集群一样名字的集群,这种情况称为集群脑裂(split-brain)现象。这个问题非常危险,因为两个新形成的集群会同时索引和修改集群的数据。如何避免脑裂问题?避免脑裂现象,用到的一个参数是:discovery.zen.mi...
分类:
其他好文 时间:
2015-03-19 18:13:33
阅读次数:
126