最近我们需要对大约2T（6.5亿条）日志做全文检索，Elasticsearch看起来很火爆，又有很多产品使用（Facebook、github、stackoverflow），值得一试。以下是一些基础知识笔记。 Elasticsearch是一个基于Lucene构建的开源、分布式、RESTful的搜索引擎 ...
分类：
其他好文 时间：
2016-07-07 22:17:21
阅读次数：
230
Logstash管道可以配置一个或多个输入插件、过滤器插件和输出插件。其中，输入插件和输出插件是必选的，过滤器插件是可选的。下图是Logstash常见的使用场景。上一节的例子中我们使用标准的输入和输出插件做了简单的示例。接下来我们演示一些复杂的场景。如下图所示是Logstash的..
分类：
其他好文 时间：
2016-07-07 17:35:49
阅读次数：
167
多字段搜索(Multifield Search) 本文翻译自官方指南的Multifield Search一章。 查询很少是只拥有一个match查询子句的查询。我们经常需要对一个或者多个字段使用相同或者不同的查询字符串进行搜索，这意味着我们需要将多个查询子句和它们得到的相关度分值以一种有意义的方式进行 ...
分类：
其他好文 时间：
2016-07-07 12:31:29
阅读次数：
165
需要学习和掌握的知识 1. 后端 1.1 服务器 1.1.1 linux命令 1.1.2 nginx 1.1.3 jetty 1.1.4 docker 1.1.5 ElasticSearch 1.2 大数据框架 1.2.1 hadoop 1.2.2 Yarn 1.2.3 flume 1.2.4 St... ...
分类：
其他好文 时间：
2016-07-06 21:43:57
阅读次数：
141
Loggly日志管理服务在其很多核心功能里使用ElasticSearch作为搜索引擎。本文讲解了ElasticSearch的九个优化技巧。 ...
分类：
其他好文 时间：
2016-07-06 20:04:27
阅读次数：
1775
前言：通常情况下，我们将Kafka的日志数据通过logstash订阅输出到ES，然后用Kibana来做可视化分析，这就是我们通常用的ELK日志分析模式。但是基于ELK的日志分析，通常比较常用的是实时分析，日志存个十天半个月都会删掉。那么在一些情况下，我需要将日志数据也存一份到我HDFS，..
分类：
其他好文 时间：
2016-07-06 18:47:15
阅读次数：
850
https://github.com/elastic/beats-dashboards一、介绍filebeat貌似功能笔logstash更好，是下一代的日志收集器。topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。packetbeat可以分析某个时间段mysql或者mongodb的慢查询..
分类：
其他好文 时间：
2016-07-06 18:37:49
阅读次数：
288
引用<<Elasticsearchthedefinitiveguide>>原文中的一段话：Elasticsearch是一个基于ApacheLucene(TM)的开源搜索引擎。无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要使用它，你必须..
分类：
其他好文 时间：
2016-07-06 18:35:42
阅读次数：
330
环境： win7 64位 jdk1.8.0 elasticsearch2.3.3 在官网下载elasticsearch2.3.3：https://www.elastic.co/thank-you?url=https://download.elastic.co/elasticsearch/releas ...
分类：
其他好文 时间：
2016-07-06 11:50:22
阅读次数：
150
1.NRT（近实时搜索） Elasticsearch是一个NRT平台。这意味着当你索引一个文件时，在细微的延迟（通常1s）之后，该文件才能被搜索到。 2.Cluster（集群） cluster是在所有节点中保存全部数据且提供联合索引和搜索功能的一个或多个节点（服务器）的集合。每个cluster有唯一 ...
分类：
其他好文 时间：
2016-07-05 18:42:08
阅读次数：
163
