今天是我连续泡在Github上的第200天，如下图所示:故事的背影是: 去年国庆完后要去印度接受毕业生培训——就是那个神奇的国度。但是在去之前已经在项目待了九个多月，项目上的挑战越来越少，在印度的时间又算是比较多。便给自己设定了一个长期的goal，即100~200天的longest streak。或许之前你看到过一篇文章让我们连击，那时已然140天，只是还是浑浑噩噩。到了今天，渐渐有了一个更清晰地思...
分类：
其他好文 时间：
2015-05-10 01:08:14
阅读次数：
207
分布式搜索本文翻译自Elasticsearch官方指南的Distributed Search Execution一章。在继续之前，我们将绕一段路来谈谈在分布式环境中，搜索是怎样运行的。和在分布式文档存储(Distributed Document Store)中讨论的基本CRUD操作相比，这个过程会更...
分类：
其他好文 时间：
2015-05-08 17:59:53
阅读次数：
186
这个月初，正式开始做大数据相关工作，关于这一块，自己也是初生毛驴，不过慢慢来吧。大数据） 大数据大数据大数据，都特么被说烂了的词语，在做这个工作之前，我对它有诸多不解，并且我相信很多没有接触的人，一定会有和我一样的底层基础问题。 例如）hadoop输入源哪儿来：hadoop也是一个被玩烂的了的词.....
分类：
其他好文 时间：
2015-05-07 20:22:51
阅读次数：
1416
标题是不是可以翻译成这样：logstashFiltersnginxaccesslog好了，进入正题，日志管理服务器我用ElasticSearch+LogStash+Kibana+Redis先说下我的架构：远程NGINX采集日志数据到REDIS+logstash+elasticsearch+kibana服务器至于怎么部署，因本人之前用baidu博客写在那上面了，以后..
分类：
其他好文 时间：
2015-05-07 01:08:56
阅读次数：
187
参照http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/此作者搭建环境过程。借一张图：搭建版本为：Elasticsearch：1.5.2Logstash：1.4.2Kibana：4.0.2Shipper节点配置如下：inpu...
分类：
其他好文 时间：
2015-05-05 01:19:18
阅读次数：
133
1.ElasticSearch使用需要先进入安装目录中的bin目录运行elasticsearch.bat。想确认程序是否运行，则运行lsof -i:9200lsof -i:9300一个是节点对外服务端口，一个是节点间交互端口（如果有集群的话）。2.建立集群配置文件路径是：.....（你的实际路径)/...
分类：
其他好文 时间：
2015-04-30 19:41:24
阅读次数：
197
介绍ElasticSearch是一个开源的分布式搜索引擎，具备高可靠性，支持非常多的企业级搜索用例。像Solr4一样，是基于Lucene构建的。支持时间时间索引和全文检索。官网：http://www.elasticsearch.org它对外提供一系列基于java和http的api，用于索引、检索、修...
分类：
其他好文 时间：
2015-04-30 17:50:09
阅读次数：
154
说到慢查询，有点老生常谈了，但是慢查询相关的有个参数可能会被很多人忽略。
log_queries_not_using_indexes
这个参数设置当查询没有使用索引的情况下，是否记录到slowlog中。
如果你使用的mysql版本大于5.6.5，也可以通过设置
log_throttle_queries_not_using_indexes
这个参数表示每分钟允许记录到slowlog且未使用索引的次数。默认值为0，标识没有限制。...
分类：
其他好文 时间：
2015-04-29 19:57:38
阅读次数：
273
ElasticSearch集成了传统数据库的精确查找与现代化搜索引擎的查找需求，所以从一定程度可以实现对资源的一种全文搜索与精确搜索的结合，该方案可以应用在常见的站内搜索，资源匹配，甚至构建自己的搜索引擎，本身它的底层就依赖于lucene进行倒排索引。另外在部署方面solr有非常强的优势，它附带的一些插件让大家很好的监控集群的状态以及一些运行情况，从而实现了屌丝管理到高大上管理的变迁。...
分类：
其他好文 时间：
2015-04-29 11:44:33
阅读次数：
134
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大...
分类：
其他好文 时间：
2015-04-28 11:51:18
阅读次数：
511
