一直对ElasticSearch集群的重启有疑惑，因为每个结点重启时，ElasticSearch集群的高可用和自平衡方案会自动在别的结点上复制该重启结点的分片，这定然导致了很大的IO和网络开支。重启一次集群相当于对所有的分片重新部署了一次，而且依次重启结点的时间也很长，需等待集群平衡好了，处于green的状态后才能重启下一个结点。
还好ES本身已考虑了这个问题，官方文档中对于集群重启的解...
分类：
其他好文 时间：
2015-05-14 12:09:52
阅读次数：
864
方案一：保存到日志文件中或者保存到document db(如mongodb)都是一个优秀的解决方案。保存到日志的话相对占用容量较少，不过需要自己写脚本分析日志。保存到document db的话相对占用容量较大，不过db自身提供多种查询解决方案可以很方便快速的查询自己想要的结果统计信息对于实效性要求都...
分类：
其他好文 时间：
2015-05-14 09:57:29
阅读次数：
123
确定时间范围—快速搜索—IP地址过滤、类型过滤、状态过滤—确定攻击—分析攻击确定特征文件—特征过滤—IP地址搜索、时间搜索、状态搜索—确定范围和时间—分析攻击IIS6.0日志文件默认位置：%systemroot%\system32\logfiles\w3svc1\，默认每天一个日志；date：日期 ...
分类：
其他好文 时间：
2015-05-13 21:34:06
阅读次数：
198
AWStats是一个免费、功能强大、特性丰富的日志分析工具，它能分析由WEB、STREAMING、FTP、MAIL等服务生成的日志，并生成先进的统计图表。AWStats作为CGI或从命令行运行，在数个图形网页中显示你日志中包含的所有可能信息。它利用一部分档案资料就能经常很快地处理大量日志档案..
分类：
其他好文 时间：
2015-05-13 06:28:15
阅读次数：
177
Other CentOS 7.1 Released: Installation Guide with Screenshots A Git Style Guide Recommender System with Mahout and ElasticSearch Best Practices for H...
分类：
其他好文 时间：
2015-05-10 21:59:57
阅读次数：
160
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统，它主要用于处理活跃的流式数 据。活跃的流式数据在web网站应用中非常常见，这 些数据包括网站的pv、用户访问了什么内容，搜索了什么内容等。 这些数据通常以日志的形式记录下来，然后每隔一段时间进行一次统计处理。传统的日志分析系统...
分类：
其他好文 时间：
2015-05-10 20:14:37
阅读次数：
159
今天是我连续泡在Github上的第200天，如下图所示:故事的背影是: 去年国庆完后要去印度接受毕业生培训——就是那个神奇的国度。但是在去之前已经在项目待了九个多月，项目上的挑战越来越少，在印度的时间又算是比较多。便给自己设定了一个长期的goal，即100~200天的longest streak。或许之前你看到过一篇文章让我们连击，那时已然140天，只是还是浑浑噩噩。到了今天，渐渐有了一个更清晰地思...
分类：
其他好文 时间：
2015-05-10 01:08:14
阅读次数：
207
分布式搜索本文翻译自Elasticsearch官方指南的Distributed Search Execution一章。在继续之前，我们将绕一段路来谈谈在分布式环境中，搜索是怎样运行的。和在分布式文档存储(Distributed Document Store)中讨论的基本CRUD操作相比，这个过程会更...
分类：
其他好文 时间：
2015-05-08 17:59:53
阅读次数：
186
这个月初，正式开始做大数据相关工作，关于这一块，自己也是初生毛驴，不过慢慢来吧。大数据） 大数据大数据大数据，都特么被说烂了的词语，在做这个工作之前，我对它有诸多不解，并且我相信很多没有接触的人，一定会有和我一样的底层基础问题。 例如）hadoop输入源哪儿来：hadoop也是一个被玩烂的了的词.....
分类：
其他好文 时间：
2015-05-07 20:22:51
阅读次数：
1416
GoAccess是一款开源的网站日志实时分析工具。GoAccess的工作方式很容易理解，就是读取和解析Apache/Nginx/Lighttpd的访问日志文件accesslog，然后以更友好的方式把统计信息显示出来。统计的内容包括：访问概况、动态页面请求、静态页面请求（如图片、样式表、脚本等）、访客排..
分类：
数据库 时间：
2015-05-07 17:04:55
阅读次数：
260
