ElasticSearch集成了传统数据库的精确查找与现代化搜索引擎的查找需求，所以从一定程度可以实现对资源的一种全文搜索与精确搜索的结合，该方案可以应用在常见的站内搜索，资源匹配，甚至构建自己的搜索引擎，本身它的底层就依赖于lucene进行倒排索引。另外在部署方面solr有非常强的优势，它附带的一些插件让大家很好的监控集群的状态以及一些运行情况，从而实现了屌丝管理到高大上管理的变迁。...
分类：
其他好文 时间：
2015-04-29 11:44:33
阅读次数：
134
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html网站日志分析项目案例（三）统计分析：...
分类：
Web程序 时间：
2015-04-29 07:05:09
阅读次数：
195
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中，ElasticSearch 是一个数据搜索引擎（基于 Apache Lucene）+分布式 NoSQL 数据库；LogStash 是一个消息采集转换器，类似 Syslog，可以接收包括日志消息在内的多种数据格式，然后进行格式转换，发送给后端继续处理；Kibana 是一个 Web 前段，带有强大...
分类：
其他好文 时间：
2015-04-28 11:51:18
阅读次数：
511
概述我们日常应用中都离不开日志。可以说日志是我们在排查问题的一个重要依据。但是日志并不是写了就好了，当你想查看日志的时候，你会发现线上日志堆积的长度已经超越了你一行行浏览的耐性的极限了。于是，很有必要通过一些手段来高效地辅助你来快速的从日志中找到你要找的问..
分类：
其他好文 时间：
2015-04-28 00:10:49
阅读次数：
269
网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html网站日志分析项目案例（二）数据清洗：http://www.cnblogs.com/edisonchou/p/4458219.html一、数据情况分析1.1 数据情况回顾...
分类：
Web程序 时间：
2015-04-26 21:11:50
阅读次数：
202
搜索引擎是个好东西，GIS也是个好东西。当前还有Django和Ionic。最后效果图 构架设计对我们的需求进行简要的思考后，设计出了下面的一些简单的架构。GIS架构说明 —— 服务端简单说明:
用户在前台或者后台创建数据。
在model保存数据的时候，会调用Google的API解析GPS
在haystack的配置中设置实时更新，当数据创建的时候自动更新索引
数据被ElasticSearch索引
下面...
分类：
移动开发 时间：
2015-04-26 19:48:33
阅读次数：
259
摘自《大型分布式网站架构设计与实践》 4.1在线日志分析1.基础命令操作命令说明查看文件的内容cat-naccess.log-n显示行号分页显示文件moreaccess.logEnter下一行，空格下一页，F下一屏，B上一屏分页显示文件lessaccess.log输入/字符串可查找并高亮显示文件尾t...
分类：
其他好文 时间：
2015-04-25 15:04:06
阅读次数：
156
一、项目背景与数据情况1.1 项目来源 本次要实践的数据日志来源于国内某知名的技术学习论坛，该论坛由某培训学校主办，汇聚了众多技术学习者，每天都有人发帖、回帖，如图1所示。图1 项目来源网站-技术学习论坛 本次实践的目的就在于通过对该技术论坛的apache common日志进行分析，计算该论坛的.....
分类：
Web程序 时间：
2015-04-23 01:59:45
阅读次数：
216
一个search请求只能返回结果的一个单页（10条记录），而scroll API能够用来从一个单一的search请求中检索大量的结果（甚至全部）
，这种行为就像你在一个传统数据库内使用一个游标一样。
scrolling目的不是为了实用用户请求，而是为了处理大量数据。比如为了将一个索引的内容重新插入到一个具有不同配置的新索引中。
scroll请求返回的结果反映了初始search请求建立时索...
分类：
其他好文 时间：
2015-04-22 22:14:43
阅读次数：
142
好久没有更新博客了，写了很早的一个脚本存下档，一个用于分析用户登录日志 /etc/auth.log的脚本，可以分析
成功、失败次数，以及来自的IP地址和登录失败的用户名，可以用于监控是否有暴力攻击，多了就可以用于收集字典，用来避免密码过于简单的问题
#/usr/bin/env python3.4
#Anyalize the /etc/auth.log files to get
# ...
分类：
编程语言 时间：
2015-04-22 20:39:09
阅读次数：
200
