参照http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/此作者搭建环境过程。借一张图:搭建版本为:Elasticsearch:1.5.2Logstash:1.4.2Kibana:4.0.2Shipper节点配置如下:inpu...
分类:
其他好文 时间:
2015-05-05 01:19:18
阅读次数:
133
自定义grok格式 在conf 文件的文件夹同级目录下,一般是在patterns 文件夹下,建立自己的pattern 文件,比如extra 文件 # contents of ./patterns/postfix: POSTFIX_QUEUEID [0-9A-F]{10,11} 使用举例,针对日志格...
分类:
其他好文 时间:
2015-05-05 00:11:20
阅读次数:
838
grok-patterns内置了很多基础变量的正则表达式的log解析规则,其中包括apache的log解析(同样可以用于nginx的log解析)。基于nginx日志分析配置:1.配置nginx日志格式如下:log_format main '$remote_addr [$time_local]'' "...
分类:
其他好文 时间:
2015-05-04 17:51:28
阅读次数:
190
这里收集三种日志PHP的错误日志,PHP-FPM的错误日志和慢查询日志在php.ini中设置error_log=/data/app_data/php/logs/php_errors.log在php-fpm.conf中设置error_log=/data/app_data/php/logs/php-fpm_error.logslowlog=/data/app_data/php/logs/php-fpm_slow.logPHP错误日志如下..
分类:
Web程序 时间:
2015-05-04 15:42:45
阅读次数:
485
1.ElasticSearch使用需要先进入安装目录中的bin目录运行elasticsearch.bat。想确认程序是否运行,则运行lsof -i:9200lsof -i:9300一个是节点对外服务端口,一个是节点间交互端口(如果有集群的话)。2.建立集群配置文件路径是:.....(你的实际路径)/...
分类:
其他好文 时间:
2015-04-30 19:41:24
阅读次数:
197
介绍ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构建的。支持时间时间索引和全文检索。官网:http://www.elasticsearch.org它对外提供一系列基于java和http的api,用于索引、检索、修...
分类:
其他好文 时间:
2015-04-30 17:50:09
阅读次数:
154
ElasticSearch集成了传统数据库的精确查找与现代化搜索引擎的查找需求,所以从一定程度可以实现对资源的一种全文搜索与精确搜索的结合,该方案可以应用在常见的站内搜索,资源匹配,甚至构建自己的搜索引擎,本身它的底层就依赖于lucene进行倒排索引。另外在部署方面solr有非常强的优势,它附带的一些插件让大家很好的监控集群的状态以及一些运行情况,从而实现了屌丝管理到高大上管理的变迁。...
分类:
其他好文 时间:
2015-04-29 11:44:33
阅读次数:
134
简介
ELK 套装包括 ElasticSearch、LogStash 和 Kibana。 其中,ElasticSearch 是一个数据搜索引擎(基于 Apache Lucene)+分布式 NoSQL 数据库;LogStash 是一个消息采集转换器,类似 Syslog,可以接收包括日志消息在内的多种数据格式,然后进行格式转换,发送给后端继续处理;Kibana 是一个 Web 前段,带有强大...
分类:
其他好文 时间:
2015-04-28 11:51:18
阅读次数:
511
搜索引擎是个好东西,GIS也是个好东西。当前还有Django和Ionic。最后效果图 构架设计对我们的需求进行简要的思考后,设计出了下面的一些简单的架构。GIS架构说明 —— 服务端简单说明:
用户在前台或者后台创建数据。
在model保存数据的时候,会调用Google的API解析GPS
在haystack的配置中设置实时更新,当数据创建的时候自动更新索引
数据被ElasticSearch索引
下面...
分类:
移动开发 时间:
2015-04-26 19:48:33
阅读次数:
259
但对于很多中小企业来说,本身的设备也不是太多,也就几台到几十台而已,如果花费太多的精力去搞安全也不划算,如果不搞又感觉不放心。那什么方面的内容是中小企业关注的呢?个人认为应该优先关注访问安全,就是有没有人非法访问你的服务器,因为在云平台下,任何人只要接入网络都可以访问到你的机器。所以我认为应该优先关注此信息,报告非上班时间访问,非上班地点访问,密码猜测,账号猜测,账号猜测成功等行为。从我了解的情况下,这部分目前还没有比较有效的开源或者免费工具供大家使用,现在elk用的比较多,但大多数情况下都不太适合中小公司...
分类:
其他好文 时间:
2015-04-26 09:16:32
阅读次数:
133