一、简介1、组成ELK由Elasticsearch、Logstash和Kibana三部分组件组成;Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是一个完全开源的工具,它可以对你的日..
分类:
其他好文 时间:
2016-12-15 15:03:55
阅读次数:
481
Monolog 发送你的日志到文件、到sockets、到邮箱、到数据库或(和)者其他网路存储服务(云)。Monolog可以做到同时保存到一个或多个存储介质(后面的栈冒泡处理)。 安装 $ composer require monolog/monolog 基本用法 php use Monolog\Lo ...
分类:
Web程序 时间:
2016-12-15 11:54:27
阅读次数:
651
一、常见死机原因二、日志分析日志系统,通过rsyslog.service服务进行控制,分别用于记录系统内核和各应用程序的日志信息。配置文件/etc/rsyslog.conf/var/log/messages记录系统内核消息及各种应用程序的公共日志信息,包括启动、IO错误、网络错误、程序报错等,对于未使用独立..
分类:
系统相关 时间:
2016-12-14 22:32:50
阅读次数:
242
logstash --help --可以通过此命令看到所有命令 -f, --path.config --配置文件路径 -e, --config.string --可直接运行的配置字符串 -w, --pipeline.workers --处理线程数 -b, --pipeline.batch.size ...
分类:
其他好文 时间:
2016-12-13 12:07:49
阅读次数:
381
一、环境搭建 § 192.168.196.58/...(windows8):Logstash : Shipper § 192.168.1.192(windows7):Redis : Broker § 192.168.196.154(windows7):Lostash : Indexer, ES : ...
分类:
其他好文 时间:
2016-12-12 01:34:58
阅读次数:
312
elasticsearch 的出现使得我们的存储、检索数据更快捷、方便。但很多情况下,我们的需求是:现在的数据存储在MySQL、Oracle等关系型传统数据库中,如何尽量不改变原有数据库表结构,将这些数据的insert,update,delete操作结果实时同步到elasticsearch(简称ES ...
分类:
数据库 时间:
2016-12-11 17:52:23
阅读次数:
795
搭好elk 后,有时候会发现kibana 统计数据时,数据类型不对,这个时候就和elasticsearch的mapping有关,虽然我们可以用logstash修改传入es里的数据类型,比如 float 或者int 或者string。但是没有double等类型,就算转换了,你会发现写入es的数据还是根 ...
分类:
移动开发 时间:
2016-12-09 19:17:49
阅读次数:
290
类型设置: logstash中的redis插件,指定了三种方式来读取redis队列中的信息。 list=>BLPOP (相当于队列) channel=>SUBSCRIBE (相当于发布订阅的某个特定的频道) pattern_channel=>PSUBSCRIBE (相当于发布订阅某组频道) 其中li ...
分类:
其他好文 时间:
2016-12-09 16:27:20
阅读次数:
265
在外理日志时,除了访问日志外,还要处理运行时日志,该日志大都用程序写的,比如log4j。运行时日志跟访问日志最大的不同是,运行时日志是多行,也就是说,连续的多行才能表达一个意思。 在filter中,加入以下代码: filter { multiline { } } 如果能按多行处理,那么把他们拆分到字 ...
分类:
其他好文 时间:
2016-12-09 15:47:17
阅读次数:
230
rsyslog:日志:历史日志syslog(服务):syslogd(系统日志)、klogd(内核日志)c/s架构;服务,可监听于某套接字,帮其他主机记录日志信息日志格式/etc/rsyslog.conf
facitlity.priority Target
mail.info /var/log/maillog
mail.=info *
mail.* -/var/log/maillog-:表示异步..
分类:
其他好文 时间:
2016-12-09 10:44:21
阅读次数:
297